Восстановление реплики. Мысли.

[ykurenkov]

Восстанавливаю я из бэкапа реплику. Восстановление прошло успешно, recovery.conf создан. Правлю в recovery.conf primary_conninfo, запускаю сервер и вижу в логе сообщение о том, что мастер сильно убежал вперёд и нужный мне сегмент WAL уже удалил. При этом на мастере включено непрерывное архивирование и соответствующий сегмент есть в BACKUP_DIR.

Есть выход. Создаем слот репликации, в recovery.conf отключаем потоковую репликацию, прописываем recovery_command, перезагружаем сервер и ждем, пока он не вытащит из архива все необходимое. После этого возвращаем потоковую репликацию с использованием указанного слота.

Есть ли возможность научить pg_probackup в случае восстановлении реплики вытаскивать все недостающие с момента бэкапа сегменты wal и создавать слот репликации перед восстановлением, который прописывается в создаваемый recovery.conf?

[gsmolk]

Добрый день.

1. Можно было при первом восстановлении реплики это сделать:

pg_probackup restore -R  --recovery-target='latest' ...

2. А зачем Вам слот, если есть архив?

[ykurenkov]

1. Спасибо. Видать не дочитал или не понял. Попробую.
2. На всякий случай :) За работу серверов отвечают другие люди, поэтому иногда бывают случаи отвалившегося слейва, а архивация не везде есть (сказываются индивидуальные особенности архитектуры), поэтому, чтобы часто не генерить слейва заново использую слоты репликации. Возможно это некоторая избыточность, но она позволяет сделать решение несколько универсальнее.

[gsmolk]

Проблема в следующем:

1. Если есть архив, то слот не нужен и вреден.
2. Если же архива нет, то для 100% гарантии успешного восстановления бэкапа как реплики слот должен создаваться в момент создания бэкапа.
3. Мы можем, конечно, в начале восстановления бэкапа пытаться создать слот на мастере, начиная с позиции, соответствующей STOP LSN бэкапа. Но если бэкап сделан давно, или даже если бэкап свежий, но мастер очень агрессивно ротирует WAL, то создать слот не получится.

[ykurenkov]

1. В чем вредность? Архив для архивирования с возможностью PITR на указанный момент времени, а слот для потоковой репликации.
2. Да, согласен, это я перетащил свой опыт создания реплик с помошью pg_basebackup --wal-method=stream --slot=... Тут он не работает.
3. Да, согласен. Хотелось уйти с методики создания реплики с помошью pg_basebackup, чтобы не грузить работающий мастер. Восстановить реплику из бэкапа очень заманчиво, но это возможно в достаточно ограниченных условиях. Нет, конечно есть извращенный вариан "планового" создания реплики: создать слот перед выполнением бэкапа, из которого будет восстановлена реплика, но это уже на откуп "создателю".

Некоторое прояснение наступило. Надо осмыслить все, а потом переписать скрипты :) Спасибо.

[gsmolk]

Вред в том, что Вы получаете еще одну точку отказа бесплатно. В общем случае слот не даёт никаких преимуществ при наличии архива.

Я еще немного подумал. Учитывая, что проблема актуальна только для STREAM бэкапов, потому что ARCHIVE всегда могут догнаться из архива, то самое здравое решение видится так:

1. Добавляем опцию -R, --restore-as-replica в команду backup
2. Если бэкап видит эту опцию вместе с опцией -S, --slot, то он в начале бэкапа создает перманентный слот согласно опции -S и использует его в процессе выполнения для стриминга. После успешного завершения бэкапа слот остаётся, в случае неуспешного - удаляется(если есть такая возможность).
3. Запускаем восстановление с опцией -R и (важно) -S, в этом случае команда restore передаёт имя слота как аргумент в primary_slot_name в recovery.conf.

Ориентировочный пример использования.

pg_probackup backup -R -S standby_slot .. && pg_probackup restore -R -S standby_slot ... 

[gsmolk]

Да, согласен, это я перетащил свой опыт создания реплик с помошью pg_basebackup --wal-method=stream --slot=... Тут он не работает.

К слову сказать, этот метод тоже не детерминированный, поэтому перенесли Вы его вполне правильно.
В промежуток между завершением бэкапа и завершением рекавери на реплики ничто не удерживает нужный Вам WAL от ротации.
Просто в случае pg_basebackup этот промежуток существенно меньше.

[ykurenkov]

Ну, может быть, только если создать бэкап с -S и не создать реплику, которая будет этот слот использовать, не получим ли мы захламление pg_wal? Чо-то боязно наличие такого функционала. Это конечно не rm -rf / но тоже с сюрпризом.

[ykurenkov]

Или WAL хранятся только для active=t слотов?

[gsmolk]

Ну, может быть, только если создать бэкап с -S и не создать реплику, которая будет этот слот использовать, не получим ли мы захламление pg_wal?

Получим, конечно. Но зачем так делать?

[gsmolk]

Или WAL хранятся только для active=t слотов?

Нет, WAL хранятся для всех слотов, у который restart_lsn is not NULL

[ykurenkov]

Но зачем так делать?

Естественно от непонимания того, как это работает и для чего оно нужно. Тут не просто документировать ключи нужно, но обязательно нужно описывать способ применения, пример приводить.

Ничто не мешает пользователю -S в crontab указать.

[gsmolk]

Ну разумеется. В доке будет дан пример и насыпано предостережений.

[ykurenkov]

Значит быть новому функционалу?

[gsmolk]

Ну я еще обсужу этот вопрос с товарищами по цеху, но проблема актуальная, поэтому почему бы и нет.