Автоматические снимки

Автоматические снимки позволяют Stronghold по расписанию создавать резервные копии встроенного Raft-хранилища и сохранять их на локальный диск или в S3-совместимое объектное хранилище.

Автоматические снимки подходят для регулярного резервного копирования без ручного запуска команд. Они особенно полезны для production-кластеров, где важно иметь повторяемую политику хранения и выносить резервные копии за пределы самого кластера.

Особенности использования автоматических снимков:

• можно создать несколько именованных конфигураций снимков;
• каждая конфигурация определяет интервал запуска, политику хранения и тип хранилища;
• поддерживаются типы хранилища local и aws-s3;
• для production-сред локальное хранилище обычно менее предпочтительно, чем внешнее объектное хранилище: активный узел кластера может меняться, а резервные копии лучше хранить отдельно от защищаемой системы.

Имена снимков формируются в формате <file_prefix>_<RFC3339_timestamp>.tar.gz. Очистка по правилу retain учитывает только файлы или объекты с таким форматом имени в настроенной директории или префиксе.

Менеджер снимков проверяет конфигурации раз в минуту. После создания или обновления конфигурации следующий снимок планируется немедленно; последующие снимки планируются от времени начала предыдущего снимка плюс значение interval.

Настройка сервера (пул загрузок в S3)

Необязательные ключи верхнего уровня в HCL-конфигурации сервера Stronghold задают параметры фоновых загрузок снимков в S3. Речь идёт о файле конфигурации сервера, с которым запускается конкретный узел stronghold server -config config.hcl.

Пример:

snapshot_auto_s3_upload_workers = 4
snapshot_auto_upload_pool_shutdown = "90s"

Увеличивайте число фоновых процессов загрузки, если много конфигураций снимков для S3 и есть запас по сети/CPU; уменьшайте при ограничениях со стороны S3 или узком канале.

Создание или обновление конфигурации

Для работы с эндпоинтом требуются права sudo.

Основные параметры

Дополнительные параметры для local

Дополнительные параметры для aws-s3

Повторные попытки используют временную копию снимка, оставшуюся после неудачной загрузки. Повторные попытки прекращаются, если достигнут лимит retry_max_attempts, повторные попытки отключены, временный файл недоступен или наступило время следующего планового снимка. Кроме того, повторная попытка должна успеть завершиться минимум за одну минуту до следующего планового снимка; иначе попытка считается неудачной, а следующая планируется согласно расписанию задержек (interval). Ошибки повторных попыток обновляют last_snapshot_error в статусе, но не увеличивают consecutive_errors сверх ошибки исходного планового снимка.

Примеры конфигурации

Локальный диск

Следующий файл local-snapshot.json создаёт конфигурацию, которая сохраняет снимок каждые 5 минут в директорию /stronghold/data/backups, хранит 4 копии и использует префикс main_stronghold:

{
  "interval": "5m",
  "path_prefix": "/stronghold/data/backups",
  "file_prefix": "main_stronghold",
  "retain": "4",
  "storage_type": "local"
}

Примените конфигурацию из файла local-snapshot.json следующей командой:

d8 stronghold write sys/storage/raft/snapshot-auto/config/my-local-snapshots @local-snapshot.json

stronghold write sys/storage/raft/snapshot-auto/config/my-local-snapshots @local-snapshot.json

S3-совместимое хранилище

Следующий файл minio-snapshot.json сохраняет снимки в S3-совместимое хранилище:

{
  "interval": "3m",
  "path_prefix": "snapshots",
  "file_prefix": "stronghold_backup",
  "retain": "15",
  "storage_type": "aws-s3",
  "aws_s3_bucket": "my_bucket",
  "aws_s3_endpoint": "minio.domain.ru",
  "aws_access_key_id": "<ACCESS_KEY>",
  "aws_secret_access_key": "<SECRET_ACCESS_KEY>",
  "retry_enabled": true,
  "retry_max_attempts": 5
}

Примените конфигурацию из файла minio-snapshot.json следующей командой:

d8 stronghold write sys/storage/raft/snapshot-auto/config/my-remote-snapshots @minio-snapshot.json

stronghold write sys/storage/raft/snapshot-auto/config/my-remote-snapshots @minio-snapshot.json

Обновление существующей конфигурации

Чтобы изменить только часть параметров, достаточно передать неполный JSON:

{
  "interval": "3m",
  "retain": "10"
}

После любого успешного обновления следующий снимок планируется немедленно.

Примените обновлённую конфигурацию из файла local-snapshot-update.json следующей командой:

d8 stronghold write sys/storage/raft/snapshot-auto/config/my-local-snapshots @local-snapshot-update.json

stronghold write sys/storage/raft/snapshot-auto/config/my-local-snapshots @local-snapshot-update.json

Просмотр списка конфигураций

Пример команды:

d8 stronghold list sys/storage/raft/snapshot-auto/config

stronghold list sys/storage/raft/snapshot-auto/config

Получение параметров конфигурации

Пример команды:

d8 stronghold read sys/storage/raft/snapshot-auto/config/my-remote-snapshots

stronghold read sys/storage/raft/snapshot-auto/config/my-remote-snapshots

Для aws-s3 значения aws_access_key_id и aws_secret_access_key в ответе не отображаются.

Удаление конфигурации

Пример команды:

d8 stronghold delete sys/storage/raft/snapshot-auto/config/my-remote-snapshots

stronghold delete sys/storage/raft/snapshot-auto/config/my-remote-snapshots

Получение статуса

Пример команды:

d8 stronghold read sys/storage/raft/snapshot-auto/status/my-remote-snapshots

stronghold read sys/storage/raft/snapshot-auto/status/my-remote-snapshots

Ключевые поля статуса:

• consecutive_errors — количество идущих подряд ошибок резервного копирования; обнуляется после успешно завершённой процедуры резервного копирования;
• last_snapshot_end — время завершения создания последнего успешного снимка;
• last_snapshot_error — текст последней ошибки при выполнении снимка;
• last_snapshot_start — время начала создания последнего снимка;
• last_snapshot_url — адрес последнего успешно созданного снимка;
• last_rotation_error — текст последней ошибки очистки старых снимков, или n/a, если очистка прошла успешно; ошибка очистки не переводит успешный снимок в статус ошибки;
• next_snapshot_start — время следующего запуска запланированного снимка;
• snapshot_start — время начала текущего создаваемого снимка;
• snapshot_url — адрес текущего создаваемого снимка;

Дополнительные поля статуса для aws-s3

• retry_in_progress — флаг, указывающий что идёт процесс повторных попыток загрузки в S3;
• retry_attempt — номер текущей попытки загрузки; 0, если повторные попытки не активны;