Deckhouse Platform устанавливает CRD, но не удаляет их при отключении модуля. Если вам больше не нужны созданные CRD, удалите их.
Стадия жизненного цикла модуля: Preview
RegistryConfig
Short names: rcfg
Scope: Cluster
Version: v1alpha1
Описывает результирующую конфигурацию хранилища образов контейнеров кластера.
В штатном режиме объект рендерится модулем из ModuleConfig/registry. Объект — контракт, а не собственность Deckhouse: администратор может править его напрямую, когда оператор Deckhouse недоступен, и правка применяется на лету контроллером хранилища образов контейнеров и синкером хранилища, без перегенерации helm.
Используется единственный объект с именем registry.
- объектspec
Обязательный параметр
- строкаspec.mode
Управляет ли модуль путём загрузки образов.
Managed— модуль владеет путём загрузки и создаёт свои компоненты.Unmanaged— модуль не владеет ничем, компоненты не создаются.
По умолчанию:
ManagedДопустимые значения:
Managed,Unmanaged - объектspec.primary
Единственный авторитетный источник образов компонентов Deckhouse.
Дополнительные хранилища образов контейнеров объявляются отдельными объектами RegistryUpstream. Несколько разных Primary не поддерживается: тогда были бы неоднозначны и «полон ли кеш», и «из чего наполняется кеш в air-gap».
- объектspec.primary.upstream
Хранилище образов контейнеров, из которого загружаются образы компонентов Deckhouse.
Если не задан, кластер считается air-gap: внутрикластерный кеш становится авторитетным и наполняется извне командой
d8 mirror push. Отсутствие параметра требуетstorage.cache: true.- объектspec.primary.upstream.auth
Ключи доступа к хранилищу образов контейнеров.
Чувствительные данные. Ключи хранятся внутри объекта, а не по ссылке на секрет, — так агент на узле остаётся самодостаточным при недоступном API-сервере. Ограничивайте доступ к ресурсам хранилища образов контейнеров соответствующим образом.
- строкаspec.primary.upstream.auth.auth
Заранее закодированное значение
base64("username:password").Имеет приоритет над
usernameиpassword, если задано.Если у вызывающей стороны нет прав на подресурс
registryconfigs/sensitive, API возвращает<omitted>вместо значения. - строкаspec.primary.upstream.auth.password
Пароль для базовой аутентификации.
Если у вызывающей стороны нет прав на подресурс
registryconfigs/sensitive, API возвращает<omitted>вместо значения. - строкаspec.primary.upstream.auth.username
Имя пользователя для базовой аутентификации.
- строкаspec.primary.upstream.ca
PEM-сертификат удостоверяющего центра для проверки хранилища образов контейнеров при
scheme: HTTPS.Если не задан, используется системное хранилище доверенных сертификатов.
- строкаspec.primary.upstream.host
Обязательный параметр
Хост хранилища образов контейнеров, опционально с портом.
Пример:
host: registry.deckhouse.io - массив объектовspec.primary.upstream.mirrors
Дополнительные адреса, отдающие тот же контент, что и основное хранилище образов контейнеров, — для отказоустойчивости и балансировки.
Зеркала не являются отдельными источниками. Хранилище кеширует один дедуплицированный набор независимо от того, с какого зеркала образы были загружены.
- объектspec.primary.upstream.mirrors.auth
Ключи доступа к зеркалу.
Чувствительные данные. См.
primary.upstream.auth.- строкаspec.primary.upstream.mirrors.auth.auth
Заранее закодированное значение
base64("username:password").Если у вызывающей стороны нет прав на подресурс
registryconfigs/sensitive, API возвращает<omitted>вместо значения. - строкаspec.primary.upstream.mirrors.auth.password
Пароль для базовой аутентификации.
Если у вызывающей стороны нет прав на подресурс
registryconfigs/sensitive, API возвращает<omitted>вместо значения. - строкаspec.primary.upstream.mirrors.auth.username
Имя пользователя для базовой аутентификации.
- строкаspec.primary.upstream.mirrors.ca
PEM-сертификат удостоверяющего центра для проверки зеркала.
- строкаspec.primary.upstream.mirrors.host
Обязательный параметр
Хост зеркала, опционально с портом.
Пример:
host: registry-mirror.example.com - строкаspec.primary.upstream.mirrors.path
Префикс пути к репозиторию внутри зеркала.
- строкаspec.primary.upstream.mirrors.scheme
Протокол подключения к зеркалу.
По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- строкаspec.primary.upstream.path
Префикс пути к репозиторию внутри хранилища образов контейнеров.
Пример:
path: "/deckhouse/ee" - строкаspec.primary.upstream.scheme
Протокол подключения к хранилищу образов контейнеров.
Используйте
HTTPтолько для незащищённых доверенных хранилищ образов контейнеров.По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- объектspec.storage
Настройки внутрикластерного кеша хранилища образов контейнеров.
- булевыйspec.storage.cache
Идут ли загрузки через внутрикластерный кеш на master-узлах.
Это первая из двух осей конфигурации. Вторая — задан ли
primary.upstream. Вместе они заменяют прежнюю стейт-машину режимов:cache: falseс заданным upstream — агент форвардит загрузки напрямую в upstream, хранилище не нужно.cache: trueс заданным upstream — сквозной кеш, наполняется из upstream.cache: trueбез upstream — air-gap: кеш авторитетен и наполняется командойd8 mirror push.
По умолчанию:
false - объектspec.storage.garbageCollection
Когда кеш освобождает диск, занятый релизами, которые кластер уже прошёл.
Никакие другие компоненты не удаляют из него данные ни при каких условиях: каждый релиз добавляет свой срез репозитория, поэтому кластер, работающий долгое время, заполняет хранилище и перестаёт быть способным загружать образы.
Сборка мусора не прерывает отдачу образов: реплика продолжает отдавать все образы, которые держит. Она не начинается, пока хранилище наполняется или идёт
d8 mirror push, а пока она идёт, реплика не наполняет своё хранилище.d8 mirror push, начатый во время сборки, может завершиться ошибкой, и его нужно повторить. Одновременно мусор собирает только одна реплика, поэтому остальные не затронуты.- булевыйspec.storage.garbageCollection.enabled
Освобождает ли кеш свой диск сам: по расписанию, после смены набора образов и когда хранилище отказывает в записи. Операция RegistryOperation, созданная вручную, выполняется в любом случае.
- строкаspec.storage.garbageCollection.schedule
Cron-выражение из пяти полей, в UTC.
По умолчанию — ночной час или начало окна обслуживания NodeGroup
master, если оно задано.
- строкаspec.storage.size
Размер персистентного хранилища под кеш.
Шаблон:
^[0-9]+(\.[0-9]+)?(E|P|T|G|M|k|Ei|Pi|Ti|Gi|Mi|Ki)?$Пример:
size: 50Gi - объектspec.storage.source
Набор образов, который должен оказаться в кеше.
Обязателен в air-gap: без upstream, к которому можно откатиться, полнота должна быть вычислимой, прежде чем отдавать образы только из кеша.
- строкаspec.storage.source.bundleRef
Имя набора образов, например bundle, залитого командой
d8 mirror push.Пример:
bundleRef: d8-mirror-bundle - целочисленныйspec.storage.source.expectedDigests
Количество уникальных дайджестов в наборе.
Допустимые значения:
0 <= XПример:
expectedDigests: 459
- объектstatus
- массив объектовstatus.conditions
Сводка здоровья, которую пишет контроллер хранилища образов контейнеров.
Valid— результирующая конфигурация согласована.UpstreamValid— результат preflight-пробы Primary upstream: достижимость, приём ключей, наличие sentinel-контента. ЗначениеFalseозначает, что контроллер держит последний рабочий upstream и не переключился, — так испорченная лицензия или неверный адрес не роняют кластер.StorageConverged— хранилище пришло в состояние, которого требует конфигурация.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
Время последнего изменения состояния.
- строкаstatus.conditions.message
Пояснение для человека.
- целочисленныйstatus.conditions.observedGeneration
Поколение
spec, для которого выставлено состояние. - строкаstatus.conditions.reason
Обязательный параметр
Машиночитаемая причина состояния.
- строкаstatus.conditions.status
Обязательный параметр
Значение состояния.
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
Тип состояния.
- объектstatus.effectiveUpstream
Upstream, который фактически действует, — не обязательно тот, что задан в конфигурации.
Это собственная запись контроллера о последнем upstream, прошедшем preflight-пробу, и именно она делает неудачное изменение переживаемым: если ввести нерабочие ключи или переключиться на лицензию без доступа, это поле — а вместе с ним и кластер — остаётся на прежнем рабочем upstream, а состояние
UpstreamValidсообщает причину.Оно же держит upstream во время ухода в air-gap, когда конфигурация уже говорит «нет», а кеш ещё не полон.
Пусто означает, что никакой upstream не действует: либо кластер в air-gap, либо ничего ещё не настроено.
- строкаstatus.effectiveUpstream.ca
PEM-сертификат удостоверяющего центра для проверки хранилища образов контейнеров.
- строкаstatus.effectiveUpstream.host
Хост хранилища образов контейнеров, опционально с портом.
- массив объектовstatus.effectiveUpstream.mirrors
Дополнительные адреса, отдающие тот же контент.
- строкаstatus.effectiveUpstream.mirrors.ca
PEM-сертификат удостоверяющего центра для проверки зеркала.
- строкаstatus.effectiveUpstream.mirrors.host
Обязательный параметр
Хост зеркала, опционально с портом.
- строкаstatus.effectiveUpstream.mirrors.path
Префикс пути к репозиторию внутри зеркала.
- строкаstatus.effectiveUpstream.mirrors.scheme
Протокол подключения к зеркалу.
Допустимые значения:
HTTP,HTTPS
- строкаstatus.effectiveUpstream.path
Префикс пути к репозиторию внутри хранилища образов контейнеров.
- строкаstatus.effectiveUpstream.scheme
Протокол подключения к хранилищу образов контейнеров.
Допустимые значения:
HTTP,HTTPS
- строкаstatus.effectiveUpstreamAuthDigest
Опознаёт действующие ключи доступа, не раскрывая их.
Нужен потому, что вопрос «изменилась ли конфигурация» обязан учитывать ключи: смена лицензии при неизменном адресе — ровно тот случай, который нужно проверить пробой до переключения кластера. Ключи здесь больше не хранятся, и сравнение с дайджестом настроенных — то, что оставляет этот вопрос разрешимым.
- целочисленныйstatus.observedGeneration
Поколение
spec, на которое контроллер отреагировал последним.
RegistryNode
Short names: rnode
Scope: Cluster
Version: v1alpha1
Описывает полную выкладку хранилища образов контейнеров для одного узла, скомпилированную для его агента.
По одному объекту на узел, имя совпадает с именем узла, ownerReference указывает на него. Объект пишет контроллер хранилища образов контейнеров; status пишет только агент.
Объект плоский и, если не считать одной намеренной ссылки, самодостаточный: сертификаты удостоверяющих центров и маршруты лежат внутри, агент держит полную копию на диске и продолжает отдавать образы по ней при недоступном API-сервере — а в этот момент разыменовывать уже нечего. Исключение — учётные данные: они не лежат внутри, а названы (auth.secretRef указывает на секрет, в который их разрешает модуль). Именно это позволяет читать объект каждому узлу, не выдавая при этом каждому узлу все учётные данные реестров кластера. По той же причине контроллер компилирует все принятые RegistryUpstream в spec.additionalRoutes, вместо того чтобы агент следил за N объектами: согласованность многих объектов при недоступном API гарантировать нельзя.
Объект не содержит per-node секретов. Всё в нём — глобальная конфигурация, одинаковая на каждом узле. Именно поэтому его безопасно читать всей группе system:nodes, через которую агент получает доступ по kubeconfig kubelet’а.
- объектspec
Обязательный параметр
- массив объектовspec.additionalRoutes
Принятые объекты RegistryUpstream, скомпилированные контроллером.
Всегда транзит, никогда не кешируется: агент проксирует загрузку и передаёт её потоком, не записывая на диск.
- объектspec.additionalRoutes.auth
Где хранятся ключи доступа к этому эндпоинту.
Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе
system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к хранилищу образов контейнеров, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.- объектspec.additionalRoutes.auth.secretRef
Секрет с ключами доступа и ключ внутри него.
- строкаspec.additionalRoutes.auth.secretRef.key
Обязательный параметр
Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.
- строкаspec.additionalRoutes.auth.secretRef.name
Обязательный параметр
Имя секрета в неймспейсе
d8-system.
- строкаspec.additionalRoutes.ca
PEM-сертификат удостоверяющего центра для проверки upstream.
- строкаspec.additionalRoutes.host
Обязательный параметр
Хост upstream, опционально с портом.
Пример:
host: registry-vendor.example.com - строкаspec.additionalRoutes.match
Обязательный параметр
Хост хранилища образов контейнеров, который перехватывается на этом узле.
Пример:
match: images.virtualization.example.com - массив объектовspec.additionalRoutes.mirrors
Дополнительные адреса, отдающие тот же контент.
- объектspec.additionalRoutes.mirrors.auth
Где хранятся ключи доступа к этому эндпоинту.
Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе
system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к хранилищу образов контейнеров, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.- объектspec.additionalRoutes.mirrors.auth.secretRef
Секрет с ключами доступа и ключ внутри него.
- строкаspec.additionalRoutes.mirrors.auth.secretRef.key
Обязательный параметр
Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.
- строкаspec.additionalRoutes.mirrors.auth.secretRef.name
Обязательный параметр
Имя секрета в неймспейсе
d8-system.
- строкаspec.additionalRoutes.mirrors.ca
PEM-сертификат удостоверяющего центра для проверки зеркала.
- строкаspec.additionalRoutes.mirrors.host
Обязательный параметр
Хост зеркала, опционально с портом.
- строкаspec.additionalRoutes.mirrors.path
Префикс пути к репозиторию внутри зеркала.
- строкаspec.additionalRoutes.mirrors.scheme
Протокол подключения к зеркалу.
По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- строкаspec.additionalRoutes.path
Префикс пути к репозиторию внутри upstream.
- строкаspec.additionalRoutes.scheme
Протокол подключения к upstream.
По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- массив объектовspec.backends
Источники основного набора образов, по приоритету.
При включённом кеше это хранилище, а за ним upstream как запасной путь, пока кеш наполняется; запись upstream уходит из выкладки, когда кластер уходит в air-gap. При выключенном кеше — только upstream.
- объектspec.backends.auth
Где хранятся ключи доступа к этому эндпоинту.
Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе
system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к хранилищу образов контейнеров, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.- объектspec.backends.auth.secretRef
Секрет с ключами доступа и ключ внутри него.
- строкаspec.backends.auth.secretRef.key
Обязательный параметр
Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.
- строкаspec.backends.auth.secretRef.name
Обязательный параметр
Имя секрета в неймспейсе
d8-system.
- строкаspec.backends.ca
PEM-сертификат удостоверяющего центра для проверки бэкенда.
- строкаspec.backends.host
Обязательный параметр
Хост бэкенда, опционально с портом.
Пример:
host: registry.d8-system.svc:5001 - массив объектовspec.backends.mirrors
Другие адреса того же бэкенда. Агент распознаёт запросы к ним, но основной набор образов берёт только из endpoint.
- объектspec.backends.mirrors.auth
Где хранятся ключи доступа к этому эндпоинту.
Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе
system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к хранилищу образов контейнеров, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.- объектspec.backends.mirrors.auth.secretRef
Секрет с ключами доступа и ключ внутри него.
- строкаspec.backends.mirrors.auth.secretRef.key
Обязательный параметр
Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.
- строкаspec.backends.mirrors.auth.secretRef.name
Обязательный параметр
Имя секрета в неймспейсе
d8-system.
- строкаspec.backends.mirrors.ca
PEM-сертификат удостоверяющего центра для проверки зеркала.
- строкаspec.backends.mirrors.host
Обязательный параметр
Хост зеркала, опционально с портом.
- строкаspec.backends.mirrors.path
Префикс пути к репозиторию внутри зеркала.
- строкаspec.backends.mirrors.scheme
Протокол подключения к зеркалу.
По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- строкаspec.backends.name
Обязательный параметр
Роль бэкенда.
Storage— внутрикластерный кеш.Upstream— Primary upstream: либо единственный бэкенд, либо запасной путь, пока наполняется кеш.
Допустимые значения:
Storage,Upstream - строкаspec.backends.path
Префикс пути к репозиторию внутри бэкенда.
- строкаspec.backends.scheme
Протокол подключения к бэкенду.
По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- булевыйspec.cache
Ось кеша для этого узла.
true— агент идёт во внутрикластерное хранилище,false— напрямую в Primary upstream.
- объектstatus
Пишет только агент; сообщает факты со стороны containerd.
Полноты хранилища здесь нет: это свойство хранилища, и живёт оно в RegistryStorage
.status.replicas. Любой узел может пропатчитьstatusлюбогоRegistryNode, поскольку RBAC не умеет ограничиватьlist/watchпо field selector, — поэтому ничто здесь не является несущим для пути загрузки, это наблюдаемость.- массив строкstatus.activeBackends
Бэкенды, которыми агент может пользоваться в данный момент.
- массив объектовstatus.conditions
Детальное состояние, которое сообщает агент.
Reconciled— применён ли spec. Причина отличает штатное согласование от применения по дисковой копии (AppliedFromCache): агент не смог получить из API-сервера пригодный spec. Чаще всего не удалось прочитать учётные данные, на которые он ссылается; так же выглядит чтение spec, которое не удалось, когда запись статуса после него прошла, например при кратком сбое API-сервера. О переходе на копию агент сообщает записью этого статуса, поэтому агент, который вообще не может его записать (например, на узле, отрезанном от API-сервера), оставляет прежнее условие.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
Время последнего изменения состояния.
- строкаstatus.conditions.message
Пояснение для человека.
- целочисленныйstatus.conditions.observedGeneration
Поколение
spec, для которого выставлено состояние. - строкаstatus.conditions.reason
Обязательный параметр
Машиночитаемая причина состояния.
- строкаstatus.conditions.status
Обязательный параметр
Значение состояния.
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
Тип состояния.
- целочисленныйstatus.observedGeneration
Поколение
spec, которое агент применил последним. - булевыйstatus.proxyListening
Отдаёт ли агент эндпоинт хранилища образов контейнеров.
- булевыйstatus.reconciled
Применил ли агент тот spec, который видит сейчас.
- целочисленныйstatus.staleStorageDataBytes
Сколько данных внутрикластерного кеша всё ещё лежит на этом узле, при том что кеш не настроен.
Блобы остаются намеренно: если кеш включить обратно, он дольётся из того, что уже есть, а не с нуля, и на медленном канале это разница в часы. Недопустимо было бы оставлять их молча — про занятое ими место больше не сказал бы никто, потому что хранилище, которое их записало, уже удалено. Поэтому агент их измеряет, а алерт об этом сообщает.
Чтобы освободить место, удалите на узле содержимое директории кеша, оставив саму директорию: она смонтирована в агент. Это
/var/lib/deckhouse/registryна узле NodeGroup сsystemType: DeckhouseEngineи/opt/deckhouse/registryна остальных узлах. Поля нет, пока кеш настроен, и на узле, где кеша никогда не было.
RegistryOperation
Short names: rop
Scope: Cluster
Version: v1alpha1
Операция, которую каждая реплика кеша хранилища образов выполняет над своим хранилищем, по одной реплике за раз.
Образы при этом продолжают отдаваться.
Доступны три типа операций:
GarbageCollection— удаляет из кеша то, что оставили релизы, которые кластер уже прошёл.Verify— читает блобы хранилища и сверяет каждый с его digest: все блобы или только блобы образов изspec.verify.digests. Несовпадения записываются вRegistryStorage.status.replicas[].corruptedBlobs. Кроме того, каждая реплика примерно раз в час проверяет всё своё хранилище в фоне, поэтомуVerifyнужен для ручного запуска проверки.Repair— проверяет образы изspec.repair.digestsи заменяет их битые или недостающие блобы целыми копиями с другой реплики кеша или из upstream (при его наличии). Блоб скачивается рядом с хранилищем, сверяется с digest и только после этого встаёт на место, поэтому ни один образ не удаляется и ничего не теряется, если целой копии нигде нет. Для битых блобов, найденных репликой, модуль сам создаётRepairс причинойCorruptionDetected.
Verify и Repair читают с диска со скоростью не более 32 МиБ/с, например, хранилище в 15 ГБ реплика проверяет примерно за восемь минут. Ни одна из них не ждёт окончания загрузки или d8 mirror push.
Сборку мусора модуль создаёт сам:
- по расписанию из
storage.garbageCollectionв настройках модуля; - когда кеш получил новый набор образов — после обновления Deckhouse Platform или после включения или обновления модуля;
- когда хранилище отказывает в записи и поэтому новый набор не не может быть получен — один раз на развёрнутый релиз Deckhouse Platform.
При storage.garbageCollection.enabled: false операции не создаются. Операция, созданная вручную, выполняется в любом случае.
Сборку мусора реплика начинает в случае, когда в её хранилище ничего не пишется: пока кеш наполняется или в него загружается набор образов через d8 mirror push, реплика ждёт. Хранилище, которое отказывает в записи — из-за превышения установленного лимита хранилища или достижения порога резервирования свободного места в файловой системе — не ждёт: наполнение не продолжится, пока не освободится место. Реплика, которая через час после принятия операции так и не взяла RegistryOperation или всё ещё ждёт своё хранилище, завершается с причиной DeadlineExceeded. Когда подходит очередь, реплика ещё раз проверяет хранилище: если за это время началось наполнение или загрузка, она уступает очередь и ждёт, пока запись закончится.
Одновременно выполняется только одна операция. Операция, созданная, пока предыдущая не завершена, завершается с причиной AnotherOperationActive.
Пропавшая реплика завершается с причиной ReplicaLost:
- реплика, на которой выполнялась очистка мусора — если она пять минут не держит Lease
registry-storage-gcв неймспейсеd8-system; - реплика в режиме ожидания — если её узел десять минут не в состоянии
Ready.
Чтобы отменить операцию, поставьте на неё лейбл registry.deckhouse.io/cancel: "true". Реплика, которая ещё не начала сборку мусора, не будет её запускать, а реплика, которая выполняет операцию, остановится. Удаление объекта RegistryOperation отменяет операцию, но реплику с уже запущенной операцией не останавливает.
Завершённая операция удаляется через сутки после завершения.
Примеры:
apiVersion: deckhouse.io/v1alpha1
kind: RegistryOperation
metadata:
generateName: gc-manual-
spec:
type: GarbageCollection
cause: Free space before pushing a new release.
apiVersion: deckhouse.io/v1alpha1
kind: RegistryOperation
metadata:
generateName: verify-
spec:
type: Verify
cause: Check the cache after a disk failure on master-1.
verify:
nodes: ["master-1"]
apiVersion: deckhouse.io/v1alpha1
kind: RegistryOperation
metadata:
generateName: repair-
spec:
type: Repair
repair:
digests: ["sha256:0123456789abcdef0123456789abcdef0123456789abcdef0123456789abcdef"]
- объектspec
Обязательный параметр
После создания операции не меняется.
- строкаspec.cause
Описание того, зачем создана операция.
Модуль заполняет это поле в операциях, которые создаёт сам.
Максимальная длина:
1024 - объектspec.repair
Объект починки
Repair.- массив строкspec.repair.digests
Обязательный параметр
Образы по digest манифеста или отдельные блобы по их digest. Образ чинится вместе со всеми блобами, из которых он состоит.
Digest образов показывает
d8 k get registryimages, битые блобы —RegistryStorage.status.replicas[].corruptedBlobs.- строкаЭлемент массива
Шаблон:
^sha256:[a-f0-9]{64}$
- массив строкspec.repair.nodes
Реплики, на которыз будет выполняться операция, по именам узлов. Пустой список — означает выбор всех узлов. Операция, в которой указан узел без реплики кеша, завершается с причиной
UnknownNode.- строкаЭлемент массива
Максимальная длина:
253
- строкаspec.type
Обязательный параметр
Что делает операция.
GarbageCollection— удалить из кеша то, что оставили релизы, которые кластер уже прошёл. Развёрнутый релиз, предыдущий, всё более новое и все теги, которые не являются версиями, сохраняются.Verify— прочитать блобы хранилища и сверить каждый с его digest. Несовпадения записываются, и их чинитRepair, который создаёт модуль.Repair— проверить образы изspec.repairи заменить их битые или недостающие блобы целыми копиями.
Допустимые значения:
GarbageCollection,Verify,Repair - объектspec.verify
Объект проверки
Verify. Если не задано — все блобы всех реплик.- массив строкspec.verify.digests
Образы по digest манифеста или отдельные блобы по их digest. Образ проверяется вместе со всеми блобами, из которых он состоит. Пустой список — все блобы хранилища.
Digest образов показывает
d8 k get registryimages.- строкаЭлемент массива
Шаблон:
^sha256:[a-f0-9]{64}$
- массив строкspec.verify.nodes
Узлы, на которые будет выполняться операция. Задаются по именам узлов. Пустой список означает выбор всех узлов. Операция, в которой указан узел без реплики кеша, завершается с причиной
UnknownNode.- строкаЭлемент массива
Максимальная длина:
253
- объектstatus
- строкаstatus.acceptedAt
Когда операция принята.
- строкаstatus.deadline
Когда реплика, которую держит запись в хранилище, прекращает ждать. Через час после
acceptedAt. - строкаstatus.finishedAt
Когда операция перешла в конечную фазу. Через сутки после этого она удаляется.
- объектstatus.garbageCollection
Что удалила операция
GarbageCollection, в сумме по репликам.- целочисленныйstatus.garbageCollection.reclaimedBytes
На сколько байт уменьшилось хранилище: блобы и незавершённые загрузки, измеренные до сборки и после.
Нет значения, если хранилище не удалось измерить.
- целочисленныйstatus.garbageCollection.removedBlobs
Сколько блобов удалила очистка — по подсчёту самого хранилища образов контейнеров.
Очистка удаляет и то, что не смогла удалить предыдущая, поэтому эти блобы не обязательно относятся к образам, удалённым в этом проходе. Нет значения, если очистка не запускалась.
- целочисленныйstatus.garbageCollection.removedManifests
Сколько образов удалено по sha — тех, что наполнение пишет без тега и что составляет почти весь объём хранилища.
- массив строкstatus.garbageCollection.removedVersions
Удалённые релизы Deckhouse Platform.
- строкаstatus.message
Человекочитаемое пояснение причины.
- строкаstatus.phase
Фаза выполнения операции:
Pending— ни одна реплика ещё не начала.Running— хотя бы одна реплика начала, и не все закончили.Succeeded— все реплики выполнили операцию.Failed— операция отклонена или какая-то реплика её не выполнила.Canceled— операция отменена до того, как все реплики закончили.
Допустимые значения:
Pending,Running,Succeeded,Failed,Canceled - строкаstatus.reason
Машиночитаемая причина фазы:
Pending:Accepted.Running:InProgress.Succeeded:Completed.Failed:NoCache(кеш выключен),NoReplicas(ни одна реплика хранилища ещё не отчиталась),AnotherOperationActive,UnknownNode(вnodesуказан узел без реплики),ReplicaFailed.Canceled:Canceled.
- массив объектовstatus.replicas
По одной записи на каждую реплику, которой передана операция.
Включаются все реплики хранилища, отчитавшиеся к моменту принятия операции.
- строкаstatus.replicas.finishedAt
Когда реплика закончила.
- объектstatus.replicas.garbageCollection
Что операция
GarbageCollectionудалила из хранилища реплики.- целочисленныйstatus.replicas.garbageCollection.reclaimedBytes
На сколько байт уменьшилось хранилище реплики: блобы и незавершённые загрузки, измеренные до сборки и после.
Нет значения, если хранилище не удалось измерить.
- целочисленныйstatus.replicas.garbageCollection.removedBlobs
Сколько блобов удалила очистка — по подсчёту самого хранилища образов контейнеров.
Очистка удаляет и то, что не смогла удалить предыдущая, поэтому эти блобы не обязательно относятся к образам, удалённым в этом проходе. Нет значения, если очистка не запускалась.
- целочисленныйstatus.replicas.garbageCollection.removedManifests
Сколько образов удалено по sha — тех, что наполнение пишет без тега и что составляет почти весь объём хранилища.
- массив строкstatus.replicas.garbageCollection.removedVersions
Удалённые релизы Deckhouse Platform.
- строкаstatus.replicas.message
Человекочитаемое пояснение причины.
- строкаstatus.replicas.node
Обязательный параметр
Узел, на котором работает реплика.
- строкаstatus.replicas.phase
Обязательный параметр
На какой фазе находится реплика:
Pending— реплика ещё не взяла операцию.Waiting— реплика ждёт; что её держит, указано вreason.Running— реплика выполняет операцию.Succeeded— реплика выполнила операцию.Failed— реплика не выполнила операцию.Skipped— реплика ушла из хранилища до начала.Canceled— операция отменена до того, как реплика закончила.
Допустимые значения:
Pending,Waiting,Running,Succeeded,Failed,Skipped,Canceled - строкаstatus.replicas.reason
Машиночитаемая причина фазы:
Waiting:Filling(кеш наполняется),Pushing(загружается набор образов черезd8 mirror push),Turn(операцию выполняет другая реплика; или реплика прождала очередь целое окно и ждёт, пока в хранилище перестанут писать, чтобы встать в очередь снова).Failed:OperationFailed(дляRepair— в том числе когда какой-то digest не удалось починить),DeadlineExceeded(к моментуdeadlineреплика не взяла операцию или в её хранилище всё ещё писали),TimedOut(реплика не сообщила результат за 24 часа),ReplicaLost(реплика пропала: перестала держать Lease сборки мусора во время сборки или её узел десять минут не был в состоянииReady, пока она ждала).Skipped:ReplicaGone,NoCache.Canceled:Canceled.
- объектstatus.replicas.repair
Результаты
Repairна реплике.- массив объектовstatus.replicas.repair.digests
По записи на каждый digest операции.
- строкаstatus.replicas.repair.digests.digest
Обязательный параметр
Digest из операции.
- строкаstatus.replicas.repair.digests.message
Почему не удалось или откуда взяты целые копии.
- строкаstatus.replicas.repair.digests.outcome
Обязательный параметр
Результаты:
Intact— все блобы совпадают с digest, ничего не менялось.Repaired— битые или недостающие блобы заменены целыми копиями.NotHeld— у реплики нет ни образа, ни блоба с этим digest.Failed— блоб не удалось заменить, причина вmessage. Блоб остался как был.
Допустимые значения:
Intact,Repaired,NotHeld,Failed - целочисленныйstatus.replicas.repair.digests.repairedBlobs
Сколько блобов заменено.
- строкаstatus.replicas.startedAt
Когда реплика начала.
- объектstatus.replicas.verify
Результаты
Verifyна реплике.- целочисленныйstatus.replicas.verify.checkedBlobs
Количество блобов, прочитанных и сверенных с digest.
- целочисленныйstatus.replicas.verify.checkedBytes
Объём прочитанных данных в байтах.
- массив строкstatus.replicas.verify.corruptedBlobs
Блобы, содержимое которых не совпадает с digest, по порядку, не больше 50.
- целочисленныйstatus.replicas.verify.corruptedCount
Количество найденных битых блобов, включая не попавшие в список.
- массив строкstatus.replicas.verify.missingDigests
Digest из запроса, которых у реплики нет ни как образа, ни как блоба.
- строкаstatus.startedAt
Когда первая реплика начала.
RegistryStorage
Short names: rstor
Scope: Cluster
Version: v1alpha1
Описывает, как работает внутрикластерное хранилище registry, и сообщает его фактическое состояние.
Объект пишет контроллер хранилища образов контейнеров, а читает контейнер-синкер, который перенастраивает distribution на лету. Именно этот путь позволяет смене ключей или сертификата примениться при неработающем операторе Deckhouse: он никогда не проходит через перегенерацию helm.
У объекта есть настоящий spec, а не только зеркало факта, потому что distribution нужно сообщать, что делать, а не только наблюдать за ним.
Используется единственный объект с именем registry.
- объектspec
Обязательный параметр
- булевыйspec.airGapRequested
Запрошена ли работа без upstream — независимо от того, отключён ли upstream уже фактически.
Это окно перехода: air-gap запрошен, upstream ещё удерживается, чтобы кластер продолжал работать, а образы приходят через
d8 mirror push, которых синкер не видит. Именно по этому признаку решается, что полноту нужно измерять чтением хранилища, а не подсчётом скопированного. Различие существенно: сквозной кеш пишет в собственное хранилище на каждом промахе, поэтому то же измерение на кеширующем кластере считало бы образы, которые кластер просто подтянул. - строкаspec.auth
Bearer-токен, защищающий хранилище.
Чувствительные данные. Авторизация не отключается никогда — в том числе в air-gap, где кеш отдаёт образы только на чтение.
- объектspec.garbageCollection
Настройки сборки мусора.
Определяют, освобождает ли реплика диск, занятый релизами, которые кластер уже прошёл, и время запуска сборки мусора.
Сборка мусора потому, что никакие другие компоненты не удаляют из хранилища данные ни при каких условиях: каждый релиз добавляет свой срез репозитория, поэтому, при отсуствии сборки мусора, кластер, работающий долгое время, заполняет хранилище и перестаёт быть способным загружать образы.
Во время сборки мусора загрузка образов из хранилища не блокируется: реплика продолжает отдавать все образы, которые держит. Сборка мусора не начинается, пока хранилище наполняется или идёт
d8 mirror push. Во время сборки мусора реплика не наполняет своё хранилище.d8 mirror push, начатый во время сборки, может завершиться ошибкой, и его нужно повторить. Сборка мусора одновременно работает только на одной реплике, поэтому остальные не затронуты.- булевыйspec.garbageCollection.enabled
Запускается ли сборка мусора (создаются ли операции
RegistryOperation) контроллером автоматически: по расписанию, после смены набора образов и когда хранилище отказывает в записи.Операция
RegistryOperation, созданная вручную, выполняется в любом случае. - строкаspec.garbageCollection.schedule
Cron-выражение из пяти полей, в UTC.
По умолчанию — ночной час или начало окна обслуживания NodeGroup
master, если оно задано: этот час оператор уже объявил допустимым для перерывов.
- булевыйspec.needSync
Так контроллер выдаёт синкерам задание на наполнение или репликацию.
Выставлено, пока хотя бы одной реплике не хватает ожидаемого набора образов: лидер наполняется из upstream или follower ещё не догнал лидера. Снимается, когда набор есть у всех реплик; до следующего изменения набора ничего не копируется.
- булевыйspec.publish
Публиковать ли защищённую авторизацией точку записи (Ingress) для
d8 mirror push.Ключи на запись отличаются от ключей на чтение. Точка записи — это второй слушатель того же хранилища образов контейнеров: то же хранилище, но без кеша перед ним, поэтому её публикация ничего не стоит адресу, через который кластер тянет образы. Один слушатель не может одновременно проксировать upstream и принимать push.
- объектspec.source
Набор образов, который должен оказаться в хранилище.
- строкаspec.source.bundleRef
Имя набора образов.
- целочисленныйspec.source.expectedDigests
Количество уникальных дайджестов в наборе.
Допустимые значения:
0 <= X
- объектspec.store
Где
distributionхранит блобы.- строкаspec.store.path
Путь на узле. Задаётся модулем, а не пользователем:
/var/lib/deckhouse/registry, если у NodeGroup master-узловsystemType: DeckhouseEngine, иначе/opt/deckhouse/registry.Пример:
path: "/opt/deckhouse/registry" - строкаspec.store.size
Бюджет хранилища каждой реплики, берётся из
storage.sizeв ModuleConfig: сколько могут занимать его блобы и незавершённые загрузки. Если не задан, бюджета нет; резерв на файловой системе хранилища (см.status.replicas[].store.reserveBytes) действует в любом случае.Шаблон:
^[0-9]+(\.[0-9]+)?(E|P|T|G|M|k|Ei|Pi|Ti|Gi|Mi|Ki)?$
- объектspec.upstream
Primary upstream, спроецированный сюда контроллером.
Задан — сквозной кеш. Не задан — кеш авторитетен (air-gap).
Контроллер убирает это поле только после того, как лидер полон, поэтому узлы никогда не остаются без источника образов — даже если пользователь уже убрал upstream из конфигурации.
- объектspec.upstream.auth
Где хранятся ключи доступа к этому эндпоинту.
Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе
system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к registry, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.- объектspec.upstream.auth.secretRef
Секрет с ключами доступа и ключ внутри него.
- строкаspec.upstream.auth.secretRef.key
Обязательный параметр
Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.
- строкаspec.upstream.auth.secretRef.name
Обязательный параметр
Имя секрета в неймспейсе
d8-system.
- строкаspec.upstream.ca
PEM-сертификат удостоверяющего центра для проверки хранилища образов контейнеров.
- строкаspec.upstream.host
Обязательный параметр
Хост хранилища образов контейнеров, опционально с портом.
- массив объектовspec.upstream.mirrors
Дополнительные адреса, отдающие тот же контент. Синкер загружает с любого доступного и хранит один дедуплицированный набор.
- объектspec.upstream.mirrors.auth
Где хранятся ключи доступа к этому эндпоинту.
Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе
system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к registry, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.- объектspec.upstream.mirrors.auth.secretRef
Секрет с ключами доступа и ключ внутри него.
- строкаspec.upstream.mirrors.auth.secretRef.key
Обязательный параметр
Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.
- строкаspec.upstream.mirrors.auth.secretRef.name
Обязательный параметр
Имя секрета в неймспейсе
d8-system.
- строкаspec.upstream.mirrors.ca
PEM-сертификат удостоверяющего центра для проверки зеркала.
- строкаspec.upstream.mirrors.host
Обязательный параметр
Хост зеркала, опционально с портом.
- строкаspec.upstream.mirrors.path
Префикс пути к репозиторию внутри зеркала.
- строкаspec.upstream.mirrors.scheme
Протокол подключения к зеркалу.
По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- строкаspec.upstream.path
Префикс пути к репозиторию внутри хранилища образов контейнеров.
- строкаspec.upstream.scheme
Протокол подключения к хранилищу образов контейнеров.
По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- объектstatus
- булевыйstatus.allReplicasFull
Содержат ли ожидаемый набор все реплики — тогда потеря лидера ничего не стоит.
- булевый
Снят ли upstream и стал ли кеш единственным источником образов.
- массив объектовstatus.conditions
Детальное состояние хранилища.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
Время последнего изменения состояния.
- строкаstatus.conditions.message
Пояснение для человека.
- целочисленныйstatus.conditions.observedGeneration
Поколение
spec, для которого выставлено состояние. - строкаstatus.conditions.reason
Обязательный параметр
Машиночитаемая причина состояния.
- строкаstatus.conditions.status
Обязательный параметр
Значение состояния.
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
Тип состояния.
- объектstatus.fill
Прогресс текущего задания на наполнение.
- целочисленныйstatus.fill.filled
Сколько дайджестов записано на текущий момент.
- целочисленныйstatus.fill.total
Сколько дайджестов ожидается.
- строкаstatus.leader
Узел, который в данный момент держит lease лидера хранилища.
Это не обычные выборы. Роль лидера несимметрична — именно из него реплицируют все follower’ы, и именно его полнота открывает переход в air-gap. Когда у какой-то реплики есть весь ожидаемый набор образов, лидер, который не может собрать набор сам, уступает ей: если у него нет upstream, если его последний проход завершился ошибкой, если его хранилище отказывает в записи или если он перестал продлевать lease. Лидер, который ещё собирает набор из upstream, сохраняет lease, даже если follower закончил раньше. Пока полной реплики нет ни одной — а с этого начинается любой кластер, — lease не переходит; если лидера нет вообще, lease получает реплика с наибольшим числом проверенных образов.
Без этого правила air-gap-кластер может застрять.
d8 mirror pushприходит через endpoint публикации и всегда попадает на лидера; неполному лидеру рядом с полным follower’ом (например, лидеру, чьё хранилище было потеряно) не из чего наливаться, у follower’ов те же пробелы, что у него, а реплика с образами простаивает. - целочисленныйstatus.observedGeneration
Поколение
spec, на которое контроллер отреагировал последним. - строкаstatus.phase
Краткая сводка состояния наполнения.
Idle— задание на наполнение или проверку не выполняется.Filling— лидер наполняется.Verifying— содержимое проверяется противspec.source.Ready— лидер содержит ожидаемый набор.Failed— задание на наполнение или проверку завершилось ошибкой. В этом состоянии upstream не снимается.
Допустимые значения:
Idle,Filling,Verifying,Ready,Failed - массив объектовstatus.replicas
Состояние наполнения по репликам.
Это единственное место, где сообщается полнота хранилища. RegistryNode намеренно её не несёт: полнота — свойство хранилища, а не узла.
- строкаstatus.replicas.address
Адрес, на котором отвечает эта реплика, в виде
host:port.Сообщает сама реплика — чтобы follower мог реплицировать с лидера, не разрешая имя узла в адрес.
- строкаstatus.replicas.aheadSet
Части того, что идёт впереди набора и тоже есть у этой реплики: следующая версия платформы, на которую обновится кластер, и каждое обновление модуля, которое он вот-вот применит. Указываются ключами частей через запятую, по порядку.
Часть выставляется, когда копирование наперёд перенесло её целиком. Отдельно от
verifiedSet, потому что копируется отдельно: после набора, в фоне, по возможности. По частям, чтобы один модуль, который так и не появился, не мешал учесть остальное. Фолловер копирует части, которые есть у лидера и нет у него, поэтому обновление, попавшее только на лидера (например, черезd8 mirror push), доходит до остальных реплик. Пусто, если ничего не ожидает обновления или ожидающее ещё не скопировано. - строкаstatus.replicas.collectedAt
When this replica last reclaimed its disk.
Absent until it has. Reported per replica because each collects its own store, one at a time: a cluster where one replica has not collected for a month while the others have is a different problem from one where none has.
- строкаstatus.replicas.collectionError
Why the last attempt to reclaim did not finish, empty when it did.
Separate from
error, which is about filling. A store that cannot be reclaimed still serves every image it holds, so the two say different things about how worried to be. - массив строкstatus.replicas.corruptedBlobs
Блобы хранилища этой реплики, содержимое которых не совпадает с их digest, по порядку, не больше 100. Обычно список пуст.
Обнаруживаются во время фоновой проверки, которая читает всё хранилище раз в час, а также RegistryOperation с типом
VerifyилиRepair, который не смог закончить восстановление. Образ, ссылающийся на такой блоб, считается отсутствующим: пока на него ссылается образ из набора, реплика неfull, и лидер передаёт lease реплике, у которой набор цел.Модуль создаёт
RegistryOperationс типомRepairдля этих блобов, как только не выполняется никакая другая операция, и повторяет её через четыре часа, если ремонт их не исправил. - целочисленныйstatus.replicas.declaredDigests
Каков размер набора — то, из чего берётся
verifiedDigests.Сообщается репликой, потому что размер набора знает только та реплика, которая его вычисляет, и по этому числу ничего не решается. Пока его не было, единственным знаменателем для статуса оставался
spec.source.expectedDigests, который оператор указывает при объявлении air-gap и не указывает в остальных случаях — поэтому кластер с upstream всю свою самую длинную фазу показывалfilled: 0, total: 0, пока копировались гигабайты. Полнота по-прежнему выражается черезfull, а переход в air-gap по-прежнему решается поspec.source.expectedDigests: объявление оператора не подменяется числом, которое кластер вычислил про себя. - строкаstatus.replicas.error
Почему последнее задание на наполнение или проверку завершилось ошибкой — по отчёту синкера этой реплики. Пусто, если последнее задание прошло успешно.
Если последнее задание не завершилось ошибкой, здесь же повторяется то, что сообщает
healthError.Безопасность от этого поля не зависит: упавшая реплика просто не
full, а upstream снимается только когда лидер полон. Поле нужно, чтобы оператор мог отличить «ещё наполняется» от «сломалось», чего счётчики наполнения сами по себе не выражают. - булевыйstatus.replicas.full
Содержит ли эта реплика ожидаемый набор.
Вычисляется по тому, что синкер фактически записал, и никогда пробой пути выдачи: на промахе сквозной кеш сам подтянул бы образ из upstream и отчитался об успехе на пустом хранилище. В air-gap самонаполнение невозможно, поэтому там честно читать каталог и сравнивать с
spec.source.expectedDigests. - строкаstatus.replicas.healthError
Почему реплика не может отдавать то, что хранит: её хранилище образов не отвечает пять минут или её диск две минуты отказывает в записи. Пусто, пока и то и другое работает.
Синкер проверяет и то и другое раз в полминуты независимо от наполнения и снимает ошибку, когда хранилище образов снова отвечает, а диск принимает запись;
fullпри этом не меняется и с этого момента снова учитывается. Лидер с такой ошибкой передаёт lease реплике, у которой есть весь ожидаемый набор, если такая есть; если нет, он остаётся лидером и только сообщает об ошибке.Пока ни у одной реплики нет всего набора и ни одна не лидирует, синкеры реплик сами выбирают, какая из них станет лидером и начнёт наполнение: ту, у которой больше всего образов. Реплику с такой ошибкой они пропускают. Пропускают и реплику, чьё хранилище упёрлось в бюджет или в резерв узла (
store.writableравноfalse), если только так не у всех реплик. Одна лишь ошибка вerror, например неудачное копирование с лидера, которого уже нет, выбору реплики не мешает. - объектstatus.replicas.images
Количество образов, хранимых на реплике, по состояниям. Сами образы показывает
d8 k get registryimages.- целочисленныйstatus.replicas.images.corrupted
Образы, из набора или нет, которые ссылаются на битый блоб.
- целочисленныйstatus.replicas.images.incomplete
Образы из набора, у которых в хранилище не хватает части блобов.
- целочисленныйstatus.replicas.images.missing
Образы из набора, которых у реплики нет совсем.
- целочисленныйstatus.replicas.images.outOfSet
Образы, которые не объявляет ни один релиз и ни один модуль кластера: подтянутые через кеш по запросу или оставшиеся от старого релиза.
- целочисленныйstatus.replicas.images.present
Образы из набора, которые реплика хранит целиком.
- строкаstatus.replicas.node
Обязательный параметр
Узел, на котором работает реплика.
- строкаstatus.replicas.role
Роль реплики в репликации.
Leader— наполняется из upstream либо командойd8 mirror pushв air-gap и раздаёт задания на репликацию.Follower— наполняется от лидера заранее, поэтому потеря лидера не означает наполнения с нуля.
Допустимые значения:
Leader,Follower - строкаstatus.replicas.scrubbedAt
Когда фоновая проверка в последний раз дочитала всё хранилище и сверила каждый блоб с его digest.
- строкаstatus.replicas.source
Реплика, от которой наполняется эта. Пусто для лидера.
- объектstatus.replicas.store
Сколько места на диске узла занимает хранилище этой реплики и принимает ли оно запись. Отсутствует, пока реплика не выполнила замер.
Оба предела registry соблюдает сам, при каждой записи. Здесь те же величины в подсчёте синкера — для статуса и алертов. Размеры округлены до 16 МиБ: занятое вверх, свободное и размер файловой системы вниз, чтобы общая с узлом файловая система не переписывала статус на каждом проходе.
- целочисленныйstatus.replicas.store.budgetBytes
storage.sizeиз настроек модуля. Отсутствует, если параметр не задан; тогда действует только резерв. - булевыйstatus.replicas.store.dedicatedFilesystem
true, если у хранилища своя файловая система: диск смонтирован в каталог хранилища или в каталог хранилища уровнем выше, и на нём нет каталогов kubelet и containerd. Реплика определяет это по своим точкам монтирования при запуске. Отсутствует, если файловая система общая с узлом или это не удалось определить: такая файловая система считается общей. - целочисленныйstatus.replicas.store.filesystemCapacityBytes
Обязательный параметр
Текущий размер файловой системы хранилища. Если файловую систему расширили при работающем хранилище, здесь виден новый размер, и резерв пересчитывается от него.
- целочисленныйstatus.replicas.store.filesystemFreeBytes
Обязательный параметр
Свободное место на файловой системе хранилища. Если отдельного диска нет, это та же файловая система, которой пользуются kubelet и containerd.
- строкаstatus.replicas.store.reason
Причина, по которой отклоняются записи.
BudgetExhausted— хранилище заняло всё, что разрешаетstorage.size;ReserveExhausted— на файловой системе хранилища осталось только место, которое должно оставаться свободным, см.reserveBytes;NotWritable— registry не может создавать файлы в своём дереве в хранилище: вdocker/registry/v2и каталогах под ним, а пока этого дерева нет — в каталоге хранилища. Мешают владелец или права этих каталогов, атрибут immutable, монтирование только для чтения или модуль безопасности. Предел здесь ни при чём, и ни сборка мусора, ни большийstorage.sizeне помогут. Каталог и команда, которая это исправляет, указаны вerrorреплики. Имеет приоритет над обоими пределами.
Допустимые значения:
BudgetExhausted,ReserveExhausted,NotWritable - целочисленныйstatus.replicas.store.reserveBytes
Обязательный параметр
Сколько места на файловой системе хранилище оставляет свободным. Считается от текущего размера файловой системы, округлённого вверх до целого ГиБ. Если файловая система общая с узлом, это мягкий порог выселения kubelet (10%, не больше 40 ГиБ) плюс запас для других процессов, пишущих на неё (10%, не больше 20 ГиБ). Если у хранилища своя файловая система (см.
dedicatedFilesystem), остаётся только запас. - целочисленныйstatus.replicas.store.usedBytes
Обязательный параметр
Сколько занимают блобы хранилища и незавершённые загрузки.
- булевыйstatus.replicas.store.writable
Обязательный параметр
false, пока хранилище отклоняет новые записи. Чтение не отклоняется никогда: полное хранилище отдаёт всё, что в нём есть, а образ, который сохранить не удалось, отдаётся потоком из upstream. Исключение —reason: NotWritable: тогда registry отвечает на такую загрузку ошибкой, потому что его каталоги отказывают в записи раньше, чем проверяются пределы.
- строкаstatus.replicas.syncerStartedAt
Когда запущен процесс синкера, записавший эту запись, с точностью до секунды. Выставляется, только когда этот процесс сам пересчитал своё хранилище, скопировал в него или перепроверил его; до того поля нет.
Запись переживает процесс, который её написал. Лидер, чей под пересоздан на том же узле, сразу забирает lease обратно, и пока новый процесс не прочитал хранилище, его запись говорит то, что нашёл предыдущий, включая
full, даже если хранилище стёрто вместе с подом. Поэтому upstream снимается, только если запись держателя lease помечена не раньше запуска контейнераsyncerв его Ready-поде. Оба времени берутся по часам этого узла. - целочисленныйstatus.replicas.totalDigests
Сколько различных дайджестов эта реплика хранит всего.
Это другая величина, чем
verifiedDigests, и по ней ничего не решается. Она нужна, чтобы хранилище, содержащее больше, чем требуется этому кластеру — загруженный bundle с другими модулями, другими редакциями, аттестациями — выглядело именно так, а не как недостача относительноspec.source.expectedDigests. - целочисленныйstatus.replicas.verifiedDigests
Сколько дайджестов из набора подтверждено на месте.
Набор — это то, что объявляют релизы кластера и сохраняемые модули, то есть дайджесты, известные deckhouse-controller. Поэтому это число напрямую сопоставимо с
fullи именно по нему принимается решение о переходе в air-gap. Всё остальное, что оказалось в хранилище, учитывается вtotalDigests. - строкаstatus.replicas.verifiedSet
Отпечаток набора, для которого реплика в последний раз признана полной (
full): версии платформы и модули кластера, каждый со своей версией и источником.fullверен только для того набора, по которому он измерен, а набор меняется: устанавливается модуль, обновляется платформа. Значение сообщает каждая реплика вместе со своимfull. Лидер сравнивает своё с набором, который нужен кластеру сейчас. Если они расходятся, лидер снимаетfullи перепроверяет хранилище, прежде чем на него сможет опереться переход в air-gap.fullдля другого набора не учитывается, когда реплики решают, кому быть лидером. Пусто, покаfullне установлен.
- булевыйstatus.safeToDropUpstream
Содержит ли лидер ожидаемый набор и не осталось ли на платформе ссылок на upstream — вместе это условие ухода в air-gap.
Намеренно только лидер, а не все реплики: реплики доливаются заранее и параллельно, поэтому ожидание всех задержало бы переход, не добавив безопасности.
Полный кеш не заменяет отсутствия ссылок: ссылку на образ, которая называет upstream по его собственному имени, кеш не обслуживает, когда upstream снят. Подробнее — в описании
upstreamReferences.fullлидера учитывается, только если его записал синкер, работающий на узле лидера сейчас, после того как прочитал своё хранилище (см.replicas[].syncerStartedAt). После перезапуска синкера лидера здесьfalseдо его первого прохода, обычно не дольше двух минут. - целочисленныйstatus.upstreamReferences
Количество объектов в неймспейсах платформы, образы которых всё ещё ссылаются на upstream, удерживаемый хранилищем.
Каждый объект считается отдельно: шаблоны Deployment, DaemonSet, StatefulSet и CronJob, ещё не запущенные поды, поды, которые при следующем запуске будут скачивать образ заново, и реплики самого хранилища — после снятия upstream им неоткуда скачать собственный образ. Deployment в процессе обновления добавляет единицу за шаблон и по единице за каждый такой под.
Учитываются только неймспейсы
kube-systemиd8-*. Нагрузки в других неймспейсах, образы которых ссылаются на адрес upstream, переход не удерживают, и после снятия upstream им неоткуда скачать образы. Переведите их на адрес внутри кластера до того, как убрать upstream.Считается, пока лидер полон и upstream ещё удерживается. Если поля нет, подсчёт не проводился, и
safeToDropUpstreamравноfalse, как при ненулевом значении.
RegistryUpstream
Short names: rup
Scope: Cluster
Version: v1alpha1
Объявляет дополнительное хранилище образов контейнеров, в которое кластер маршрутизирует загрузки, помимо основного.
Это штатный способ для модуля, администратора или пользователя добавить своё хранилище образов контейнеров. Модуль создаёт объект с ownerReference на себя, поэтому объект удаляется сборщиком мусора вместе с модулем; GitOps-инструмент, ведущий ModuleConfig, не конкурирует за владение полями, потому что каждый upstream — отдельный объект.
Трафик через такие upstream — всегда транзит: агент проксирует загрузку, подставляя ключи и сертификат удостоверяющего центра, и передаёт её потоком, не записывая ни на диск, ни в кеш. Место под кеш ограничено и отдано под компоненты Deckhouse — тем более в air-gap, где кеш является единственным источником образов.
Значение match, уже занятое другим объектом, или затеняющее путь Primary, отклоняется, а не сливается молча. См. status.conflict.
Объекты принимаются в порядке создания, начиная с созданного раньше всех. Одновременно применяются настройки не более 256 объектов. Суммарный размер их полей spec в формате JSON не должен превышать 256 КиБ. Если добавление очередного объекта превышает любой из этих лимитов, его настройки не применяются. Создание нового объекта не приводит к вытеснению ранее принятого объекта из конфигурации узлов.
Если модуль выключен или работает в режиме Unmanaged, агента на узлах нет. Тогда объекты по тем же правилам разбирает node-manager: он заполняет status и передаёт принятые объекты узлам. Узлы применяют их напрямую в конфигурацию среды выполнения контейнеров: среда выполнения загружает образы из upstream и его зеркал без прокси. Значение match, совпадающее с хранилищем образов какого-либо ModuleSource, принимается: на узлах Immutable объект заменяет это хранилище вместе с его сертификатом удостоверяющего центра, а на узлах, которые настраивает bashible (кроме узлов с containerd v1, описанных ниже), хранилище образов контейнеров остаётся таким, как его настраивает ModuleSource. Пока модуль не настраивает узлы — он выключен или работает в режиме Unmanaged, — узлы с containerd v1 (Containerd) не применяют upstream с path, а также upstream, чьё хранилище образов уже настроено на узле или указано в объекте дважды. Такой объект остаётся принятым, а сообщение его условия Accepted называет группы узлов, которые его не применяют, и причину.
- объектspec
Обязательный параметр
- строкаspec.match
Обязательный параметр
Хост хранилища образов контейнеров, который перехватывается на узлах.
Шаблон:
^[a-zA-Z0-9]([-a-zA-Z0-9]*[a-zA-Z0-9])?(\.[a-zA-Z0-9]([-a-zA-Z0-9]*[a-zA-Z0-9])?)*(:[0-9]{1,5})?$Длина:
1..255Пример:
match: images.virtualization.example.com - объектspec.upstream
Обязательный параметр
Куда фактически отправляются перехваченные загрузки.
- объектspec.upstream.auth
Ключи доступа к хранилищу образов контейнеров.
Чувствительные данные. Ключи хранятся внутри объекта, а не по ссылке на секрет, — так агент на узле остаётся самодостаточным при недоступном API-сервере.
- строкаspec.upstream.auth.auth
Заранее закодированное значение
base64("username:password").Имеет приоритет над
usernameиpassword, если задано. Если заданы обе формы, они должны задавать одни и те же ключи доступа.Если у вызывающей стороны нет прав на подресурс
registryupstreams/sensitive, API возвращает<omitted>вместо значения.Максимальная длина:
4096 - строкаspec.upstream.auth.password
Пароль для базовой аутентификации.
Если у вызывающей стороны нет прав на подресурс
registryupstreams/sensitive, API возвращает<omitted>вместо значения.Максимальная длина:
4096 - строкаspec.upstream.auth.username
Имя пользователя для базовой аутентификации.
Максимальная длина:
1024
- строкаspec.upstream.ca
PEM-сертификат удостоверяющего центра для проверки хранилища образов контейнеров при
scheme: HTTPS.Принимаются только блоки
CERTIFICATE, и каждый из них должен разбираться.Максимальная длина:
65536 - строкаspec.upstream.host
Обязательный параметр
URL-адрес хранилища образов контейнеров, опционально с портом.
IPv6-адрес записывается в квадратных скобках, после которых указывается порт.
Длина:
1..255Пример:
host: registry-vendor.example.com - массив объектовspec.upstream.mirrors
Дополнительные адреса, отдающие тот же контент, что и хранилище образов контейнеров, — для отказоустойчивости.
- объектspec.upstream.mirrors.auth
Ключи доступа к зеркалу.
Чувствительные данные. См.
upstream.auth.- строкаspec.upstream.mirrors.auth.auth
Заранее закодированное значение
base64("username:password").Если у вызывающей стороны нет прав на подресурс
registryupstreams/sensitive, API возвращает<omitted>вместо значения.Максимальная длина:
4096 - строкаspec.upstream.mirrors.auth.password
Пароль для базовой аутентификации.
Если у вызывающей стороны нет прав на подресурс
registryupstreams/sensitive, API возвращает<omitted>вместо значения.Максимальная длина:
4096 - строкаspec.upstream.mirrors.auth.username
Имя пользователя для базовой аутентификации.
Максимальная длина:
1024
- строкаspec.upstream.mirrors.ca
PEM-сертификат удостоверяющего центра для проверки зеркала.
Максимальная длина:
65536 - строкаspec.upstream.mirrors.host
Обязательный параметр
URL-адрес зеркала, опционально с портом.
IPv6-адрес записывается в квадратных скобках, после которых указывается порт.
Длина:
1..255 - строкаspec.upstream.mirrors.path
Префикс пути к репозиторию внутри зеркала.
Максимальная длина:
1024 - строкаspec.upstream.mirrors.scheme
Протокол подключения к зеркалу.
По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- строкаspec.upstream.path
Префикс пути к репозиторию внутри хранилища образов контейнеров.
Максимальная длина:
1024Пример:
path: "/virt" - строкаspec.upstream.scheme
Протокол подключения к хранилищу образов контейнеров.
По умолчанию:
HTTPSДопустимые значения:
HTTP,HTTPS
- объектstatus
- булевыйstatus.accepted
Скомпилировал ли контроллер этот upstream в выкладку по узлам.
- массив объектовstatus.conditions
Результат арбитража с машиночитаемой причиной.
Accepted— входит ли upstream в выкладку по узлам.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
Время последнего изменения состояния.
- строкаstatus.conditions.message
Пояснение для человека.
- целочисленныйstatus.conditions.observedGeneration
Поколение
spec, для которого выставлено состояние. - строкаstatus.conditions.reason
Обязательный параметр
Машиночитаемая причина состояния.
- строкаstatus.conditions.status
Обязательный параметр
Значение состояния.
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
Тип состояния.
- строкаstatus.conflict
Причина отклонения объекта: значение
matchуже используется другим объектом,matchперехватывает запросы к основному хранилищу образов (Primary), какое-то из полейspecнекорректно или при добавлении объекта превышается лимит в ограничения на все принятые объекты (их количество или суммарный размер их полейspec).Пусто, если объект принят.
- целочисленныйstatus.observedGeneration
Поколение
spec, на которое контроллер отреагировал последним.