Deckhouse Platform устанавливает CRD, но не удаляет их при отключении модуля. Если вам больше не нужны созданные CRD, удалите их.

RegistryConfig

Short names: rcfg

Scope: Cluster
Version: v1alpha1

Описывает результирующую конфигурацию хранилища образов контейнеров кластера.

В штатном режиме объект рендерится модулем из ModuleConfig/registry. Объект — контракт, а не собственность Deckhouse: администратор может править его напрямую, когда оператор Deckhouse недоступен, и правка применяется на лету контроллером хранилища образов контейнеров и синкером хранилища, без перегенерации helm.

Используется единственный объект с именем registry.

  • spec
    объект

    Обязательный параметр

    • spec.mode
      строка

      Управляет ли модуль путём загрузки образов.

      • Managed — модуль владеет путём загрузки и создаёт свои компоненты.
      • Unmanaged — модуль не владеет ничем, компоненты не создаются.

      По умолчанию: Managed

      Допустимые значения: Managed, Unmanaged

    • spec.primary
      объект

      Единственный авторитетный источник образов компонентов Deckhouse.

      Дополнительные хранилища образов контейнеров объявляются отдельными объектами RegistryUpstream. Несколько разных Primary не поддерживается: тогда были бы неоднозначны и «полон ли кеш», и «из чего наполняется кеш в air-gap».

      • spec.primary.upstream
        объект

        Хранилище образов контейнеров, из которого загружаются образы компонентов Deckhouse.

        Если не задан, кластер считается air-gap: внутрикластерный кеш становится авторитетным и наполняется извне командой d8 mirror push. Отсутствие параметра требует storage.cache: true.

        • spec.primary.upstream.auth
          объект

          Ключи доступа к хранилищу образов контейнеров.

          Чувствительные данные. Ключи хранятся внутри объекта, а не по ссылке на секрет, — так агент на узле остаётся самодостаточным при недоступном API-сервере. Ограничивайте доступ к ресурсам хранилища образов контейнеров соответствующим образом.

          • spec.primary.upstream.auth.auth
            строка

            Заранее закодированное значение base64("username:password").

            Имеет приоритет над username и password, если задано.

            Если у вызывающей стороны нет прав на подресурс registryconfigs/sensitive, API возвращает <omitted> вместо значения.

          • spec.primary.upstream.auth.password
            строка

            Пароль для базовой аутентификации.

            Если у вызывающей стороны нет прав на подресурс registryconfigs/sensitive, API возвращает <omitted> вместо значения.

          • spec.primary.upstream.auth.username
            строка

            Имя пользователя для базовой аутентификации.

        • spec.primary.upstream.ca
          строка

          PEM-сертификат удостоверяющего центра для проверки хранилища образов контейнеров при scheme: HTTPS.

          Если не задан, используется системное хранилище доверенных сертификатов.

        • spec.primary.upstream.host
          строка

          Обязательный параметр

          Хост хранилища образов контейнеров, опционально с портом.

          Пример:

          host: registry.deckhouse.io
          
        • spec.primary.upstream.mirrors
          массив объектов

          Дополнительные адреса, отдающие тот же контент, что и основное хранилище образов контейнеров, — для отказоустойчивости и балансировки.

          Зеркала не являются отдельными источниками. Хранилище кеширует один дедуплицированный набор независимо от того, с какого зеркала образы были загружены.

          • spec.primary.upstream.mirrors.auth
            объект

            Ключи доступа к зеркалу.

            Чувствительные данные. См. primary.upstream.auth.

            • spec.primary.upstream.mirrors.auth.auth
              строка

              Заранее закодированное значение base64("username:password").

              Если у вызывающей стороны нет прав на подресурс registryconfigs/sensitive, API возвращает <omitted> вместо значения.

            • spec.primary.upstream.mirrors.auth.password
              строка

              Пароль для базовой аутентификации.

              Если у вызывающей стороны нет прав на подресурс registryconfigs/sensitive, API возвращает <omitted> вместо значения.

            • spec.primary.upstream.mirrors.auth.username
              строка

              Имя пользователя для базовой аутентификации.

          • spec.primary.upstream.mirrors.ca
            строка

            PEM-сертификат удостоверяющего центра для проверки зеркала.

          • spec.primary.upstream.mirrors.host
            строка

            Обязательный параметр

            Хост зеркала, опционально с портом.

            Пример:

            host: registry-mirror.example.com
            
          • spec.primary.upstream.mirrors.path
            строка

            Префикс пути к репозиторию внутри зеркала.

          • spec.primary.upstream.mirrors.scheme
            строка

            Протокол подключения к зеркалу.

            По умолчанию: HTTPS

            Допустимые значения: HTTP, HTTPS

        • spec.primary.upstream.path
          строка

          Префикс пути к репозиторию внутри хранилища образов контейнеров.

          Пример:

          path: "/deckhouse/ee"
          
        • spec.primary.upstream.scheme
          строка

          Протокол подключения к хранилищу образов контейнеров.

          Используйте HTTP только для незащищённых доверенных хранилищ образов контейнеров.

          По умолчанию: HTTPS

          Допустимые значения: HTTP, HTTPS

    • spec.storage
      объект

      Настройки внутрикластерного кеша хранилища образов контейнеров.

      • spec.storage.cache
        булевый

        Идут ли загрузки через внутрикластерный кеш на master-узлах.

        Это первая из двух осей конфигурации. Вторая — задан ли primary.upstream. Вместе они заменяют прежнюю стейт-машину режимов:

        • cache: false с заданным upstream — агент форвардит загрузки напрямую в upstream, хранилище не нужно.
        • cache: true с заданным upstream — сквозной кеш, наполняется из upstream.
        • cache: true без upstream — air-gap: кеш авторитетен и наполняется командой d8 mirror push.

        По умолчанию: false

      • spec.storage.garbageCollection
        объект

        Когда кеш освобождает диск, занятый релизами, которые кластер уже прошёл.

        Никакие другие компоненты не удаляют из него данные ни при каких условиях: каждый релиз добавляет свой срез репозитория, поэтому кластер, работающий долгое время, заполняет хранилище и перестаёт быть способным загружать образы.

        Сборка мусора не прерывает отдачу образов: реплика продолжает отдавать все образы, которые держит. Она не начинается, пока хранилище наполняется или идёт d8 mirror push, а пока она идёт, реплика не наполняет своё хранилище. d8 mirror push, начатый во время сборки, может завершиться ошибкой, и его нужно повторить. Одновременно мусор собирает только одна реплика, поэтому остальные не затронуты.

        • spec.storage.garbageCollection.enabled
          булевый

          Освобождает ли кеш свой диск сам: по расписанию, после смены набора образов и когда хранилище отказывает в записи. Операция RegistryOperation, созданная вручную, выполняется в любом случае.

        • spec.storage.garbageCollection.schedule
          строка

          Cron-выражение из пяти полей, в UTC.

          По умолчанию — ночной час или начало окна обслуживания NodeGroup master, если оно задано.

      • spec.storage.size
        строка

        Размер персистентного хранилища под кеш.

        Шаблон: ^[0-9]+(\.[0-9]+)?(E|P|T|G|M|k|Ei|Pi|Ti|Gi|Mi|Ki)?$

        Пример:

        size: 50Gi
        
      • spec.storage.source
        объект

        Набор образов, который должен оказаться в кеше.

        Обязателен в air-gap: без upstream, к которому можно откатиться, полнота должна быть вычислимой, прежде чем отдавать образы только из кеша.

        • spec.storage.source.bundleRef
          строка

          Имя набора образов, например bundle, залитого командой d8 mirror push.

          Пример:

          bundleRef: d8-mirror-bundle
          
        • spec.storage.source.expectedDigests
          целочисленный

          Количество уникальных дайджестов в наборе.

          Допустимые значения: 0 <= X

          Пример:

          expectedDigests: 459
          
  • status
    объект
    • status.conditions
      массив объектов

      Сводка здоровья, которую пишет контроллер хранилища образов контейнеров.

      • Valid — результирующая конфигурация согласована.
      • UpstreamValid — результат preflight-пробы Primary upstream: достижимость, приём ключей, наличие sentinel-контента. Значение False означает, что контроллер держит последний рабочий upstream и не переключился, — так испорченная лицензия или неверный адрес не роняют кластер.
      • StorageConverged — хранилище пришло в состояние, которого требует конфигурация.
      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

        Время последнего изменения состояния.

      • status.conditions.message
        строка

        Пояснение для человека.

      • status.conditions.observedGeneration
        целочисленный

        Поколение spec, для которого выставлено состояние.

      • status.conditions.reason
        строка

        Обязательный параметр

        Машиночитаемая причина состояния.

      • status.conditions.status
        строка

        Обязательный параметр

        Значение состояния.

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        Тип состояния.

    • status.effectiveUpstream
      объект

      Upstream, который фактически действует, — не обязательно тот, что задан в конфигурации.

      Это собственная запись контроллера о последнем upstream, прошедшем preflight-пробу, и именно она делает неудачное изменение переживаемым: если ввести нерабочие ключи или переключиться на лицензию без доступа, это поле — а вместе с ним и кластер — остаётся на прежнем рабочем upstream, а состояние UpstreamValid сообщает причину.

      Оно же держит upstream во время ухода в air-gap, когда конфигурация уже говорит «нет», а кеш ещё не полон.

      Пусто означает, что никакой upstream не действует: либо кластер в air-gap, либо ничего ещё не настроено.

      • status.effectiveUpstream.ca
        строка

        PEM-сертификат удостоверяющего центра для проверки хранилища образов контейнеров.

      • status.effectiveUpstream.host
        строка

        Хост хранилища образов контейнеров, опционально с портом.

      • status.effectiveUpstream.mirrors
        массив объектов

        Дополнительные адреса, отдающие тот же контент.

        • status.effectiveUpstream.mirrors.ca
          строка

          PEM-сертификат удостоверяющего центра для проверки зеркала.

        • status.effectiveUpstream.mirrors.host
          строка

          Обязательный параметр

          Хост зеркала, опционально с портом.

        • status.effectiveUpstream.mirrors.path
          строка

          Префикс пути к репозиторию внутри зеркала.

        • status.effectiveUpstream.mirrors.scheme
          строка

          Протокол подключения к зеркалу.

          Допустимые значения: HTTP, HTTPS

      • status.effectiveUpstream.path
        строка

        Префикс пути к репозиторию внутри хранилища образов контейнеров.

      • status.effectiveUpstream.scheme
        строка

        Протокол подключения к хранилищу образов контейнеров.

        Допустимые значения: HTTP, HTTPS

    • status.effectiveUpstreamAuthDigest
      строка

      Опознаёт действующие ключи доступа, не раскрывая их.

      Нужен потому, что вопрос «изменилась ли конфигурация» обязан учитывать ключи: смена лицензии при неизменном адресе — ровно тот случай, который нужно проверить пробой до переключения кластера. Ключи здесь больше не хранятся, и сравнение с дайджестом настроенных — то, что оставляет этот вопрос разрешимым.

    • status.observedGeneration
      целочисленный

      Поколение spec, на которое контроллер отреагировал последним.

RegistryNode

Short names: rnode

Scope: Cluster
Version: v1alpha1

Описывает полную выкладку хранилища образов контейнеров для одного узла, скомпилированную для его агента.

По одному объекту на узел, имя совпадает с именем узла, ownerReference указывает на него. Объект пишет контроллер хранилища образов контейнеров; status пишет только агент.

Объект плоский и, если не считать одной намеренной ссылки, самодостаточный: сертификаты удостоверяющих центров и маршруты лежат внутри, агент держит полную копию на диске и продолжает отдавать образы по ней при недоступном API-сервере — а в этот момент разыменовывать уже нечего. Исключение — учётные данные: они не лежат внутри, а названы (auth.secretRef указывает на секрет, в который их разрешает модуль). Именно это позволяет читать объект каждому узлу, не выдавая при этом каждому узлу все учётные данные реестров кластера. По той же причине контроллер компилирует все принятые RegistryUpstream в spec.additionalRoutes, вместо того чтобы агент следил за N объектами: согласованность многих объектов при недоступном API гарантировать нельзя.

Объект не содержит per-node секретов. Всё в нём — глобальная конфигурация, одинаковая на каждом узле. Именно поэтому его безопасно читать всей группе system:nodes, через которую агент получает доступ по kubeconfig kubelet’а.

  • spec
    объект

    Обязательный параметр

    • spec.additionalRoutes
      массив объектов

      Принятые объекты RegistryUpstream, скомпилированные контроллером.

      Всегда транзит, никогда не кешируется: агент проксирует загрузку и передаёт её потоком, не записывая на диск.

      • spec.additionalRoutes.auth
        объект

        Где хранятся ключи доступа к этому эндпоинту.

        Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к хранилищу образов контейнеров, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.

        • spec.additionalRoutes.auth.secretRef
          объект

          Секрет с ключами доступа и ключ внутри него.

          • spec.additionalRoutes.auth.secretRef.key
            строка

            Обязательный параметр

            Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.

          • spec.additionalRoutes.auth.secretRef.name
            строка

            Обязательный параметр

            Имя секрета в неймспейсе d8-system.

      • spec.additionalRoutes.ca
        строка

        PEM-сертификат удостоверяющего центра для проверки upstream.

      • spec.additionalRoutes.host
        строка

        Обязательный параметр

        Хост upstream, опционально с портом.

        Пример:

        host: registry-vendor.example.com
        
      • spec.additionalRoutes.match
        строка

        Обязательный параметр

        Хост хранилища образов контейнеров, который перехватывается на этом узле.

        Пример:

        match: images.virtualization.example.com
        
      • spec.additionalRoutes.mirrors
        массив объектов

        Дополнительные адреса, отдающие тот же контент.

        • spec.additionalRoutes.mirrors.auth
          объект

          Где хранятся ключи доступа к этому эндпоинту.

          Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к хранилищу образов контейнеров, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.

          • spec.additionalRoutes.mirrors.auth.secretRef
            объект

            Секрет с ключами доступа и ключ внутри него.

            • spec.additionalRoutes.mirrors.auth.secretRef.key
              строка

              Обязательный параметр

              Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.

            • spec.additionalRoutes.mirrors.auth.secretRef.name
              строка

              Обязательный параметр

              Имя секрета в неймспейсе d8-system.

        • spec.additionalRoutes.mirrors.ca
          строка

          PEM-сертификат удостоверяющего центра для проверки зеркала.

        • spec.additionalRoutes.mirrors.host
          строка

          Обязательный параметр

          Хост зеркала, опционально с портом.

        • spec.additionalRoutes.mirrors.path
          строка

          Префикс пути к репозиторию внутри зеркала.

        • spec.additionalRoutes.mirrors.scheme
          строка

          Протокол подключения к зеркалу.

          По умолчанию: HTTPS

          Допустимые значения: HTTP, HTTPS

      • spec.additionalRoutes.path
        строка

        Префикс пути к репозиторию внутри upstream.

      • spec.additionalRoutes.scheme
        строка

        Протокол подключения к upstream.

        По умолчанию: HTTPS

        Допустимые значения: HTTP, HTTPS

    • spec.backends
      массив объектов

      Источники основного набора образов, по приоритету.

      При включённом кеше это хранилище, а за ним upstream как запасной путь, пока кеш наполняется; запись upstream уходит из выкладки, когда кластер уходит в air-gap. При выключенном кеше — только upstream.

      • spec.backends.auth
        объект

        Где хранятся ключи доступа к этому эндпоинту.

        Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к хранилищу образов контейнеров, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.

        • spec.backends.auth.secretRef
          объект

          Секрет с ключами доступа и ключ внутри него.

          • spec.backends.auth.secretRef.key
            строка

            Обязательный параметр

            Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.

          • spec.backends.auth.secretRef.name
            строка

            Обязательный параметр

            Имя секрета в неймспейсе d8-system.

      • spec.backends.ca
        строка

        PEM-сертификат удостоверяющего центра для проверки бэкенда.

      • spec.backends.host
        строка

        Обязательный параметр

        Хост бэкенда, опционально с портом.

        Пример:

        host: registry.d8-system.svc:5001
        
      • spec.backends.mirrors
        массив объектов

        Другие адреса того же бэкенда. Агент распознаёт запросы к ним, но основной набор образов берёт только из endpoint.

        • spec.backends.mirrors.auth
          объект

          Где хранятся ключи доступа к этому эндпоинту.

          Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к хранилищу образов контейнеров, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.

          • spec.backends.mirrors.auth.secretRef
            объект

            Секрет с ключами доступа и ключ внутри него.

            • spec.backends.mirrors.auth.secretRef.key
              строка

              Обязательный параметр

              Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.

            • spec.backends.mirrors.auth.secretRef.name
              строка

              Обязательный параметр

              Имя секрета в неймспейсе d8-system.

        • spec.backends.mirrors.ca
          строка

          PEM-сертификат удостоверяющего центра для проверки зеркала.

        • spec.backends.mirrors.host
          строка

          Обязательный параметр

          Хост зеркала, опционально с портом.

        • spec.backends.mirrors.path
          строка

          Префикс пути к репозиторию внутри зеркала.

        • spec.backends.mirrors.scheme
          строка

          Протокол подключения к зеркалу.

          По умолчанию: HTTPS

          Допустимые значения: HTTP, HTTPS

      • spec.backends.name
        строка

        Обязательный параметр

        Роль бэкенда.

        • Storage — внутрикластерный кеш.
        • Upstream — Primary upstream: либо единственный бэкенд, либо запасной путь, пока наполняется кеш.

        Допустимые значения: Storage, Upstream

      • spec.backends.path
        строка

        Префикс пути к репозиторию внутри бэкенда.

      • spec.backends.scheme
        строка

        Протокол подключения к бэкенду.

        По умолчанию: HTTPS

        Допустимые значения: HTTP, HTTPS

    • spec.cache
      булевый

      Ось кеша для этого узла.

      true — агент идёт во внутрикластерное хранилище, false — напрямую в Primary upstream.

  • status
    объект

    Пишет только агент; сообщает факты со стороны containerd.

    Полноты хранилища здесь нет: это свойство хранилища, и живёт оно в RegistryStorage .status.replicas. Любой узел может пропатчить status любого RegistryNode, поскольку RBAC не умеет ограничивать list/watch по field selector, — поэтому ничто здесь не является несущим для пути загрузки, это наблюдаемость.

    • status.activeBackends
      массив строк

      Бэкенды, которыми агент может пользоваться в данный момент.

    • status.conditions
      массив объектов

      Детальное состояние, которое сообщает агент.

      • Reconciled — применён ли spec. Причина отличает штатное согласование от применения по дисковой копии (AppliedFromCache): агент не смог получить из API-сервера пригодный spec. Чаще всего не удалось прочитать учётные данные, на которые он ссылается; так же выглядит чтение spec, которое не удалось, когда запись статуса после него прошла, например при кратком сбое API-сервера. О переходе на копию агент сообщает записью этого статуса, поэтому агент, который вообще не может его записать (например, на узле, отрезанном от API-сервера), оставляет прежнее условие.
      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

        Время последнего изменения состояния.

      • status.conditions.message
        строка

        Пояснение для человека.

      • status.conditions.observedGeneration
        целочисленный

        Поколение spec, для которого выставлено состояние.

      • status.conditions.reason
        строка

        Обязательный параметр

        Машиночитаемая причина состояния.

      • status.conditions.status
        строка

        Обязательный параметр

        Значение состояния.

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        Тип состояния.

    • status.observedGeneration
      целочисленный

      Поколение spec, которое агент применил последним.

    • status.proxyListening
      булевый

      Отдаёт ли агент эндпоинт хранилища образов контейнеров.

    • status.reconciled
      булевый

      Применил ли агент тот spec, который видит сейчас.

    • status.staleStorageDataBytes
      целочисленный

      Сколько данных внутрикластерного кеша всё ещё лежит на этом узле, при том что кеш не настроен.

      Блобы остаются намеренно: если кеш включить обратно, он дольётся из того, что уже есть, а не с нуля, и на медленном канале это разница в часы. Недопустимо было бы оставлять их молча — про занятое ими место больше не сказал бы никто, потому что хранилище, которое их записало, уже удалено. Поэтому агент их измеряет, а алерт об этом сообщает.

      Чтобы освободить место, удалите на узле содержимое директории кеша, оставив саму директорию: она смонтирована в агент. Это /var/lib/deckhouse/registry на узле NodeGroup с systemType: DeckhouseEngine и /opt/deckhouse/registry на остальных узлах. Поля нет, пока кеш настроен, и на узле, где кеша никогда не было.

RegistryOperation

Short names: rop

Scope: Cluster
Version: v1alpha1

Операция, которую каждая реплика кеша хранилища образов выполняет над своим хранилищем, по одной реплике за раз.

Образы при этом продолжают отдаваться.

Доступны три типа операций:

  • GarbageCollection — удаляет из кеша то, что оставили релизы, которые кластер уже прошёл.
  • Verify — читает блобы хранилища и сверяет каждый с его digest: все блобы или только блобы образов из spec.verify.digests. Несовпадения записываются в RegistryStorage.status.replicas[].corruptedBlobs. Кроме того, каждая реплика примерно раз в час проверяет всё своё хранилище в фоне, поэтому Verify нужен для ручного запуска проверки.
  • Repair — проверяет образы из spec.repair.digests и заменяет их битые или недостающие блобы целыми копиями с другой реплики кеша или из upstream (при его наличии). Блоб скачивается рядом с хранилищем, сверяется с digest и только после этого встаёт на место, поэтому ни один образ не удаляется и ничего не теряется, если целой копии нигде нет. Для битых блобов, найденных репликой, модуль сам создаёт Repair с причиной CorruptionDetected.

Verify и Repair читают с диска со скоростью не более 32 МиБ/с, например, хранилище в 15 ГБ реплика проверяет примерно за восемь минут. Ни одна из них не ждёт окончания загрузки или d8 mirror push.

Сборку мусора модуль создаёт сам:

  • по расписанию из storage.garbageCollection в настройках модуля;
  • когда кеш получил новый набор образов — после обновления Deckhouse Platform или после включения или обновления модуля;
  • когда хранилище отказывает в записи и поэтому новый набор не не может быть получен — один раз на развёрнутый релиз Deckhouse Platform.

При storage.garbageCollection.enabled: false операции не создаются. Операция, созданная вручную, выполняется в любом случае.

Сборку мусора реплика начинает в случае, когда в её хранилище ничего не пишется: пока кеш наполняется или в него загружается набор образов через d8 mirror push, реплика ждёт. Хранилище, которое отказывает в записи — из-за превышения установленного лимита хранилища или достижения порога резервирования свободного места в файловой системе — не ждёт: наполнение не продолжится, пока не освободится место. Реплика, которая через час после принятия операции так и не взяла RegistryOperation или всё ещё ждёт своё хранилище, завершается с причиной DeadlineExceeded. Когда подходит очередь, реплика ещё раз проверяет хранилище: если за это время началось наполнение или загрузка, она уступает очередь и ждёт, пока запись закончится.

Одновременно выполняется только одна операция. Операция, созданная, пока предыдущая не завершена, завершается с причиной AnotherOperationActive.

Пропавшая реплика завершается с причиной ReplicaLost:

  • реплика, на которой выполнялась очистка мусора — если она пять минут не держит Lease registry-storage-gc в неймспейсе d8-system;
  • реплика в режиме ожидания — если её узел десять минут не в состоянии Ready.

Чтобы отменить операцию, поставьте на неё лейбл registry.deckhouse.io/cancel: "true". Реплика, которая ещё не начала сборку мусора, не будет её запускать, а реплика, которая выполняет операцию, остановится. Удаление объекта RegistryOperation отменяет операцию, но реплику с уже запущенной операцией не останавливает.

Завершённая операция удаляется через сутки после завершения.

Примеры:

apiVersion: deckhouse.io/v1alpha1
kind: RegistryOperation
metadata:
  generateName: gc-manual-
spec:
  type: GarbageCollection
  cause: Free space before pushing a new release.
apiVersion: deckhouse.io/v1alpha1
kind: RegistryOperation
metadata:
  generateName: verify-
spec:
  type: Verify
  cause: Check the cache after a disk failure on master-1.
  verify:
    nodes: ["master-1"]
apiVersion: deckhouse.io/v1alpha1
kind: RegistryOperation
metadata:
  generateName: repair-
spec:
  type: Repair
  repair:
    digests: ["sha256:0123456789abcdef0123456789abcdef0123456789abcdef0123456789abcdef"]
  • spec
    объект

    Обязательный параметр

    После создания операции не меняется.

    • spec.cause
      строка

      Описание того, зачем создана операция.

      Модуль заполняет это поле в операциях, которые создаёт сам.

      Максимальная длина: 1024

    • spec.repair
      объект

      Объект починки Repair.

      • spec.repair.digests
        массив строк

        Обязательный параметр

        Образы по digest манифеста или отдельные блобы по их digest. Образ чинится вместе со всеми блобами, из которых он состоит.

        Digest образов показывает d8 k get registryimages, битые блобы — RegistryStorage.status.replicas[].corruptedBlobs.

        • Элемент массива
          строка

          Шаблон: ^sha256:[a-f0-9]{64}$

      • spec.repair.nodes
        массив строк

        Реплики, на которыз будет выполняться операция, по именам узлов. Пустой список — означает выбор всех узлов. Операция, в которой указан узел без реплики кеша, завершается с причиной UnknownNode.

        • Элемент массива
          строка

          Максимальная длина: 253

    • spec.type
      строка

      Обязательный параметр

      Что делает операция.

      • GarbageCollection — удалить из кеша то, что оставили релизы, которые кластер уже прошёл. Развёрнутый релиз, предыдущий, всё более новое и все теги, которые не являются версиями, сохраняются.
      • Verify — прочитать блобы хранилища и сверить каждый с его digest. Несовпадения записываются, и их чинит Repair, который создаёт модуль.
      • Repair — проверить образы из spec.repair и заменить их битые или недостающие блобы целыми копиями.

      Допустимые значения: GarbageCollection, Verify, Repair

    • spec.verify
      объект

      Объект проверки Verify. Если не задано — все блобы всех реплик.

      • spec.verify.digests
        массив строк

        Образы по digest манифеста или отдельные блобы по их digest. Образ проверяется вместе со всеми блобами, из которых он состоит. Пустой список — все блобы хранилища.

        Digest образов показывает d8 k get registryimages.

        • Элемент массива
          строка

          Шаблон: ^sha256:[a-f0-9]{64}$

      • spec.verify.nodes
        массив строк

        Узлы, на которые будет выполняться операция. Задаются по именам узлов. Пустой список означает выбор всех узлов. Операция, в которой указан узел без реплики кеша, завершается с причиной UnknownNode.

        • Элемент массива
          строка

          Максимальная длина: 253

  • status
    объект
    • status.acceptedAt
      строка

      Когда операция принята.

    • status.deadline
      строка

      Когда реплика, которую держит запись в хранилище, прекращает ждать. Через час после acceptedAt.

    • status.finishedAt
      строка

      Когда операция перешла в конечную фазу. Через сутки после этого она удаляется.

    • status.garbageCollection
      объект

      Что удалила операция GarbageCollection, в сумме по репликам.

      • status.garbageCollection.reclaimedBytes
        целочисленный

        На сколько байт уменьшилось хранилище: блобы и незавершённые загрузки, измеренные до сборки и после.

        Нет значения, если хранилище не удалось измерить.

      • status.garbageCollection.removedBlobs
        целочисленный

        Сколько блобов удалила очистка — по подсчёту самого хранилища образов контейнеров.

        Очистка удаляет и то, что не смогла удалить предыдущая, поэтому эти блобы не обязательно относятся к образам, удалённым в этом проходе. Нет значения, если очистка не запускалась.

      • status.garbageCollection.removedManifests
        целочисленный

        Сколько образов удалено по sha — тех, что наполнение пишет без тега и что составляет почти весь объём хранилища.

      • status.garbageCollection.removedVersions
        массив строк

        Удалённые релизы Deckhouse Platform.

    • status.message
      строка

      Человекочитаемое пояснение причины.

    • status.phase
      строка

      Фаза выполнения операции:

      • Pending — ни одна реплика ещё не начала.
      • Running — хотя бы одна реплика начала, и не все закончили.
      • Succeeded — все реплики выполнили операцию.
      • Failed — операция отклонена или какая-то реплика её не выполнила.
      • Canceled — операция отменена до того, как все реплики закончили.

      Допустимые значения: Pending, Running, Succeeded, Failed, Canceled

    • status.reason
      строка

      Машиночитаемая причина фазы:

      • Pending: Accepted.
      • Running: InProgress.
      • Succeeded: Completed.
      • Failed: NoCache (кеш выключен), NoReplicas (ни одна реплика хранилища ещё не отчиталась), AnotherOperationActive, UnknownNode (в nodes указан узел без реплики), ReplicaFailed.
      • Canceled: Canceled.
    • status.replicas
      массив объектов

      По одной записи на каждую реплику, которой передана операция.

      Включаются все реплики хранилища, отчитавшиеся к моменту принятия операции.

      • status.replicas.finishedAt
        строка

        Когда реплика закончила.

      • status.replicas.garbageCollection
        объект

        Что операция GarbageCollection удалила из хранилища реплики.

        • status.replicas.garbageCollection.reclaimedBytes
          целочисленный

          На сколько байт уменьшилось хранилище реплики: блобы и незавершённые загрузки, измеренные до сборки и после.

          Нет значения, если хранилище не удалось измерить.

        • status.replicas.garbageCollection.removedBlobs
          целочисленный

          Сколько блобов удалила очистка — по подсчёту самого хранилища образов контейнеров.

          Очистка удаляет и то, что не смогла удалить предыдущая, поэтому эти блобы не обязательно относятся к образам, удалённым в этом проходе. Нет значения, если очистка не запускалась.

        • status.replicas.garbageCollection.removedManifests
          целочисленный

          Сколько образов удалено по sha — тех, что наполнение пишет без тега и что составляет почти весь объём хранилища.

        • status.replicas.garbageCollection.removedVersions
          массив строк

          Удалённые релизы Deckhouse Platform.

      • status.replicas.message
        строка

        Человекочитаемое пояснение причины.

      • status.replicas.node
        строка

        Обязательный параметр

        Узел, на котором работает реплика.

      • status.replicas.phase
        строка

        Обязательный параметр

        На какой фазе находится реплика:

        • Pending — реплика ещё не взяла операцию.
        • Waiting — реплика ждёт; что её держит, указано в reason.
        • Running — реплика выполняет операцию.
        • Succeeded — реплика выполнила операцию.
        • Failed — реплика не выполнила операцию.
        • Skipped — реплика ушла из хранилища до начала.
        • Canceled — операция отменена до того, как реплика закончила.

        Допустимые значения: Pending, Waiting, Running, Succeeded, Failed, Skipped, Canceled

      • status.replicas.reason
        строка

        Машиночитаемая причина фазы:

        • Waiting: Filling (кеш наполняется), Pushing (загружается набор образов через d8 mirror push), Turn (операцию выполняет другая реплика; или реплика прождала очередь целое окно и ждёт, пока в хранилище перестанут писать, чтобы встать в очередь снова).
        • Failed: OperationFailed (для Repair — в том числе когда какой-то digest не удалось починить), DeadlineExceeded (к моменту deadline реплика не взяла операцию или в её хранилище всё ещё писали), TimedOut (реплика не сообщила результат за 24 часа), ReplicaLost (реплика пропала: перестала держать Lease сборки мусора во время сборки или её узел десять минут не был в состоянии Ready, пока она ждала).
        • Skipped: ReplicaGone, NoCache.
        • Canceled: Canceled.
      • status.replicas.repair
        объект

        Результаты Repair на реплике.

        • status.replicas.repair.digests
          массив объектов

          По записи на каждый digest операции.

          • status.replicas.repair.digests.digest
            строка

            Обязательный параметр

            Digest из операции.

          • status.replicas.repair.digests.message
            строка

            Почему не удалось или откуда взяты целые копии.

          • status.replicas.repair.digests.outcome
            строка

            Обязательный параметр

            Результаты:

            • Intact — все блобы совпадают с digest, ничего не менялось.
            • Repaired — битые или недостающие блобы заменены целыми копиями.
            • NotHeld — у реплики нет ни образа, ни блоба с этим digest.
            • Failed — блоб не удалось заменить, причина в message. Блоб остался как был.

            Допустимые значения: Intact, Repaired, NotHeld, Failed

          • status.replicas.repair.digests.repairedBlobs
            целочисленный

            Сколько блобов заменено.

      • status.replicas.startedAt
        строка

        Когда реплика начала.

      • status.replicas.verify
        объект

        Результаты Verify на реплике.

        • status.replicas.verify.checkedBlobs
          целочисленный

          Количество блобов, прочитанных и сверенных с digest.

        • status.replicas.verify.checkedBytes
          целочисленный

          Объём прочитанных данных в байтах.

        • status.replicas.verify.corruptedBlobs
          массив строк

          Блобы, содержимое которых не совпадает с digest, по порядку, не больше 50.

        • status.replicas.verify.corruptedCount
          целочисленный

          Количество найденных битых блобов, включая не попавшие в список.

        • status.replicas.verify.missingDigests
          массив строк

          Digest из запроса, которых у реплики нет ни как образа, ни как блоба.

    • status.startedAt
      строка

      Когда первая реплика начала.

RegistryStorage

Short names: rstor

Scope: Cluster
Version: v1alpha1

Описывает, как работает внутрикластерное хранилище registry, и сообщает его фактическое состояние.

Объект пишет контроллер хранилища образов контейнеров, а читает контейнер-синкер, который перенастраивает distribution на лету. Именно этот путь позволяет смене ключей или сертификата примениться при неработающем операторе Deckhouse: он никогда не проходит через перегенерацию helm.

У объекта есть настоящий spec, а не только зеркало факта, потому что distribution нужно сообщать, что делать, а не только наблюдать за ним.

Используется единственный объект с именем registry.

  • spec
    объект

    Обязательный параметр

    • spec.airGapRequested
      булевый

      Запрошена ли работа без upstream — независимо от того, отключён ли upstream уже фактически.

      Это окно перехода: air-gap запрошен, upstream ещё удерживается, чтобы кластер продолжал работать, а образы приходят через d8 mirror push, которых синкер не видит. Именно по этому признаку решается, что полноту нужно измерять чтением хранилища, а не подсчётом скопированного. Различие существенно: сквозной кеш пишет в собственное хранилище на каждом промахе, поэтому то же измерение на кеширующем кластере считало бы образы, которые кластер просто подтянул.

    • spec.auth
      строка

      Bearer-токен, защищающий хранилище.

      Чувствительные данные. Авторизация не отключается никогда — в том числе в air-gap, где кеш отдаёт образы только на чтение.

    • spec.garbageCollection
      объект

      Настройки сборки мусора.

      Определяют, освобождает ли реплика диск, занятый релизами, которые кластер уже прошёл, и время запуска сборки мусора.

      Сборка мусора потому, что никакие другие компоненты не удаляют из хранилища данные ни при каких условиях: каждый релиз добавляет свой срез репозитория, поэтому, при отсуствии сборки мусора, кластер, работающий долгое время, заполняет хранилище и перестаёт быть способным загружать образы.

      Во время сборки мусора загрузка образов из хранилища не блокируется: реплика продолжает отдавать все образы, которые держит. Сборка мусора не начинается, пока хранилище наполняется или идёт d8 mirror push. Во время сборки мусора реплика не наполняет своё хранилище. d8 mirror push, начатый во время сборки, может завершиться ошибкой, и его нужно повторить. Сборка мусора одновременно работает только на одной реплике, поэтому остальные не затронуты.

      • spec.garbageCollection.enabled
        булевый

        Запускается ли сборка мусора (создаются ли операции RegistryOperation) контроллером автоматически: по расписанию, после смены набора образов и когда хранилище отказывает в записи.

        Операция RegistryOperation, созданная вручную, выполняется в любом случае.

      • spec.garbageCollection.schedule
        строка

        Cron-выражение из пяти полей, в UTC.

        По умолчанию — ночной час или начало окна обслуживания NodeGroup master, если оно задано: этот час оператор уже объявил допустимым для перерывов.

    • spec.needSync
      булевый

      Так контроллер выдаёт синкерам задание на наполнение или репликацию.

      Выставлено, пока хотя бы одной реплике не хватает ожидаемого набора образов: лидер наполняется из upstream или follower ещё не догнал лидера. Снимается, когда набор есть у всех реплик; до следующего изменения набора ничего не копируется.

    • spec.publish
      булевый

      Публиковать ли защищённую авторизацией точку записи (Ingress) для d8 mirror push.

      Ключи на запись отличаются от ключей на чтение. Точка записи — это второй слушатель того же хранилища образов контейнеров: то же хранилище, но без кеша перед ним, поэтому её публикация ничего не стоит адресу, через который кластер тянет образы. Один слушатель не может одновременно проксировать upstream и принимать push.

    • spec.source
      объект

      Набор образов, который должен оказаться в хранилище.

      • spec.source.bundleRef
        строка

        Имя набора образов.

      • spec.source.expectedDigests
        целочисленный

        Количество уникальных дайджестов в наборе.

        Допустимые значения: 0 <= X

    • spec.store
      объект

      Где distribution хранит блобы.

      • spec.store.path
        строка

        Путь на узле. Задаётся модулем, а не пользователем: /var/lib/deckhouse/registry, если у NodeGroup master-узлов systemType: DeckhouseEngine, иначе /opt/deckhouse/registry.

        Пример:

        path: "/opt/deckhouse/registry"
        
      • spec.store.size
        строка

        Бюджет хранилища каждой реплики, берётся из storage.size в ModuleConfig: сколько могут занимать его блобы и незавершённые загрузки. Если не задан, бюджета нет; резерв на файловой системе хранилища (см. status.replicas[].store.reserveBytes) действует в любом случае.

        Шаблон: ^[0-9]+(\.[0-9]+)?(E|P|T|G|M|k|Ei|Pi|Ti|Gi|Mi|Ki)?$

    • spec.upstream
      объект

      Primary upstream, спроецированный сюда контроллером.

      Задан — сквозной кеш. Не задан — кеш авторитетен (air-gap).

      Контроллер убирает это поле только после того, как лидер полон, поэтому узлы никогда не остаются без источника образов — даже если пользователь уже убрал upstream из конфигурации.

      • spec.upstream.auth
        объект

        Где хранятся ключи доступа к этому эндпоинту.

        Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к registry, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.

        • spec.upstream.auth.secretRef
          объект

          Секрет с ключами доступа и ключ внутри него.

          • spec.upstream.auth.secretRef.key
            строка

            Обязательный параметр

            Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.

          • spec.upstream.auth.secretRef.name
            строка

            Обязательный параметр

            Имя секрета в неймспейсе d8-system.

      • spec.upstream.ca
        строка

        PEM-сертификат удостоверяющего центра для проверки хранилища образов контейнеров.

      • spec.upstream.host
        строка

        Обязательный параметр

        Хост хранилища образов контейнеров, опционально с портом.

      • spec.upstream.mirrors
        массив объектов

        Дополнительные адреса, отдающие тот же контент. Синкер загружает с любого доступного и хранит один дедуплицированный набор.

        • spec.upstream.mirrors.auth
          объект

          Где хранятся ключи доступа к этому эндпоинту.

          Указаны ссылкой, а не значением. Ресурс кластерного уровня, а роль узлового агента привязана к группе system:nodes, поэтому ключ, записанный здесь, был бы доступен через API kubelet’у любого узла — включая ключи к registry, откуда этот узел ничего не тянет. Компонент, который это читает, разрешает ссылку один раз и сохраняет результат, поэтому продолжает работать и при недоступном API-сервере.

          • spec.upstream.mirrors.auth.secretRef
            объект

            Секрет с ключами доступа и ключ внутри него.

            • spec.upstream.mirrors.auth.secretRef.key
              строка

              Обязательный параметр

              Ключ внутри него. Один секрет содержит все разрешённые модулем ключи доступа, по принадлежности.

            • spec.upstream.mirrors.auth.secretRef.name
              строка

              Обязательный параметр

              Имя секрета в неймспейсе d8-system.

        • spec.upstream.mirrors.ca
          строка

          PEM-сертификат удостоверяющего центра для проверки зеркала.

        • spec.upstream.mirrors.host
          строка

          Обязательный параметр

          Хост зеркала, опционально с портом.

        • spec.upstream.mirrors.path
          строка

          Префикс пути к репозиторию внутри зеркала.

        • spec.upstream.mirrors.scheme
          строка

          Протокол подключения к зеркалу.

          По умолчанию: HTTPS

          Допустимые значения: HTTP, HTTPS

      • spec.upstream.path
        строка

        Префикс пути к репозиторию внутри хранилища образов контейнеров.

      • spec.upstream.scheme
        строка

        Протокол подключения к хранилищу образов контейнеров.

        По умолчанию: HTTPS

        Допустимые значения: HTTP, HTTPS

  • status
    объект
    • status.allReplicasFull
      булевый

      Содержат ли ожидаемый набор все реплики — тогда потеря лидера ничего не стоит.

    • status.authoritative
      булевый

      Снят ли upstream и стал ли кеш единственным источником образов.

    • status.conditions
      массив объектов

      Детальное состояние хранилища.

      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

        Время последнего изменения состояния.

      • status.conditions.message
        строка

        Пояснение для человека.

      • status.conditions.observedGeneration
        целочисленный

        Поколение spec, для которого выставлено состояние.

      • status.conditions.reason
        строка

        Обязательный параметр

        Машиночитаемая причина состояния.

      • status.conditions.status
        строка

        Обязательный параметр

        Значение состояния.

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        Тип состояния.

    • status.fill
      объект

      Прогресс текущего задания на наполнение.

      • status.fill.filled
        целочисленный

        Сколько дайджестов записано на текущий момент.

      • status.fill.total
        целочисленный

        Сколько дайджестов ожидается.

    • status.leader
      строка

      Узел, который в данный момент держит lease лидера хранилища.

      Это не обычные выборы. Роль лидера несимметрична — именно из него реплицируют все follower’ы, и именно его полнота открывает переход в air-gap. Когда у какой-то реплики есть весь ожидаемый набор образов, лидер, который не может собрать набор сам, уступает ей: если у него нет upstream, если его последний проход завершился ошибкой, если его хранилище отказывает в записи или если он перестал продлевать lease. Лидер, который ещё собирает набор из upstream, сохраняет lease, даже если follower закончил раньше. Пока полной реплики нет ни одной — а с этого начинается любой кластер, — lease не переходит; если лидера нет вообще, lease получает реплика с наибольшим числом проверенных образов.

      Без этого правила air-gap-кластер может застрять. d8 mirror push приходит через endpoint публикации и всегда попадает на лидера; неполному лидеру рядом с полным follower’ом (например, лидеру, чьё хранилище было потеряно) не из чего наливаться, у follower’ов те же пробелы, что у него, а реплика с образами простаивает.

    • status.observedGeneration
      целочисленный

      Поколение spec, на которое контроллер отреагировал последним.

    • status.phase
      строка

      Краткая сводка состояния наполнения.

      • Idle — задание на наполнение или проверку не выполняется.
      • Filling — лидер наполняется.
      • Verifying — содержимое проверяется против spec.source.
      • Ready — лидер содержит ожидаемый набор.
      • Failed — задание на наполнение или проверку завершилось ошибкой. В этом состоянии upstream не снимается.

      Допустимые значения: Idle, Filling, Verifying, Ready, Failed

    • status.replicas
      массив объектов

      Состояние наполнения по репликам.

      Это единственное место, где сообщается полнота хранилища. RegistryNode намеренно её не несёт: полнота — свойство хранилища, а не узла.

      • status.replicas.address
        строка

        Адрес, на котором отвечает эта реплика, в виде host:port.

        Сообщает сама реплика — чтобы follower мог реплицировать с лидера, не разрешая имя узла в адрес.

      • status.replicas.aheadSet
        строка

        Части того, что идёт впереди набора и тоже есть у этой реплики: следующая версия платформы, на которую обновится кластер, и каждое обновление модуля, которое он вот-вот применит. Указываются ключами частей через запятую, по порядку.

        Часть выставляется, когда копирование наперёд перенесло её целиком. Отдельно от verifiedSet, потому что копируется отдельно: после набора, в фоне, по возможности. По частям, чтобы один модуль, который так и не появился, не мешал учесть остальное. Фолловер копирует части, которые есть у лидера и нет у него, поэтому обновление, попавшее только на лидера (например, через d8 mirror push), доходит до остальных реплик. Пусто, если ничего не ожидает обновления или ожидающее ещё не скопировано.

      • status.replicas.collectedAt
        строка

        When this replica last reclaimed its disk.

        Absent until it has. Reported per replica because each collects its own store, one at a time: a cluster where one replica has not collected for a month while the others have is a different problem from one where none has.

      • status.replicas.collectionError
        строка

        Why the last attempt to reclaim did not finish, empty when it did.

        Separate from error, which is about filling. A store that cannot be reclaimed still serves every image it holds, so the two say different things about how worried to be.

      • status.replicas.corruptedBlobs
        массив строк

        Блобы хранилища этой реплики, содержимое которых не совпадает с их digest, по порядку, не больше 100. Обычно список пуст.

        Обнаруживаются во время фоновой проверки, которая читает всё хранилище раз в час, а также RegistryOperation с типом Verify или Repair, который не смог закончить восстановление. Образ, ссылающийся на такой блоб, считается отсутствующим: пока на него ссылается образ из набора, реплика не full, и лидер передаёт lease реплике, у которой набор цел.

        Модуль создаёт RegistryOperation с типом Repair для этих блобов, как только не выполняется никакая другая операция, и повторяет её через четыре часа, если ремонт их не исправил.

      • status.replicas.declaredDigests
        целочисленный

        Каков размер набора — то, из чего берётся verifiedDigests.

        Сообщается репликой, потому что размер набора знает только та реплика, которая его вычисляет, и по этому числу ничего не решается. Пока его не было, единственным знаменателем для статуса оставался spec.source.expectedDigests, который оператор указывает при объявлении air-gap и не указывает в остальных случаях — поэтому кластер с upstream всю свою самую длинную фазу показывал filled: 0, total: 0, пока копировались гигабайты. Полнота по-прежнему выражается через full, а переход в air-gap по-прежнему решается по spec.source.expectedDigests: объявление оператора не подменяется числом, которое кластер вычислил про себя.

      • status.replicas.error
        строка

        Почему последнее задание на наполнение или проверку завершилось ошибкой — по отчёту синкера этой реплики. Пусто, если последнее задание прошло успешно.

        Если последнее задание не завершилось ошибкой, здесь же повторяется то, что сообщает healthError.

        Безопасность от этого поля не зависит: упавшая реплика просто не full, а upstream снимается только когда лидер полон. Поле нужно, чтобы оператор мог отличить «ещё наполняется» от «сломалось», чего счётчики наполнения сами по себе не выражают.

      • status.replicas.full
        булевый

        Содержит ли эта реплика ожидаемый набор.

        Вычисляется по тому, что синкер фактически записал, и никогда пробой пути выдачи: на промахе сквозной кеш сам подтянул бы образ из upstream и отчитался об успехе на пустом хранилище. В air-gap самонаполнение невозможно, поэтому там честно читать каталог и сравнивать с spec.source.expectedDigests.

      • status.replicas.healthError
        строка

        Почему реплика не может отдавать то, что хранит: её хранилище образов не отвечает пять минут или её диск две минуты отказывает в записи. Пусто, пока и то и другое работает.

        Синкер проверяет и то и другое раз в полминуты независимо от наполнения и снимает ошибку, когда хранилище образов снова отвечает, а диск принимает запись; full при этом не меняется и с этого момента снова учитывается. Лидер с такой ошибкой передаёт lease реплике, у которой есть весь ожидаемый набор, если такая есть; если нет, он остаётся лидером и только сообщает об ошибке.

        Пока ни у одной реплики нет всего набора и ни одна не лидирует, синкеры реплик сами выбирают, какая из них станет лидером и начнёт наполнение: ту, у которой больше всего образов. Реплику с такой ошибкой они пропускают. Пропускают и реплику, чьё хранилище упёрлось в бюджет или в резерв узла (store.writable равно false), если только так не у всех реплик. Одна лишь ошибка в error, например неудачное копирование с лидера, которого уже нет, выбору реплики не мешает.

      • status.replicas.images
        объект

        Количество образов, хранимых на реплике, по состояниям. Сами образы показывает d8 k get registryimages.

        • status.replicas.images.corrupted
          целочисленный

          Образы, из набора или нет, которые ссылаются на битый блоб.

        • status.replicas.images.incomplete
          целочисленный

          Образы из набора, у которых в хранилище не хватает части блобов.

        • status.replicas.images.missing
          целочисленный

          Образы из набора, которых у реплики нет совсем.

        • status.replicas.images.outOfSet
          целочисленный

          Образы, которые не объявляет ни один релиз и ни один модуль кластера: подтянутые через кеш по запросу или оставшиеся от старого релиза.

        • status.replicas.images.present
          целочисленный

          Образы из набора, которые реплика хранит целиком.

      • status.replicas.node
        строка

        Обязательный параметр

        Узел, на котором работает реплика.

      • status.replicas.role
        строка

        Роль реплики в репликации.

        • Leader — наполняется из upstream либо командой d8 mirror push в air-gap и раздаёт задания на репликацию.
        • Follower — наполняется от лидера заранее, поэтому потеря лидера не означает наполнения с нуля.

        Допустимые значения: Leader, Follower

      • status.replicas.scrubbedAt
        строка

        Когда фоновая проверка в последний раз дочитала всё хранилище и сверила каждый блоб с его digest.

      • status.replicas.source
        строка

        Реплика, от которой наполняется эта. Пусто для лидера.

      • status.replicas.store
        объект

        Сколько места на диске узла занимает хранилище этой реплики и принимает ли оно запись. Отсутствует, пока реплика не выполнила замер.

        Оба предела registry соблюдает сам, при каждой записи. Здесь те же величины в подсчёте синкера — для статуса и алертов. Размеры округлены до 16 МиБ: занятое вверх, свободное и размер файловой системы вниз, чтобы общая с узлом файловая система не переписывала статус на каждом проходе.

        • status.replicas.store.budgetBytes
          целочисленный

          storage.size из настроек модуля. Отсутствует, если параметр не задан; тогда действует только резерв.

        • status.replicas.store.dedicatedFilesystem
          булевый

          true, если у хранилища своя файловая система: диск смонтирован в каталог хранилища или в каталог хранилища уровнем выше, и на нём нет каталогов kubelet и containerd. Реплика определяет это по своим точкам монтирования при запуске. Отсутствует, если файловая система общая с узлом или это не удалось определить: такая файловая система считается общей.

        • status.replicas.store.filesystemCapacityBytes
          целочисленный

          Обязательный параметр

          Текущий размер файловой системы хранилища. Если файловую систему расширили при работающем хранилище, здесь виден новый размер, и резерв пересчитывается от него.

        • status.replicas.store.filesystemFreeBytes
          целочисленный

          Обязательный параметр

          Свободное место на файловой системе хранилища. Если отдельного диска нет, это та же файловая система, которой пользуются kubelet и containerd.

        • status.replicas.store.reason
          строка

          Причина, по которой отклоняются записи.

          • BudgetExhausted — хранилище заняло всё, что разрешает storage.size;
          • ReserveExhausted — на файловой системе хранилища осталось только место, которое должно оставаться свободным, см. reserveBytes;
          • NotWritable — registry не может создавать файлы в своём дереве в хранилище: в docker/registry/v2 и каталогах под ним, а пока этого дерева нет — в каталоге хранилища. Мешают владелец или права этих каталогов, атрибут immutable, монтирование только для чтения или модуль безопасности. Предел здесь ни при чём, и ни сборка мусора, ни больший storage.size не помогут. Каталог и команда, которая это исправляет, указаны в error реплики. Имеет приоритет над обоими пределами.

          Допустимые значения: BudgetExhausted, ReserveExhausted, NotWritable

        • status.replicas.store.reserveBytes
          целочисленный

          Обязательный параметр

          Сколько места на файловой системе хранилище оставляет свободным. Считается от текущего размера файловой системы, округлённого вверх до целого ГиБ. Если файловая система общая с узлом, это мягкий порог выселения kubelet (10%, не больше 40 ГиБ) плюс запас для других процессов, пишущих на неё (10%, не больше 20 ГиБ). Если у хранилища своя файловая система (см. dedicatedFilesystem), остаётся только запас.

        • status.replicas.store.usedBytes
          целочисленный

          Обязательный параметр

          Сколько занимают блобы хранилища и незавершённые загрузки.

        • status.replicas.store.writable
          булевый

          Обязательный параметр

          false, пока хранилище отклоняет новые записи. Чтение не отклоняется никогда: полное хранилище отдаёт всё, что в нём есть, а образ, который сохранить не удалось, отдаётся потоком из upstream. Исключение — reason: NotWritable: тогда registry отвечает на такую загрузку ошибкой, потому что его каталоги отказывают в записи раньше, чем проверяются пределы.

      • status.replicas.syncerStartedAt
        строка

        Когда запущен процесс синкера, записавший эту запись, с точностью до секунды. Выставляется, только когда этот процесс сам пересчитал своё хранилище, скопировал в него или перепроверил его; до того поля нет.

        Запись переживает процесс, который её написал. Лидер, чей под пересоздан на том же узле, сразу забирает lease обратно, и пока новый процесс не прочитал хранилище, его запись говорит то, что нашёл предыдущий, включая full, даже если хранилище стёрто вместе с подом. Поэтому upstream снимается, только если запись держателя lease помечена не раньше запуска контейнера syncer в его Ready-поде. Оба времени берутся по часам этого узла.

      • status.replicas.totalDigests
        целочисленный

        Сколько различных дайджестов эта реплика хранит всего.

        Это другая величина, чем verifiedDigests, и по ней ничего не решается. Она нужна, чтобы хранилище, содержащее больше, чем требуется этому кластеру — загруженный bundle с другими модулями, другими редакциями, аттестациями — выглядело именно так, а не как недостача относительно spec.source.expectedDigests.

      • status.replicas.verifiedDigests
        целочисленный

        Сколько дайджестов из набора подтверждено на месте.

        Набор — это то, что объявляют релизы кластера и сохраняемые модули, то есть дайджесты, известные deckhouse-controller. Поэтому это число напрямую сопоставимо с full и именно по нему принимается решение о переходе в air-gap. Всё остальное, что оказалось в хранилище, учитывается в totalDigests.

      • status.replicas.verifiedSet
        строка

        Отпечаток набора, для которого реплика в последний раз признана полной (full): версии платформы и модули кластера, каждый со своей версией и источником.

        full верен только для того набора, по которому он измерен, а набор меняется: устанавливается модуль, обновляется платформа. Значение сообщает каждая реплика вместе со своим full. Лидер сравнивает своё с набором, который нужен кластеру сейчас. Если они расходятся, лидер снимает full и перепроверяет хранилище, прежде чем на него сможет опереться переход в air-gap. full для другого набора не учитывается, когда реплики решают, кому быть лидером. Пусто, пока full не установлен.

    • status.safeToDropUpstream
      булевый

      Содержит ли лидер ожидаемый набор и не осталось ли на платформе ссылок на upstream — вместе это условие ухода в air-gap.

      Намеренно только лидер, а не все реплики: реплики доливаются заранее и параллельно, поэтому ожидание всех задержало бы переход, не добавив безопасности.

      Полный кеш не заменяет отсутствия ссылок: ссылку на образ, которая называет upstream по его собственному имени, кеш не обслуживает, когда upstream снят. Подробнее — в описании upstreamReferences.

      full лидера учитывается, только если его записал синкер, работающий на узле лидера сейчас, после того как прочитал своё хранилище (см. replicas[].syncerStartedAt). После перезапуска синкера лидера здесь false до его первого прохода, обычно не дольше двух минут.

    • status.upstreamReferences
      целочисленный

      Количество объектов в неймспейсах платформы, образы которых всё ещё ссылаются на upstream, удерживаемый хранилищем.

      Каждый объект считается отдельно: шаблоны Deployment, DaemonSet, StatefulSet и CronJob, ещё не запущенные поды, поды, которые при следующем запуске будут скачивать образ заново, и реплики самого хранилища — после снятия upstream им неоткуда скачать собственный образ. Deployment в процессе обновления добавляет единицу за шаблон и по единице за каждый такой под.

      Учитываются только неймспейсы kube-system и d8-*. Нагрузки в других неймспейсах, образы которых ссылаются на адрес upstream, переход не удерживают, и после снятия upstream им неоткуда скачать образы. Переведите их на адрес внутри кластера до того, как убрать upstream.

      Считается, пока лидер полон и upstream ещё удерживается. Если поля нет, подсчёт не проводился, и safeToDropUpstream равно false, как при ненулевом значении.

RegistryUpstream

Short names: rup

Scope: Cluster
Version: v1alpha1

Объявляет дополнительное хранилище образов контейнеров, в которое кластер маршрутизирует загрузки, помимо основного.

Это штатный способ для модуля, администратора или пользователя добавить своё хранилище образов контейнеров. Модуль создаёт объект с ownerReference на себя, поэтому объект удаляется сборщиком мусора вместе с модулем; GitOps-инструмент, ведущий ModuleConfig, не конкурирует за владение полями, потому что каждый upstream — отдельный объект.

Трафик через такие upstream — всегда транзит: агент проксирует загрузку, подставляя ключи и сертификат удостоверяющего центра, и передаёт её потоком, не записывая ни на диск, ни в кеш. Место под кеш ограничено и отдано под компоненты Deckhouse — тем более в air-gap, где кеш является единственным источником образов.

Значение match, уже занятое другим объектом, или затеняющее путь Primary, отклоняется, а не сливается молча. См. status.conflict.

Объекты принимаются в порядке создания, начиная с созданного раньше всех. Одновременно применяются настройки не более 256 объектов. Суммарный размер их полей spec в формате JSON не должен превышать 256 КиБ. Если добавление очередного объекта превышает любой из этих лимитов, его настройки не применяются. Создание нового объекта не приводит к вытеснению ранее принятого объекта из конфигурации узлов.

Если модуль выключен или работает в режиме Unmanaged, агента на узлах нет. Тогда объекты по тем же правилам разбирает node-manager: он заполняет status и передаёт принятые объекты узлам. Узлы применяют их напрямую в конфигурацию среды выполнения контейнеров: среда выполнения загружает образы из upstream и его зеркал без прокси. Значение match, совпадающее с хранилищем образов какого-либо ModuleSource, принимается: на узлах Immutable объект заменяет это хранилище вместе с его сертификатом удостоверяющего центра, а на узлах, которые настраивает bashible (кроме узлов с containerd v1, описанных ниже), хранилище образов контейнеров остаётся таким, как его настраивает ModuleSource. Пока модуль не настраивает узлы — он выключен или работает в режиме Unmanaged, — узлы с containerd v1 (Containerd) не применяют upstream с path, а также upstream, чьё хранилище образов уже настроено на узле или указано в объекте дважды. Такой объект остаётся принятым, а сообщение его условия Accepted называет группы узлов, которые его не применяют, и причину.

  • spec
    объект

    Обязательный параметр

    • spec.match
      строка

      Обязательный параметр

      Хост хранилища образов контейнеров, который перехватывается на узлах.

      Шаблон: ^[a-zA-Z0-9]([-a-zA-Z0-9]*[a-zA-Z0-9])?(\.[a-zA-Z0-9]([-a-zA-Z0-9]*[a-zA-Z0-9])?)*(:[0-9]{1,5})?$

      Длина: 1..255

      Пример:

      match: images.virtualization.example.com
      
    • spec.upstream
      объект

      Обязательный параметр

      Куда фактически отправляются перехваченные загрузки.

      • spec.upstream.auth
        объект

        Ключи доступа к хранилищу образов контейнеров.

        Чувствительные данные. Ключи хранятся внутри объекта, а не по ссылке на секрет, — так агент на узле остаётся самодостаточным при недоступном API-сервере.

        • spec.upstream.auth.auth
          строка

          Заранее закодированное значение base64("username:password").

          Имеет приоритет над username и password, если задано. Если заданы обе формы, они должны задавать одни и те же ключи доступа.

          Если у вызывающей стороны нет прав на подресурс registryupstreams/sensitive, API возвращает <omitted> вместо значения.

          Максимальная длина: 4096

        • spec.upstream.auth.password
          строка

          Пароль для базовой аутентификации.

          Если у вызывающей стороны нет прав на подресурс registryupstreams/sensitive, API возвращает <omitted> вместо значения.

          Максимальная длина: 4096

        • spec.upstream.auth.username
          строка

          Имя пользователя для базовой аутентификации.

          Максимальная длина: 1024

      • spec.upstream.ca
        строка

        PEM-сертификат удостоверяющего центра для проверки хранилища образов контейнеров при scheme: HTTPS.

        Принимаются только блоки CERTIFICATE, и каждый из них должен разбираться.

        Максимальная длина: 65536

      • spec.upstream.host
        строка

        Обязательный параметр

        URL-адрес хранилища образов контейнеров, опционально с портом.

        IPv6-адрес записывается в квадратных скобках, после которых указывается порт.

        Длина: 1..255

        Пример:

        host: registry-vendor.example.com
        
      • spec.upstream.mirrors
        массив объектов

        Дополнительные адреса, отдающие тот же контент, что и хранилище образов контейнеров, — для отказоустойчивости.

        • spec.upstream.mirrors.auth
          объект

          Ключи доступа к зеркалу.

          Чувствительные данные. См. upstream.auth.

          • spec.upstream.mirrors.auth.auth
            строка

            Заранее закодированное значение base64("username:password").

            Если у вызывающей стороны нет прав на подресурс registryupstreams/sensitive, API возвращает <omitted> вместо значения.

            Максимальная длина: 4096

          • spec.upstream.mirrors.auth.password
            строка

            Пароль для базовой аутентификации.

            Если у вызывающей стороны нет прав на подресурс registryupstreams/sensitive, API возвращает <omitted> вместо значения.

            Максимальная длина: 4096

          • spec.upstream.mirrors.auth.username
            строка

            Имя пользователя для базовой аутентификации.

            Максимальная длина: 1024

        • spec.upstream.mirrors.ca
          строка

          PEM-сертификат удостоверяющего центра для проверки зеркала.

          Максимальная длина: 65536

        • spec.upstream.mirrors.host
          строка

          Обязательный параметр

          URL-адрес зеркала, опционально с портом.

          IPv6-адрес записывается в квадратных скобках, после которых указывается порт.

          Длина: 1..255

        • spec.upstream.mirrors.path
          строка

          Префикс пути к репозиторию внутри зеркала.

          Максимальная длина: 1024

        • spec.upstream.mirrors.scheme
          строка

          Протокол подключения к зеркалу.

          По умолчанию: HTTPS

          Допустимые значения: HTTP, HTTPS

      • spec.upstream.path
        строка

        Префикс пути к репозиторию внутри хранилища образов контейнеров.

        Максимальная длина: 1024

        Пример:

        path: "/virt"
        
      • spec.upstream.scheme
        строка

        Протокол подключения к хранилищу образов контейнеров.

        По умолчанию: HTTPS

        Допустимые значения: HTTP, HTTPS

  • status
    объект
    • status.accepted
      булевый

      Скомпилировал ли контроллер этот upstream в выкладку по узлам.

    • status.conditions
      массив объектов

      Результат арбитража с машиночитаемой причиной.

      • Accepted — входит ли upstream в выкладку по узлам.
      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

        Время последнего изменения состояния.

      • status.conditions.message
        строка

        Пояснение для человека.

      • status.conditions.observedGeneration
        целочисленный

        Поколение spec, для которого выставлено состояние.

      • status.conditions.reason
        строка

        Обязательный параметр

        Машиночитаемая причина состояния.

      • status.conditions.status
        строка

        Обязательный параметр

        Значение состояния.

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        Тип состояния.

    • status.conflict
      строка

      Причина отклонения объекта: значение match уже используется другим объектом, match перехватывает запросы к основному хранилищу образов (Primary), какое-то из полей spec некорректно или при добавлении объекта превышается лимит в ограничения на все принятые объекты (их количество или суммарный размер их полей spec).

      Пусто, если объект принят.

    • status.observedGeneration
      целочисленный

      Поколение spec, на которое контроллер отреагировал последним.