Deckhouse Platform устанавливает CRD, но не удаляет их при отключении модуля. Если вам больше не нужны созданные CRD, удалите их.

Стадия жизненного цикла модуля: General Availability

FencingFailedNodeState

Short names: ffns

Scope: Cluster
Version: v1alpha1

Инцидент fencing одного узла.

Имя объекта совпадает с именем отказавшего узла. Объект содержит ровно одну owner reference на этот узел, поэтому сборщик мусора Kubernetes удаляет его вместе с объектом Node. Если UID в owner reference не совпадает с UID узла с этим именем, например узел создан заново под тем же именем, контроллер ничего не делает по такому объекту. У здорового узла объекта FencingFailedNodeState нет: объект существует, только пока у узла есть активный инцидент.

Объект создаёт fencing-agent. Создать его может агент любого узла, в том числе агент на узле группы в режиме Disabled. Создатель записывает spec, после этого spec изменить нельзя. У каждой части status один владелец. fencing-controller читает объект и решает, нужно ли эвакуировать узел.

Объект удаляется в следующих случаях:

  • Отказавший узел вернулся с тем же boot ID до фазы Proven. Тогда объект удаляют агенты fencing.
  • Node в состоянии Ready и у него новый boot ID. Тогда fencing-controller снимает с Node taint node.kubernetes.io/out-of-service и удаляет объект.
  • Объект Node удалён. Тогда объект удаляет сборщик мусора Kubernetes.

Не создавайте объект вручную. Не изменяйте spec и status.

  • apiVersion
    строка
  • kind
    строка
  • metadata
    объект
  • spec
    объект

    Обязательный параметр

    Неизменяемое описание инцидента. Создатель объекта записывает его при создании, изменить его потом нельзя.

    • spec.armed
      булевый

      Обязательный параметр

      true, если watchdog отказавшего узла был вооружён на момент отказа. fencing-agent берёт значение из метаданных узла в memberlist.

    • spec.bootID
      строка

      Обязательный параметр

      Boot ID отказавшего узла на момент отказа. fencing-agent берёт его из метаданных узла в memberlist. Для источника NodeLeaseStale контроллер берёт его из status.nodeInfo.bootID объекта Node.

    • spec.detectedAt
      строка

      Обязательный параметр

      Время, когда создатель обнаружил отказ, с точностью до микросекунд.

      Значение справочное. Сроки fencing-controller отсчитывает от собственных наблюдений.

      Шаблон: ^[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{6}(Z|[+-][0-9]{2}:[0-9]{2})$

    • spec.detectedBy
      строка

      Обязательный параметр

      Имя узла, агент которого создал объект. Если объект создал fencing-controller, значение — fencing-controller.

    • spec.profileRef
      объект

      Профиль SLA группы узлов отказавшего узла на момент создания объекта. Группа — значение метки node.deckhouse.io/group объекта Node. Профиль выбирает режим группы. Если группа в режиме Disabled, значение — профиль сети memberlist кластера.

      Поле задаётся, только если armed равно true. Тайминги отказавшего узла fencing-controller берёт только из этого профиля.

      • spec.profileRef.name
        строка

        Обязательный параметр

        Имя встроенного профиля SLA. Допустимы только имена встроенных профилей.

        Соответствующий объект FencingSLAProfile называется этим значением в нижнем регистре, так как имя объекта Kubernetes не может содержать заглавные буквы. Чтобы найти профиль, контроллер приводит значение к нижнему регистру.

        Допустимые значения: Critical, Normal, Slow

    • spec.source
      строка

      Обязательный параметр

      Источник инцидента — кто создал объект:

      • MemberlistDead — fencing-agent, который увидел узел мёртвым в сети memberlist кластера;
      • DeclareSuicide — fencing-agent, получивший сообщение DeclareSuicide от узла. Этот агент — свидетель;
      • NodeLeaseStale — fencing-controller, потому что Lease узла устарел. Текущая версия контроллера не создаёт объекты с этим источником.

      Допустимые значения: MemberlistDead, DeclareSuicide, NodeLeaseStale

  • status
    объект

    Наблюдаемое состояние инцидента. У каждой части статуса один владелец:

    • attestation — fencing-agent узла-свидетеля;
    • contact — fencing-agent, получивший сообщение о контакте с отказавшим узлом. Текущая версия агента эту секцию не записывает;
    • fallback — fencing-agent отказавшего узла;
    • phase, correlation и conditions — fencing-controller. Текущая версия контроллера не записывает correlation.

    Статус — подресурс. Создатель объекта не может задать его в запросе на создание.

    • status.attestation
      объект

      Аттестация отказа. Свидетель — узел, агент которого получил сообщение DeclareSuicide от отказавшего узла. Агент свидетеля записывает имя своего узла.

      • status.attestation.at
        строка

        Обязательный параметр

        Время аттестации с точностью до микросекунд.

        Шаблон: ^[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{6}(Z|[+-][0-9]{2}:[0-9]{2})$

      • status.attestation.witness
        строка

        Обязательный параметр

        Имя узла-свидетеля.

    • status.conditions
      массив объектов

      Условия инцидента. Условие не заменяет фазу, поэтому контроллер может сообщить об одной и той же проблеме в любой фазе.

      Условие ConfigurationError со статусом True и причиной ProfileUnavailable контроллер выставляет, пока не может прочитать нужные ему тайминги из профиля SLA, указанного в spec.profileRef.name. Причину указывает message условия. В этом состоянии узел не эвакуируется. Статус False с причиной ProfileResolved означает, что контроллер нашёл профиль. Инциденту с armed: false профиль не нужен, у него тоже этот статус.

      Условие Queued со статусом True указывает, почему эвакуация ждёт в фазе Queued. Причины — ConcurrencyLimit и MassFailure. Текущая версия контроллера это условие не использует.

      Условие Progressing со статусом False контроллер выставляет, когда эвакуация в фазе Evicting не завершилась за 60 секунд. Контроллер продолжает проверять узел. Значение reason указывает, что мешает эвакуации сейчас, а message — подробности:

      • VolumesAttached — у узла остались объекты VolumeAttachment, поэтому тома его подов недоступны другим узлам. Их имена указывает message;
      • PodsRemaining — контроллер не смог удалить поды узла или эвакуации мешает другая ошибка API. Поды и ошибки указывает message;
      • TooManyUnhealthyMachines — контроллер не удаляет Node облачной машины CAPI, так как MachineHealthCheck сейчас не заменит машину: нездоровы более 50 % машин или у кластера нет MachineHealthCheck, который показывает свои машины. Числа указывает message.

      Когда эвакуация завершена, фаза становится Evicted, и контроллер снимает условие Progressing.

      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

        Время последнего изменения статуса условия.

      • status.conditions.message
        строка

        Описание последнего изменения в свободной форме.

      • status.conditions.observedGeneration
        целочисленный

        Поколение ресурса, для которого было установлено условие.

        Допустимые значения: 0 <= X

      • status.conditions.reason
        строка

        Обязательный параметр

        Машиночитаемая причина последнего изменения.

      • status.conditions.status
        строка

        Обязательный параметр

        Статус условия.

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        Тип условия.

    • status.contact
      объект

      Последний контакт с отказавшим узлом. Секцию записывает fencing-agent, получивший сообщение о контакте с узлом.

      • status.contact.at
        строка

        Обязательный параметр

        Время последнего контакта с отказавшим узлом с точностью до микросекунд.

        Шаблон: ^[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{6}(Z|[+-][0-9]{2}:[0-9]{2})$

      • status.contact.reportedBy
        строка

        Обязательный параметр

        Имя узла, сообщившего о контакте.

    • status.correlation
      объект

      Корреляция инцидента с инцидентами других узлов. Текущая версия контроллера эту секцию не записывает.

      • status.correlation.episode
        строка

        Идентификатор эпизода коррелированных отказов, в который входит этот инцидент.

    • status.fallback
      объект

      Свидетельство работоспособности от отказавшего узла. Секцию записывает только fencing-agent отказавшего узла и только через API Kubernetes, поэтому она появляется, только если узел видел API.

      fencing-controller держит фазу FallbackAlive, пока последний heartbeat не старше 2 * heartbeat.interval + heartbeat.apiTimeout из профиля.

      • status.fallback.lastHeartbeatAt
        строка

        Обязательный параметр

        Время последнего heartbeat узла с точностью до микросекунд.

        Если свежие heartbeat прекратились, это признак того, что узел не видит API.

        Шаблон: ^[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{6}(Z|[+-][0-9]{2}:[0-9]{2})$

    • status.phase
      строка

      Фаза инцидента:

      • Suspected — отказ узла подозревается;
      • FallbackAlive — узел пишет heartbeat через API Kubernetes. Например, ACL или межсетевой экран блокирует сеть между узлами, но API узлу доступен;
      • Proven — отказ доказан. Контроллер доказывает отказ одним из двух способов:
        • аттестация: свидетель подтвердил остановку узла, и после того, как контроллер увидел аттестацию, прошло время watchdog.timeout + watchdog.margin из профиля. После аттестации узел не писал heartbeat;
        • молчание узла: после последнего признака жизни узла прошло время controlPlaneLostAfter + 0.2s + watchdog.timeout + watchdog.margin + 0.9s из профиля. Последний признак жизни — более поздний из двух моментов: когда контроллер впервые увидел объект и когда он увидел последний heartbeat, плюс heartbeat.interval.

        Пока условие Fencing у Node не True, контроллер не записывает Proven, и объект остаётся в фазе Suspected;

      • Unproven — отказ входит в коррелированный отказ и не имеет аттестации. Текущая версия контроллера эту фазу не выставляет;
      • Queued — эвакуация ждёт. Причину указывает условие Queued. Текущая версия контроллера эту фазу не использует;
      • Evicting — на узле стоит taint node.kubernetes.io/out-of-service, эвакуация идёт. Если эвакуация не завершилась за 60 секунд, причину указывает условие Progressing;
      • Evicted — эвакуация завершена: контроллер удалил поды узла, и у узла не осталось объектов VolumeAttachment.

      Контроллер записывает Evicted до того, как удаляет Node или Machine узла, который заменяет облако. Удаление Node удаляет и этот объект. Если запись Evicted не прошла, контроллер не удаляет ни Node, ни Machine. Если удаление не прошло, контроллер повторяет его в фазе Evicted.

      Объект с armed: false никогда не получает фазу Proven. Он остаётся в фазе Suspected или FallbackAlive, и taint на узел не ставится.

      Пустая фаза означает, что контроллер ещё не обработал объект. Считайте её фазой Suspected.

      Ошибка — не фаза. Контроллер сообщает об ошибке в conditions и сохраняет фазу.

      Допустимые значения: Suspected, FallbackAlive, Proven, Unproven, Queued, Evicting, Evicted

FencingSLAProfile

Short names: fsp

Scope: Cluster
Version: v1alpha1

SLA-профиль fencing. Профиль содержит только тайминги. Корреляция, тормоз и лимит эвакуации — настройки модуля, а не профиля.

Модуль поставляет три профиля: critical, normal и slow. В Community Edition (CE) профиля critical нет, потому что режим Critical доступен только в коммерческих редакциях. Изменить профили может только Deckhouse. Режим spec.fencing.mode в NodeGroup выбирает профиль группы. Именем объекта служит название режима в нижнем регистре, потому что имя объекта Kubernetes не может содержать заглавные буквы.

Все агенты кластера работают в одной сети memberlist. Они используют секции memberlist и rejoin профиля самой быстрой группы, у которой режим не Disabled. Остальные секции агент группы, у которой режим не Disabled, берёт из профиля своей группы.

Профиль — cluster-scoped объект. У него нет состояния, поэтому у ресурса нет status.

  • apiVersion
    строка
  • kind
    строка
  • metadata
    объект
  • spec
    объект

    Обязательный параметр

    Тайминги профиля. Каждое значение — длительность или число. Правила CEL этого объекта проверяют неравенства одного профиля, остальные неравенства проверяет агент.

    В профиле нет таймингов проб kubernetes-api-proxy. Прокси использует одни и те же фиксированные значения на всех узлах:

    • интервал проб: не больше 1.2s (1s с джиттером 20 %);
    • таймаут пробы: 0.5s;
    • неудачная проба не повторяется.

    Наибольшая давность пробы — 1.7s (1.2s + 0.5s).

    В профиле нет таймаутов опроса состояния control plane и периода чтения kubernetes-api-proxy. Эти тайминги одинаковы для всех профилей: это внутренние значения модуля.

    • spec.controlPlaneLostAfter
      строка

      Обязательный параметр

      Максимальная давность последней успешной пробы control plane. Узел видит control plane, пока последний ответ Ready любого upstream apiserver не старше этого значения.

      Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

      Максимальная длина: 32

    • spec.eviction
      объект

      Обязательный параметр

      Параметры создания объектов FencingFailedNodeState.

      В профиле нет задержки перед taint молчащего узла — узла без признаков жизни. fencing-controller вычисляет её из других значений профиля: controlPlaneLostAfter + 0.2s + watchdog.timeout + watchdog.margin + 0.9s. Контроллер отсчитывает задержку от последнего признака жизни узла.

      • spec.eviction.writerWaveInterval
        строка

        Обязательный параметр

        Интервал между волнами агентов, которые создают объекты FencingFailedNodeState.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

    • spec.heartbeat
      объект

      Обязательный параметр

      Параметры heartbeat, который отказавший узел пишет через API Kubernetes.

      • spec.heartbeat.apiTimeout
        строка

        Обязательный параметр

        Таймаут одного запроса агента к API Kubernetes. Его же использует TCP-таймаут memberlist.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

      • spec.heartbeat.interval
        строка

        Обязательный параметр

        Интервал между записями heartbeat отказавшего узла в собственный FencingFailedNodeState.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

    • spec.memberlist
      объект

      Обязательный параметр

      Параметры memberlist и Lifeguard. Все агенты кластера используют эту секцию самого быстрого профиля среди групп узлов, у которых режим не Disabled.

      • spec.memberlist.awarenessMaxMultiplier
        целочисленный

        Обязательный параметр

        Максимальное замедление интервала проб у локально деградировавшего агента (Lifeguard awareness).

        Допустимые значения: 1 <= X

      • spec.memberlist.deadNodeReclaimTime
        строка

        Обязательный параметр

        Время, после которого новый узел может занять имя или адрес dead-узла.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

      • spec.memberlist.gossipInterval
        строка

        Обязательный параметр

        Интервал между gossip-сообщениями.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

      • spec.memberlist.gossipNodes
        целочисленный

        Обязательный параметр

        Количество peer, которые получают gossip в каждом интервале gossip.

        Допустимые значения: 1 <= X

      • spec.memberlist.gossipToTheDeadTime
        строка

        Обязательный параметр

        Время, в течение которого dead-узел ещё получает gossip. После восстановления узел может опровергнуть состояние dead.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

      • spec.memberlist.indirectChecks
        целочисленный

        Обязательный параметр

        Количество непрямых проверок, когда прямая проба peer не удалась.

        Допустимые значения: 1 <= X

      • spec.memberlist.probeInterval
        строка

        Обязательный параметр

        Интервал между пробами одного peer. Меньше интервал — быстрее обнаружение отказа и больше probe-трафика. Значение должно быть не меньше удвоенного probeTimeout.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

      • spec.memberlist.probeTimeout
        строка

        Обязательный параметр

        Сколько ждать ответа на пробу. Значение должно быть не больше половины probeInterval.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

      • spec.memberlist.retransmitMult
        целочисленный

        Обязательный параметр

        Множитель повторной отправки gossip-рассылок: retransmitMult * ceil(log10(nodeCount + 1)), где nodeCount — число узлов.

        Допустимые значения: 1 <= X

      • spec.memberlist.suspicionMaxTimeoutMult
        целочисленный

        Обязательный параметр

        Верхняя граница таймера suspicion, когда подтверждения не приходят.

        Допустимые значения: 1 <= X

      • spec.memberlist.suspicionMult
        целочисленный

        Обязательный параметр

        Множитель окна suspicion, после которого peer помечается как dead. Значение должно быть не меньше 3.

        Допустимые значения: 1 <= X

    • spec.poll
      объект

      Обязательный параметр

      Параметры опроса состояния control plane между агентами.

      • spec.poll.witnessFresherBy
        строка

        Обязательный параметр

        Минимальный зазор между собственной последней успешной пробой и пробой ответившего узла. Ответ с меньшим зазором не считается свидетельством.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

    • spec.rejoin
      объект

      Обязательный параметр

      Параметры попыток join агента. Все агенты кластера используют эту секцию самого быстрого профиля среди групп узлов, у которых режим не Disabled.

      • spec.rejoin.interval
        строка

        Обязательный параметр

        Интервал между попытками join агента. Пока в сети memberlist не хватает узлов, агент повторяет попытку с этим фиксированным интервалом.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

    • spec.watchdog
      объект

      Обязательный параметр

      Параметры watchdog узла.

      • spec.watchdog.feedInterval
        строка

        Обязательный параметр

        Интервал между двумя кормлениями watchdog. Значение должно быть не больше четверти timeout.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

      • spec.watchdog.margin
        строка

        Обязательный параметр

        Запас, который добавляется к timeout. Значение должно быть не меньше 300ms и не меньше 5 % от timeout.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

      • spec.watchdog.timeout
        строка

        Обязательный параметр

        Таймаут watchdog. Узел паникует, если агент не кормит watchdog в течение этого времени. Значение — целое число секунд, потому что устройство watchdog принимает целые секунды.

        Шаблон: ^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$

        Максимальная длина: 32

Instance

Scope: Cluster

  • v1alpha2
  • v1alpha1

Instance описывает полный жизненный цикл сервера в Deckhouse Platform, агрегируя состояние от объектов Machine (инфраструктура) и сервиса Bashible на узле (конфигурация).

  • spec
    объект

    Спецификация Instance, включая ссылки на связанные ресурсы.

    • spec.classReference
      объект

      Ссылка на объект InstanceClass.

      Уникален для каждого модуля cloud-provider-* или infra-provider-*.

      • spec.classReference.kind
        строка

        Тип объекта (например, OpenStackInstanceClass).

        Тип объекта указан в документации соответствующего модуля облачного или инфраструктурного провайдера.

      • spec.classReference.name
        строка

        Имя нужного объекта InstanceClass (например, finland-medium).

    • spec.machineRef
      объект

      Ссылка на объект машины облачного провайдера.

      • spec.machineRef.apiVersion
        строка

        Используемая версия API.

      • spec.machineRef.kind
        строка

        Тип объекта.

      • spec.machineRef.name
        строка

        Имя объекта.

      • spec.machineRef.namespace
        строка

        Пространство имён, в котором находится объект.

    • spec.nodeGroupRef
      объект

      Ссылка на NodeGroup, заказавшую этот Instance. Известна до того, как узел вошёл в кластер.

      • spec.nodeGroupRef.name
        строка

        Имя NodeGroup.

    • spec.nodeRef
      объект

      Ссылка на объект узла Kubernetes.

      • spec.nodeRef.name
        строка

        Имя узла.

  • status
    объект

    Последнее наблюдаемое состояние Instance.

    • status.bashibleStatus
      строка

      Агрегированный статус процесса конфигурации bashible.

      Вычисляется из условия BashibleReady.

      Допустимые значения: Error, Unknown, Ready, WaitingApproval

    • status.bootstrapStatus
      объект

      Информация о процессе начальной настройки узла.

      • status.bootstrapStatus.description
        строка

        Описание процесса получения логов начальной настройки узла.

      • status.bootstrapStatus.logsEndpoint
        строка

        HTTP-эндпоинт для получения логов начальной настройки узла.

    • status.conditions
      массив объектов

      Детализированные условия Instance (MachineReady, BashibleReady и т.д.).

      На узле, у которого есть NodeConfig, условие NodeAgentReady равно True, пока агент узла присылает отчёты, и Unknown с причиной NoReport, если отчёта нет дольше 10 минут.

      • status.conditions.lastHeartbeatTime
        строка

        Время последнего heartbeat-обновления условия от источника.

      • status.conditions.lastTransitionTime
        строка

        Время последнего перехода условия из одного состояния в другое.

      • status.conditions.message
        строка

        Человекочитаемое сообщение с деталями перехода.

      • status.conditions.observedGeneration
        целочисленный

        Поколение ресурса, наблюдаемое контроллером.

      • status.conditions.reason
        строка

        Обязательный параметр

        Причина последнего перехода условия.

      • status.conditions.severity
        строка

        Серьёзность условия (Error, Warning, Info).

      • status.conditions.status
        строка

        Обязательный параметр

        Статус условия (True, False, Unknown).

      • status.conditions.type
        строка

        Обязательный параметр

        Тип условия (например, MachineReady, BashibleReady).

    • status.machineStatus
      строка

      Агрегированный статус инфраструктурной машины.

      Вычисляется из условия MachineReady.

      Допустимые значения: Progressing, Error, Ready, Blocked, Rebooting

    • status.message
      строка

      Человекочитаемое сообщение с деталями текущего состояния или ошибки.

      В CLI отображается только при использовании флага -o wide при вызове d8 k.

    • status.phase
      строка

      Высокоуровневая фаза жизненного цикла Instance.

      Соответствие: Pending -> Provisioning -> Provisioned -> Running -> Terminating.

      Допустимые значения: Pending, Provisioning, Provisioned, Running, Terminating, Unknown

Описывает независимый от реализации объект эфемерной машины.

  • status
    объект
    • status.bootstrapStatus
      объект

      Информация о процессе начальной настройки узла.

      • status.bootstrapStatus.description
        строка

        Описание процесса получения логов начальной настройки узла.

      • status.bootstrapStatus.logsEndpoint
        строка

        HTTP-эндпоинт для получения логов начальной настройки узла.

    • status.classReference
      объект

      Ссылка на объект InstanceClass. Уникален для каждого модуля cloud-provider-*.

      • status.classReference.kind
        строка

        Тип объекта (например, OpenStackInstanceClass). Тип объекта указан в документации соответствующего модуля облачного провайдера.

        Допустимые значения: OpenStackInstanceClass, GCPInstanceClass, VsphereInstanceClass, AWSInstanceClass, YandexInstanceClass, AzureInstanceClass, VCDInstanceClass, ZvirtInstanceClass, DynamixInstanceClass, HuaweiCloudInstanceClass, DVPInstanceClass, BareMetalInstanceClass

      • status.classReference.name
        строка

        Имя нужного объекта InstanceClass (например, finland-medium).

    • status.currentStatus
      объект

      Текущий статус объекта.

      • status.currentStatus.lastUpdateTime
        строка

        Время последнего обновления статуса.

      • status.currentStatus.phase
        строка

        Фаза состояния машины в текущий момент времени.

    • status.lastOperation
      объект

      Последняя выполненная операция.

      • status.lastOperation.description
        строка

        Описание текущей операции.

      • status.lastOperation.lastUpdateTime
        строка

        Время последнего обновления операции.

      • status.lastOperation.state
        строка

        Состояние операции.

      • status.lastOperation.type
        строка

        Тип операции.

    • status.machineRef
      объект

      Ссылка на объект машины облачного провайдера.

      • status.machineRef.apiVersion
        строка

        Используемая версия API.

      • status.machineRef.kind
        строка

        Тип объекта.

      • status.machineRef.name
        строка

        Имя объекта.

      • status.machineRef.namespace
        строка

        Пространство имён, в котором находится объект.

    • status.nodeRef
      объект

      Ссылка на объект узла Kubernetes.

      • status.nodeRef.name
        строка

        Имя узла.

InstanceTypesCatalog

Scope: Cluster
Version: v1alpha1

Содержит информацию о данных, обнаруженных в облаке.

  • instanceTypes
    массив объектов

    Обязательный параметр

    Список доступных типов виртуальных машин.

    • instanceTypes.cpu
      строка или число

      Обязательный параметр

      Количество vCPU для данного типа виртуальной машины.

      Шаблон: ^(\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))(([KMGTPE]i)|[numkMGTPE]|([eE](\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))))?$

    • instanceTypes.memory
      строка или число

      Обязательный параметр

      Объем оперативной памяти для данного типа виртуальной машины.

      Шаблон: ^(\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))(([KMGTPE]i)|[numkMGTPE]|([eE](\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))))?$

    • instanceTypes.name
      строка

      Имя типа виртуальной машины.

    • instanceTypes.rootDisk
      строка или число

      Размер корневого диска.

      Шаблон: ^(\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))(([KMGTPE]i)|[numkMGTPE]|([eE](\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))))?$

NodeGroup

Short names: ng

Scope: Cluster

  • v1
  • v1alpha2
  • v1alpha1

Описывает runtime-параметры группы узлов.

Пример:

# NodeGroup for cloud nodes in AWS.
apiVersion: deckhouse.io/v1
kind: NodeGroup
metadata:
  name: test
spec:
  nodeType: CloudEphemeral
  cloudInstances:
    zones:
      - eu-west-1a
      - eu-west-1b
    minPerZone: 1
    maxPerZone: 2
    classReference:
      kind: AWSInstanceClass
      name: test
  nodeTemplate:
    labels:
      tier: test
---
# NodeGroup for static nodes on bare metal servers (or VMs).
apiVersion: deckhouse.io/v1
kind: NodeGroup
metadata:
  name: worker
spec:
  nodeType: Static
  • metadata
    объект
    • metadata.name
      строка

      Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

      Максимальная длина: 42

  • spec
    объект

    Обязательный параметр

    • spec.chaos
      объект

      Настройки Chaos Monkey.

      Пример:

      chaos:
        mode: DrainAndDelete
        period: 24h
      
      • spec.chaos.mode
        строка

        Режим работы Chaos Monkey:

        • DrainAndDelete — при срабатывании делает узлу drain, затем удаляет его.
        • Disabled — не трогает данную NodeGroup.

        По умолчанию: Disabled

        Допустимые значения: Disabled, DrainAndDelete

      • spec.chaos.period
        строка

        Интервал времени срабатывания Chaos Monkey.

        Задается в виде строки с указанием часов и минут: 30m, 1h, 2h30m, 24h.

        По умолчанию: 6h

        Шаблон: ^([0-9]+h([0-9]+m)?|[0-9]+m)$

    • spec.cloudInstances
      объект

      Параметры облачных виртуальных машин группы узлов.

      Параметр cloudInstances используется для узлов типа CloudEphemeral. При настройке облачного провайдера через ModuleConfig также используется для узлов типа CloudPermanent, включая master-узлы. В этом случае classReference указывает инстанс-класс с параметрами виртуальных машин.

      • spec.cloudInstances.classReference
        объект

        Обязательный параметр

        Ссылка на объект InstanceClass. Уникален для каждого модуля cloud-provider-*.

        • spec.cloudInstances.classReference.kind
          строка

          Тип объекта InstanceClass (например, OpenStackInstanceClass). Поддерживаемые типы определяются установленными модулями облачных провайдеров и указаны в их документации.

        • spec.cloudInstances.classReference.name
          строка

          Имя нужного InstanceClass-объекта (например, finland-medium).

      • spec.cloudInstances.maxPerZone
        целочисленный

        Обязательный параметр

        Для узлов типа CloudEphemeral задаёт максимальное количество узлов в каждой зоне и верхнюю границу автоматического масштабирования.

        Для узлов типа CloudPermanent поле обязательно при заданном cloudInstances. Укажите значение не меньше minPerZone.

        Допустимые значения: 0 <= X

      • spec.cloudInstances.maxSurgePerZone
        целочисленный

        Максимальное количество инстансов, которые платформа создаёт в каждой зоне сверх желаемого количества, пока заменяет инстансы группы.

        Замена происходит при изменении параметров, требующих пересоздания виртуальной машины, например в InstanceClass. Количество инстансов, которые cluster autoscaler заказывает при масштабировании группы, параметр не ограничивает. Подробнее о том, на что влияют параметры NodeGroup, в разделе «На что влияют параметры NodeGroup?».

        Значение 0 равнозначно незаданному параметру, в этом случае применяется значение по умолчанию.

        По умолчанию: 1

        Допустимые значения: 0 <= X

      • spec.cloudInstances.maxUnavailablePerZone
        целочисленный

        Недоступное количество инстансов при RollingUpdate’е.

        По умолчанию: 0

        Допустимые значения: 0 <= X

      • spec.cloudInstances.minPerZone
        целочисленный

        Обязательный параметр

        Для узлов типа CloudEphemeral задаёт минимальное количество узлов в каждой зоне и нижнюю границу автоматического масштабирования.

        Для узлов типа CloudPermanent при настройке провайдера через ModuleConfig задаёт требуемое количество узлов группы.

        Допустимые значения: 0 <= X

      • spec.cloudInstances.priority
        целочисленный

        Приоритет группы узлов.

        При масштабировании кластера cluster autoscaler будет выбирать сначала группы узлов с установленным бОльшим приоритетом. Если существует несколько групп узлов с одинаковым приоритетом, группа будет выбрана из них случайным образом. Скоростью переключения на заказ узлов из групп с меньшим приоритетом можно управлять (подробнее — в разделе «FAQ»).

        Использование приоритетов может быть удобно, например, для предпочтения заказа более дешевых узлов (например, spot-инстансов) перед более дорогими.

      • spec.cloudInstances.quickShutdown
        Параметр устарел
        булевый

        Снижает время drain’а CloudEphemeral-машин до 5 минут.

      • spec.cloudInstances.standby
        строка или число

        Количество резервных (подогретых) узлов в этой NodeGroup во всех зонах.

        Резервный узел — это узел кластера, на котором резервируются ресурсы, доступные в любой момент для масштабирования. Наличие такого узла позволяет cluster autoscaler’у не ждать инициализации узла (которая может занимать несколько минут), а сразу размещать на нем нагрузку.

        Значение может быть абсолютным (например, 2) или процентом желаемых узлов (например, 10%). Если указан процент, абсолютное значение рассчитывается исходя из процента от максимального количества узлов (параметр maxPerZone), округленного в меньшую сторону, но не менее одного.

        Шаблон: ^[0-9]+%?$

      • spec.cloudInstances.standbyHolder
        объект

        Объем резервируемых ресурсов.

        Используется для определения необходимости заказа резервных узлов.

        • spec.cloudInstances.standbyHolder.notHeldResources
          Параметр устарел
          объект

          Устарело: параметр больше не используется. Используйте параметр overprovisioningRate.

          Резервируемые ресурсы.

          • spec.cloudInstances.standbyHolder.notHeldResources.cpu
            строка или число

            Количество CPU.

            Значение может быть абсолютным (например, 1) или в millicore-формате (например, 1500m).

            Шаблон: ^[0-9]+m?$

          • spec.cloudInstances.standbyHolder.notHeldResources.memory
            строка или число

            Количество памяти.

            Значение может быть абсолютным в байтах (например, 128974848) или в Kubernetes-формате с суффиксами: G, Gi, M, Mi (например, 750Mi).

            Шаблон: ^[0-9]+(\.[0-9]+)?(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$

        • spec.cloudInstances.standbyHolder.overprovisioningRate
          целочисленный

          Процент резервируемых ресурсов, рассчитываемый от ресурсов узла в NodeGroup.

          По умолчанию: 50

          Допустимые значения: 1 <= X <= 80

      • spec.cloudInstances.zones
        массив строк

        Переопределение перечня зон, в которых создаются инстансы.

        Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.

        Пример:

        zones:
        - Helsinki
        - Espoo
        - Tampere
        
    • spec.cri
      объект

      Параметры container runtime.

      • spec.cri.containerd
        объект

        Параметры работы containerd.

        При настройке этих параметров cri.type должен быть Containerd.

        • spec.cri.containerd.maxConcurrentDownloads
          целочисленный

          Максимальное количество параллельных потоков загрузки для каждой операции pull.

          По умолчанию: 3

      • spec.cri.containerdV2
        объект

        Параметры работы containerd V2.

        При настройке этих параметров cri.type должен быть ContainerdV2.

        При использовании ContainerdV2 будет использоваться CgroupsV2 (обеспечивает улучшенную безопасность и управление ресурсами).

        Для использования ContainerdV2 в качестве container runtime узлы в группе должны соответствовать следующим требованиям:

        • поддержка CgroupsV2;
        • ядро Linux версии 5.8 и новее;
        • systemd версии 244 и новее;
        • поддержка модуля ядра erofs.
        • spec.cri.containerdV2.maxConcurrentDownloads
          целочисленный

          Максимальное количество параллельных потоков загрузки для каждой операции pull.

          По умолчанию: 3

      • spec.cri.docker
        Параметр устарел
        объект

        Параметры настройки Docker.

        • spec.cri.docker.manage
          булевый

          Автоматическое управление версией и параметрами Docker.

          По умолчанию: true

        • spec.cri.docker.maxConcurrentDownloads
          целочисленный

          Максимальное количество потоков одновременного скачивания Docker-образов.

          По умолчанию: 3

      • spec.cri.notManaged
        объект

        Настройки для CRI, установленных на узлах вручную.

        • spec.cri.notManaged.criSocketPath
          строка

          Путь к сокету CRI.

      • spec.cri.type
        строка

        Тип container runtime.

        Если не указан, используется значение параметра defaultCRI ClusterConfiguration.

        Внимание. Поддержка Docker считается устаревшей.

        Внимание. В редакции CSE доступен только containerd v2.

        Допустимые значения: Docker, Containerd, ContainerdV2, NotManaged

    • spec.disruptions
      объект

      Параметры обновлений, приводящих к возможному простою.

      Пример:

      disruptions:
        approvalMode: Automatic
        automatic:
          drainBeforeApproval: false
          windows:
          - from: '06:00'
            to: '08:00'
            days:
            - Tue
            - Sun
      
      • spec.disruptions.approvalMode
        строка

        Режим выдачи разрешения на disruptive-обновление (обновление, требующее прерывание работы узла):

        • Manual — отключить автоматическую выдачу разрешений на disruptive-обновление. Если потребуется disruptive-обновление, появится специальный алерт. При выборе этого режима не происходит автоматический drain узла. Если требуется drain узла, сделайте это вручную перед установкой аннотации update.node.deckhouse.io/disruption-approved= на ресурс node. Внимание. Для группы узлов master режим выдачи разрешения всегда должен быть Manual, чтобы избежать проблем при выполнении drain узла.
        • Automatic — автоматически выдавать разрешения на disruptive-обновление. При этом возможен автоматический drain узла, управляющийся настройкой drainBeforeApproval.
        • RollingUpdate — в этом режиме будет создан новый узел с обновленными настройками, а старый узел будет удален. Разрешено только для облачных узлов.

        Когда не используется режим RollingUpdate, при обновлении узел освобождается от нагрузки (drain), после чего обновляется (перезагружается) и вводится в работу. Обратите внимание, что в этом случае в кластере должно быть место для размещения нагрузки на время, пока обновляемый узел недоступен. В режиме RollingUpdate узел заменяется на обновленный, то есть на время обновления в кластере появляется дополнительный узел. В облачной инфраструктуре режим RollingUpdate удобен, например, если в кластере нет ресурсов для временного размещения нагрузки с обновляемого узла.

        По умолчанию: Automatic

        Допустимые значения: Manual, Automatic, RollingUpdate

      • spec.disruptions.automatic
        объект

        Дополнительные параметры для режима Automatic.

        • spec.disruptions.automatic.drainBeforeApproval
          булевый

          Выполнение drain подов с узла перед выдачей разрешения на disruption.

          Внимание. Данная настройка игнорируется (узлам будет выдано разрешение без предварительного выполнения drain подов с узлов):

          По умолчанию: true

        • spec.disruptions.automatic.windows
          массив объектов

          Список окон disruption-обновлений узлов.

          • spec.disruptions.automatic.windows.days
            массив строк

            Дни недели, в которые применяется окно обновлений.

            Примеры:

            days: Mon
            
            days: Wed
            
            • Элемент массива
              строка

              День недели.

              Допустимые значения: Mon, Tue, Wed, Thu, Fri, Sat, Sun

          • spec.disruptions.automatic.windows.from
            строка

            Обязательный параметр

            Время начала окна обновления (в часовом поясе UTC).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            from: '13:00'
            
          • spec.disruptions.automatic.windows.to
            строка

            Обязательный параметр

            Время окончания окна обновления (в часовом поясе UTC).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            to: '18:30'
            
      • spec.disruptions.rollingUpdate
        объект

        Дополнительные параметры для режима RollingUpdate.

        • spec.disruptions.rollingUpdate.windows
          массив объектов

          Список окон disruption-обновлений узлов.

          • spec.disruptions.rollingUpdate.windows.days
            массив строк

            Дни недели, в которые применяется окно обновлений.

            Примеры:

            days: Mon
            
            days: Wed
            
            • Элемент массива
              строка

              День недели.

              Допустимые значения: Mon, Tue, Wed, Thu, Fri, Sat, Sun

          • spec.disruptions.rollingUpdate.windows.from
            строка

            Обязательный параметр

            Время начала окна обновления (в часовом поясе UTC).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            from: '13:00'
            
          • spec.disruptions.rollingUpdate.windows.to
            строка

            Обязательный параметр

            Время окончания окна обновления (в часовом поясе UTC).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            to: '18:30'
            
    • spec.fencing
      объект

      Настройки fencing для группы узлов.

      • spec.fencing.mode
        строка

        Режим fencing для группы узлов. Каждый режим, кроме Disabled, выбирает встроенный профиль FencingSLAProfile с таймингами реакции для группы:

        • Disabled — fencing для группы узлов выключен. Группа узлов без fencing тоже находится в этом режиме.
        • Critical — профиль critical, реакция примерно за 12 секунд. Доступен только в коммерческих редакциях. В Community Edition (CE) Deckhouse не позволяет задать этот режим, а группа, у которой он уже задан, работает как Normal.
        • Normal — профиль normal, реакция примерно за 30 секунд.
        • Slow — профиль slow, реакция примерно за 60 секунд.
        • Watchdog — устарел. Этот режим работает как Slow. Используйте Normal, Slow или Critical (Critical доступен только в коммерческих редакциях).

        Если хотя бы у одной группы узлов режим отличается от Disabled, fencing-agent запускается на всех узлах кластера. Если у всех групп узлов режим Disabled, Deckhouse не разворачивает fencing-agent.

        В кластере с одним мастером Deckhouse не позволяет включить fencing у существующей группы узлов и выдаёт предупреждение при создании группы с fencing, потому что отказ или перезагрузка этого мастера останавливает все узлы с fencing.

        Как работает fencing-agent:

        • Агенты всех узлов кластера образуют одну gossip-сеть (memberlist). Каждый агент работает в этой сети с таймингами самого быстрого режима из заданных на группах узлов. Протокол memberlist правильно обнаруживает отказы, только когда у всех участников одинаковые тайминги.
        • На узлах группы с режимом, отличным от Disabled, агент вооружает устройство /dev/watchdog с таймаутом watchdog из профиля своей группы. Пока агент работает, он сбрасывает таймер. Если узел или агент зависает, таймер истекает, и ядро уходит в kernel panic.
        • Если узел не видит control plane дольше controlPlaneLostAfter из профиля, агент сразу перестаёт сбрасывать таймер. По истечении таймаута watchdog узел останавливается. Если control plane снова доступен до истечения таймаута, агент снова сбрасывает таймер, и узел продолжает работать. Поэтому короткая пауза control plane не останавливает узлы.
        • Перестав сбрасывать таймер, агент опрашивает агентов других узлов и ищет свидетеля — узел, который видит control plane. Свидетель записывает аттестацию остановки. После этого остановка окончательна.
        • На узлах группы с режимом Disabled агент только участвует в обнаружении отказов. Агент не вооружает watchdog.
        • Агент учитывает аннотации обслуживания node-manager.deckhouse.io/fencing-disable, update.node.deckhouse.io/approved и update.node.deckhouse.io/disruption-approved, чтобы временно отключать watchdog на время плановых операций.

        Для режима, отличного от Disabled, скрипт NodeGroupConfiguration загружает модуль ядра softdog с параметром soft_panic=1. Таймаут watchdog задаёт fencing-agent, когда вооружает устройство.

        На узлах группы с systemType: Immutable (Deckhouse Engine) скрипт NodeGroupConfiguration не выполняется. На этих узлах softdog встроен в ядро и запускается с soft_panic=1. Права на /dev/watchdog задаёт образ операционной системы. Таймаут из профиля fencing-agent выставляет так же, как на других узлах. Если узел установлен до выпуска Deckhouse Engine со встроенным в ядро softdog, узел получает softdog только после переустановки или обновления загрузочного раздела.

        Для режима, отличного от Disabled, Deckhouse отключает автоматическую перезагрузку узла после kernel panic на уровне ОС. Это исключает возврат узла с неопределённым состоянием: остановленный узел остаётся выключенным, пока вы не восстановите его вручную.

        Когда остановка узла гарантирована, fencing-controller ставит на узел taint node.kubernetes.io/out-of-service. После установки taint контроллер ставит подам узла фазу Failed и условие DisruptionTarget и сразу удаляет эти поды, в том числе поды, которые терпят taint. Поды DaemonSet и static-поды контроллер не удаляет. Finalizer подов контроллер не снимает: под с finalizer остаётся в API, пока владелец finalizer не снимет его. Для такого пода StatefulSet контроллер отправляет событие-предупреждение с именами finalizer. Эвакуация завершена, когда у узла не осталось объектов VolumeAttachment. Если эвакуация не завершилась за 60 секунд, инцидент остаётся в фазе Evicting и получает условие Progressing со статусом False и причиной. Контроллер продолжает проверять узел. После эвакуации Deckhouse действует так:

        • Для узла группы CloudPermanent, CloudStatic или Static (включая группу Static с staticInstances, то есть CAPS), для master-узла и для узла etcd-arbiter Deckhouse только оставляет taint. Объект Node Deckhouse не удаляет никогда.
        • Для узла группы CloudEphemeral с status.engine: CAPI Deckhouse удаляет объект Node, только если MachineHealthCheck кластера Cluster API показывает свои машины и нездоровых из них не больше 50 %. Остановленную машину Deckhouse считает нездоровой. Затем MachineHealthCheck выставляет у Machine condition HealthCheckSucceeded в False с причиной NodeDeleted и заменяет машину. Если нездоровых машин больше 50 % или MachineHealthCheck ещё не показывает свои машины, Deckhouse пока не удаляет объект Node. Контроллер продолжает проверять машины. Когда нездоровых машин становится не больше 50 %, контроллер удаляет объект Node и завершает эвакуацию.
        • Для узла группы CloudEphemeral с status.engine: MCM Deckhouse удаляет Machine (machine.sapcloud.io). Machine Controller Manager создаёт новую машину.

        Когда узел возвращается (Node в состоянии Ready и у него новый boot ID), fencing-controller снимает taint автоматически. Контроллер работает, только пока хотя бы у одной группы узлов режим отличается от Disabled. Если выключить fencing во всех группах узлов, taint остаётся на узле, и снять его нужно вручную.

        Остановка гарантирована в одном из двух случаев: свидетель подтвердил остановку и прошло watchdog.timeout + watchdog.margin из профиля, или узел молчит controlPlaneLostAfter + 0,2 с + watchdog.timeout + watchdog.margin + 0,9 с из профиля после последнего признака жизни. Пока condition Fencing у Node не True, контроллер не ставит taint.

        Если fencing-controller не ставит taint, Kubernetes выселяет поды узла через время, заданное в параметре failedNodePodEvictionTimeoutSeconds модуля control-plane-manager (по умолчанию 300 секунд).

        Подробнее о том, как механизм fencing обрабатывает сбойный узел, можно почитать в разделе «FAQ».

        По умолчанию: Disabled

        Допустимые значения: Disabled — Fencing для группы узлов выключен. Группа узлов без fencing тоже находится в этом режиме.
        Normal — Профиль normal, реакция примерно за 30 секунд.
        Slow — Профиль slow, реакция примерно за 60 секунд.
        Critical — Профиль critical, реакция примерно за 12 секунд. Доступен только в коммерческих редакциях.
        Watchdog — Устарел. Работает как Slow. Используйте Normal, Slow или Critical (Critical доступен только в коммерческих редакциях).

      • spec.fencing.watchdog
        объект

        Устарело. Deckhouse сохраняет настройки fencing 1.0 только для совместимости и игнорирует их.

        • spec.fencing.watchdog.timeout
          строка

          Устарело. Deckhouse игнорирует это поле. Таймаут watchdog берётся из профиля режима fencing.

          Шаблон: ^[0-9]+[smh]{1}$

    • spec.gpu
      объект

      Доступно в редакциях: Ultimate/EE

      Параметры GPU.

      Секцию использует модуль gpu: по ней он выбирает группы узлов, которые обслуживает в режиме Device Plugin. Если модуль gpu выключен, секция ни на что не влияет.

      • spec.gpu.exclusive
        объект

        Режим без разделения GPU.

      • spec.gpu.mig
        объект

        Параметры для стратегии MIG.

        • spec.gpu.mig.customConfigs
          массив объектов

          Кастомное разбиение MIG по индексам GPU.

          Используется только при значении partedConfig: custom.

          Представляет собой массив устройств (map по index), где каждый элемент указывает на GPU по его индексу и описывает создаваемые срезы.

          Примеры:

          customConfigs:
            profile: 3g.40gb
            count: 2
          
          customConfigs:
            profile: 1g.10gb.me
            count: 1
          
          • spec.gpu.mig.customConfigs.index
            целочисленный

            Обязательный параметр

            Индекс GPU на узле.

            Допустимые значения: 0 <= X

          • spec.gpu.mig.customConfigs.slices
            массив объектов

            Обязательный параметр

            Список создаваемых MIG-срезов.

            • spec.gpu.mig.customConfigs.slices.count
              целочисленный

              Обязательный параметр

              Количество срезов выбранного профиля.

              По умолчанию: 1

              Допустимые значения: 1 <= X <= 7

            • spec.gpu.mig.customConfigs.slices.profile
              строка

              Обязательный параметр

              Имя MIG-профиля.

              Шаблон: ^[0-9]+g\.[0-9]+gb(\.me)?$

              Примеры:

              profile: 3g.40gb
              
              profile: 1g.10gb
              
              profile: 1g.10gb.me
              
        • spec.gpu.mig.partedConfig
          строка

          Имя используемой конфигурации MIG.

          Поддерживаются стандартные профили вида all-* (одинаковое разбиение для всех GPU) или значение custom, позволяющее задать разбиение отдельно для каждой видеокарты.

          По умолчанию: all-1g.5gb

      • spec.gpu.sharing
        строка

        Стратегия разделения GPU:

        • Exclusive — без разделения (каждый GPU полностью выделяется одному поду).
        • TimeSlicing — разделение GPU по времени (несколько подов могут одновременно использовать один GPU, поочередно получая доступ к его вычислительным ресурсам).
        • MIG — разделение одного GPU на несколько экземпляров (технология NVIDIA MIG, при наличии поддержки).

        Допустимые значения: TimeSlicing, MIG, Exclusive

      • spec.gpu.timeSlicing
        объект

        Параметры для стратегии TimeSlicing.

        • spec.gpu.timeSlicing.partitionCount
          число

          Количество разделов (виртуальных GPU) на один физический GPU.

          По умолчанию: 4

          Допустимые значения: 1 <= X <= 100

    • spec.kubelet
      объект

      Параметры настройки kubelet.

      • spec.kubelet.containerLogMaxFiles
        целочисленный

        Максимальное количество файлов журналов с учетом ротации.

        По умолчанию: 4

        Допустимые значения: 2 <= X <= 20

      • spec.kubelet.containerLogMaxSize
        строка

        Максимальный размер файла журнала до того, как он будет ротирован.

        По умолчанию: 50Mi

        Шаблон: \d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]

      • spec.kubelet.maxPods
        целочисленный

        Максимальное количество подов на узлах данной NodeGroup. Если явно не задан, по умолчанию задается в зависимости от значения параметра podSubnetNodeCIDRPrefix модуля control-plane-manager:

        • 120 подов для podSubnetNodeCIDRPrefix ≥ 24;
        • 250 подов для podSubnetNodeCIDRPrefix = 23;
        • 500 подов для podSubnetNodeCIDRPrefix = 22;
        • 1000 подов для podSubnetNodeCIDRPrefix ≤ 21.
      • spec.kubelet.memorySwap
        объект

        Конфигурация использования swap-памяти для kubelet.

        • spec.kubelet.memorySwap.limitedSwap
          объект

          Настройки режима ограниченного использования swap. Требуются, если для swapBehavior указано значение LimitedSwap.

          • spec.kubelet.memorySwap.limitedSwap.size
            строка

            Обязательный параметр

            Размер создаваемого swap-файла в ГБ (например, “2G”, “4G”).

            Шаблон: ^\d+G$

            Пример:

            size: 1G
            
        • spec.kubelet.memorySwap.swapBehavior
          строка

          Определяет, как используется swap-память на узле:

          • NoSwap — swap отключен. Это традиционное поведение Kubernetes.
          • LimitedSwap — kubelet может использовать swap-память в пределах, заданных в limitedSwap.size.

          Подробнее об использовании swap-памяти на узлах можно прочитать в документации Kubernetes.

          Допустимые значения: NoSwap, LimitedSwap

        • spec.kubelet.memorySwap.swappiness
          целочисленный

          Определяет склонность ядра к использованию swap.

          • 0 — минимальное использование (только для предотвращения OOM).
          • 60 — сбалансированное поведение по умолчанию.
          • 100 — агрессивное использование.

          Значение устанавливается через параметр sysctl vm.swappiness.

          По умолчанию: 60

          Допустимые значения: 0 <= X <= 100

      • spec.kubelet.resourceReservation
        объект

        Управление резервированием ресурсов для системных служб на узле.

        Больше информации в документации Kubernetes.

        • spec.kubelet.resourceReservation.mode
          строка

          Выбор режима резервирования системных ресурсов:

          • Off — отключение резервирования системных ресурсов.
          • Auto — автоматический подсчет резервирования через алгоритм, основанный на размере узла.
          • Static — указание статических значений через параметр static.

          Обратите внимание, что Deckhouse не использует выделенную cgroup для резервирования ресурсов (флаг -system-reserved-cgroup не используется).

          По умолчанию: Auto

        • spec.kubelet.resourceReservation.static
          объект

          Параметры резервирования ресурсов в режиме Static.

          • spec.kubelet.resourceReservation.static.cpu
            строка или число

            Шаблон: \d+[m]

          • spec.kubelet.resourceReservation.static.ephemeralStorage
            строка или число

            Шаблон: \d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]

          • spec.kubelet.resourceReservation.static.memory
            строка или число

            Шаблон: \d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]

      • spec.kubelet.rootDir
        строка

        Путь к каталогу для файлов kubelet (volume mounts и т. д.).

        По умолчанию: /var/lib/kubelet

      • spec.kubelet.seccompDefault
        булевый

        Использовать seccomp-профиль RuntimeDefault для workload’ов, где seccomp-профиль не задан явно.

      • spec.kubelet.topologyManager
        объект

        Управление менеджерами ресурсов kubelet на NUMA-узлах: менеджером CPU, менеджером памяти и менеджером топологии.

        При политике, отличной от None, контейнеры подов класса Guaranteed с целым числом CPU получают эксклюзивные CPU, а память подов класса Guaranteed закрепляется за NUMA-узлами. При Restricted и SingleNumaNode они получают целые физические ядра. Deckhouse рассчитывает зависящие от NUMA параметры kubelet на каждом узле группы: распределяет reservedMemory по NUMA-узлам и задаёт max-allowable-numa-nodes на узлах, где NUMA-узлов больше 8.

        Для политики, отличной от None, нужен resourceReservation.mode Auto или Static с положительным static.cpu. Изменение настроек перезапускает kubelet и на узлах с подами класса Guaranteed может потребовать прерывания работы узла (disruption). Подробнее - в разделе Как выделить подам отдельные CPU и выровнять их по NUMA?

        Дополнительная информация в документации Kubernetes.

        • spec.kubelet.topologyManager.enabled
          Параметр устарел
          булевый

          Устарел, ни на что не влияет. Менеджерами ресурсов управляет только policy.

        • spec.kubelet.topologyManager.policy
          строка

          Политика выравнивания ресурсов и связанные с ней настройки kubelet:

          • None: выравнивание не выполняется. Менеджеры CPU и памяти не используются.
          • BestEffort: поды класса Guaranteed получают эксклюзивные CPU и память, закреплённую за NUMA-узлами. Ресурсы выравниваются по NUMA-узлам, если это возможно; если нет, под всё равно допускается, но отклоняется, если не удаётся разместить его память.
          • Restricted: поды класса Guaranteed получают эксклюзивные целые физические ядра и память, закреплённую за NUMA-узлами. Под отклоняется, если его ресурсы невозможно выровнять; если поду нужно несколько NUMA-узлов, выбираются ближайшие.
          • SingleNumaNode: как Restricted, но все ресурсы пода (или контейнера, см. scope) должны браться из одного NUMA-узла.

          Подробнее - в документации Kubernetes.

          По умолчанию: None

          Допустимые значения: None, BestEffort, Restricted, SingleNumaNode

        • spec.kubelet.topologyManager.scope
          строка

          Определение гранулярности выравнивания ресурсов:

          • Container: ресурсы выравниваются для каждого контейнера отдельно.
          • Pod: все контейнеры пода выравниваются вместе.

          По умолчанию: Pod

          Допустимые значения: Container, Pod

    • spec.nodeDrainTimeoutSecond
      целочисленный

      Максимальная продолжительность периода (в секундах), в течение которого контроллер будет пытаться переселить поды на новую машину в процессе выполнения drain на узле.

      Когда удаляется машина, операция Drain вытесняет поды в течение этого времени. После этого машина удаляется в любом случае. В NodeGroup типа Static или CloudStatic без этого поля время операции Drain удаляемой машины не ограничено.

      Диапазон тот же, что и раньше проверялся в настройках самого модуля. Значение за его пределами здесь принималось, а при чтении настроек отвергалось, из-за чего переставал работать весь node-manager.

      Допустимые значения: 30 <= X <= 7200

    • spec.nodeTemplate
      объект

      Настройки Node-объектов в Kubernetes, которые будут добавлены после регистрации узла.

      Пример:

      nodeTemplate:
        labels:
          environment: production
          app: warp-drive-ai
        annotations:
          ai.fleet.com/discombobulate: 'true'
        taints:
        - effect: NoExecute
          key: ship-class
          value: frigate
      
      • spec.nodeTemplate.annotations
        объект

        Аналогично стандартному полю metadata.annotations.

        Пример:

        annotations:
          ai.fleet.com/discombobulate: 'true'
        
      • spec.nodeTemplate.labels
        объект

        Аналогично стандартному полю metadata.labels.

        Пример:

        labels:
          environment: production
          app: warp-drive-ai
        
      • spec.nodeTemplate.taints
        массив объектов

        Аналогично полю .spec.taints из объекта Node.

        Доступны только поля effect, key, value.

        Пример:

        taints:
        - effect: NoExecute
          key: ship-class
          value: frigate
        
        • spec.nodeTemplate.taints.effect
          строка

          Допустимые значения: NoSchedule, PreferNoSchedule, NoExecute

        • spec.nodeTemplate.taints.key
          строка
        • spec.nodeTemplate.taints.value
          строка
    • spec.nodeType
      строка

      Обязательный параметр

      Тип узлов, которые представляет эта группа:

      • CloudEphemeral — узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере;
      • CloudPermanent. Узлы создаются и удаляются через dhctl. Параметры виртуальных машин задаются в конфигурации облачного провайдера. При настройке провайдера через ModuleConfig параметры задаются в инстанс-классе, на который ссылается cloudInstances.classReference;
      • CloudStatic — узел, созданный вручную или любыми внешними инструментами, размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров. На таком узле работает CSI и такой узел управляется cloud-controller-manager’ом: объект Node автоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака, соответствующий ему объект Node будет удален в Kubernetes;
      • Static — статический узел, размещенный на физическом сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров.

      Допустимые значения: CloudEphemeral, CloudPermanent, CloudStatic, Static

    • spec.operatingSystem
      объект

      Параметры операционной системы.

      • spec.operatingSystem.manageKernel
        Параметр устарел
        булевый

        Этот параметр не используется. Раньше он включал автоматическое управление ядром операционной системы.

        По умолчанию: true

    • spec.providerType
      строка

      Тип облачного провайдера группы узлов. None или пустое значение — для статической группы узлов.

    • spec.staticInstances
      объект

      Параметры настройки машин статических узлов кластера.

      • spec.staticInstances.count
        целочисленный

        Желаемое количество ресурсов StaticInstance (подпадающих под labelSelector), которые Deckhouse Platform автоматически настроит и добавит в кластер.

        В NodeGroup со Static- и CloudStatic-узлами этот параметр задаёт ожидаемое количество узлов. Deckhouse Platform использует это значение для контроля состояния и автоматизации.

        Внимание. Этот параметр необходимо задавать явно. Значение по умолчанию — 0, поэтому без изменения этого значения Deckhouse Platform не настроит ни один ресурс StaticInstance и не добавит в группу ни одного узла. Чтобы добавить статические узлы, укажите здесь нужное количество (больше 0).

        По умолчанию: 0

        Допустимые значения: 0 <= X

      • spec.staticInstances.labelSelector
        объект

        Селектор лейблов для выбора ресурсов StaticInstance, которые использует группа узлов.

        Если заданы и matchLabels, и matchExpressions, ресурс StaticInstance должен удовлетворять всем условиям сразу.

        Пустой селектор ({}) выбирает все ресурсы StaticInstance. Если селектор не задан, группа узлов не выбирает ни одного ресурса StaticInstance.

        Внимание. Селектор, в котором задано хотя бы одно условие, изменить или удалить нельзя. Чтобы сменить его, создайте новую группу узлов и перенесите в неё статические узлы.

        Добавить селектор в группу узлов, которая уже использует ресурсы StaticInstance, можно только тогда, когда лейблы всех этих ресурсов удовлетворяют новому селектору. Иначе вебхук отклоняет изменение и перечисляет в сообщении об ошибке ресурсы, которые селектору не соответствуют.

        После добавления селектора существующие статические узлы не пересоздаются и продолжают работать с прежней конфигурацией, но к каждому новому узлу платформа применяет селектор. Ресурс StaticInstance, который селектору не соответствует, повторно использовать не получится, поэтому узлов в группе станет меньше, чем задано параметром count.

        Чтобы добавить селектор:

        • Проставьте нужные лейблы всем ресурсам StaticInstance группы узлов командой d8 k label staticinstance <STATIC_INSTANCE> <KEY>=<VALUE>.
        • Задайте селектор в параметре spec.staticInstances ресурса NodeGroup.
        • spec.staticInstances.labelSelector.matchExpressions
          массив объектов

          Список фильтров на основе выражений.

          Итоговый результат — результат пересечения множеств, определяемых всеми фильтрами в списке (операция И).

          Требования к селектору лейблов — он должен содержать значения, ключ и оператор, связывающий ключ и значения.

          • spec.staticInstances.labelSelector.matchExpressions.key
            строка

            Имя лейбла.

          • spec.staticInstances.labelSelector.matchExpressions.operator
            строка

            Оператор сравнения.

          • spec.staticInstances.labelSelector.matchExpressions.values
            массив строк

            Значение лейбла.

            • Элемент массива
              строка

              Шаблон: [a-z0-9]([-a-z0-9]*[a-z0-9])?

              Длина: 1..63

        • spec.staticInstances.labelSelector.matchLabels
          объект

          Фильтр на основе совпадения/несовпадения лейблов.

    • spec.systemType
      строка

      Способ управления узлами группы.

      • GenericOS — узлы Generic OS, которые bashible настраивает «на лету». Незаполненное поле означает то же самое.
      • DeckhouseEngine — узлы Deckhouse Engine. Агент узла приводит узел в состояние, описанное в объекте NodeConfig, без bashible. Машина должна загружаться с образа Deckhouse Engine.

      DeckhouseEngine поддерживается для групп:

      • Static — машины должны добавляться командой d8 node add, параметр staticInstances использовать нельзя;
      • CloudStatic — машины создаются вручную или любыми внешними инструментами;
      • CloudEphemeral — машины должен создавать облачный провайдер через Cluster API (CAPI);
      • CloudPermanent — машины создаёт dhctl.

      Значение DeckhouseEngine можно указать, только пока в группе нет узлов, настроенных bashible. DeckhouseEngine нельзя удалить или изменить на GenericOS.

      Допустимые значения: GenericOS, DeckhouseEngine

    • spec.update
      объект
      • spec.update.maxConcurrent
        строка или число

        Максимальное количество одновременно обновляемых узлов.

        Можно указать число узлов или процент от общего количества узлов в данной группе.

        По умолчанию: 1

        Шаблон: ^[1-9][0-9]*%?$

  • status
    объект
    • status.conditionSummary
      объект
      • status.conditionSummary.ready
        строка

        Готовность группы узлов по сводному состоянию.

        Допустимые значения: True, False

      • status.conditionSummary.statusMessage
        строка

        Сообщение о состоянии обработки группы узлов.

    • status.conditions
      массив объектов
      • status.conditions.lastTransitionTime
        строка

        Время последнего перехода условия из одного состояния в другое.

      • status.conditions.message
        строка

        Человекочитаемое сообщение с подробностями последнего перехода.

      • status.conditions.status
        строка

        Обязательный параметр

        Статус условия: True или False.

      • status.conditions.type
        строка

        Обязательный параметр

        Тип условия группы узлов.

    • status.deckhouse
      объект
      • status.deckhouse.observed
        объект

        Содержит время последнего обнаруженного оператором изменения ресурса и его контрольную сумму.

        • status.deckhouse.observed.checkSum
          строка

          Контрольная сумма последней обнаруженной версии ресурса.

        • status.deckhouse.observed.lastTimestamp
          строка

          Время, когда оператор в последний раз обнаружил изменение ресурса.

      • status.deckhouse.processed
        объект

        Содержит время последнего применения ресурса в кластере оператором и его контрольную сумму.

        • status.deckhouse.processed.checkSum
          строка

          Контрольная сумма последней применённой версии ресурса.

        • status.deckhouse.processed.lastTimestamp
          строка

          Время, когда ресурс был в последний раз применён в кластере.

      • status.deckhouse.synced
        строка

        Указывает, была ли последняя обнаруженная версия ресурса успешно применена в кластере.

    • status.desired
      целочисленный

      Желаемое количество машин в группе.

    • status.engine
      строка

      Фактический механизм управления узлами в этой группе.

      Значение поля определяет, каким компонентом управляются узлы:

      • None — узлы группы не управляются через Machine Controller Manager или CAPI;
      • MCM — узлы группы управляются через Machine Controller Manager;
      • CAPI — узлы группы управляются через Cluster API.

      Допустимые значения: None, MCM, CAPI

    • status.error
      строка

      Сообщение об ошибке при обработке группы узлов.

    • status.instances
      целочисленный

      Количество инстансов в группе в любом состоянии.

    • status.kubernetesVersion
      строка

      Текущая версия Kubernetes на узлах или версия, до которой узлы будут обновлены.

    • status.lastMachineFailures
      массив объектов
      • status.lastMachineFailures.lastOperation
        объект
        • status.lastMachineFailures.lastOperation.description
          строка

          Описание последней операции.

        • status.lastMachineFailures.lastOperation.lastUpdateTime
          строка

          Время последнего обновления статуса операции.

        • status.lastMachineFailures.lastOperation.state
          строка

          Состояние операции с машиной.

        • status.lastMachineFailures.lastOperation.type
          строка

          Тип операции.

      • status.lastMachineFailures.name
        строка

        Имя машины.

      • status.lastMachineFailures.ownerRef
        строка

        Имя владельца машины.

      • status.lastMachineFailures.providerID
        строка

        ProviderID машины.

    • status.max
      целочисленный

      Максимальное количество инстансов в группе.

    • status.min
      целочисленный

      Минимальное количество инстансов в группе.

    • status.nodes
      целочисленный

      Количество Kubernetes-узлов в группе в любом состоянии.

    • status.ready
      целочисленный

      Количество готовых Kubernetes-узлов в группе.

    • status.standby
      целочисленный

      Количество резервных инстансов в группе.

    • status.upToDate
      целочисленный

      Количество узлов в актуальном состоянии.

Описывает runtime-параметры группы узлов.

  • metadata
    объект
    • metadata.name
      строка

      Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

      Максимальная длина: 42

  • spec
    объект

    Обязательный параметр

    • spec.chaos
      объект

      Настройки Chaos Monkey.

      Пример:

      chaos:
        mode: DrainAndDelete
        period: 24h
      
      • spec.chaos.mode
        строка

        Режим работы Chaos Monkey:

        • DrainAndDelete — при срабатывании делает узлу drain, затем удаляет его.
        • Disabled — не трогает данную NodeGroup.

        По умолчанию: Disabled

        Допустимые значения: Disabled, DrainAndDelete

      • spec.chaos.period
        строка

        Интервал времени срабатывания Chaos Monkey.

        Задается в виде строки с указанием часов и минут: 30m, 1h, 2h30m, 24h.

        По умолчанию: 6h

        Шаблон: ^[0-9]+[mh]{1}$

    • spec.cloudInstances
      объект

      Параметры заказа облачных виртуальных машин.

      Внимание. Допустимо использовать только совместно с nodeType: CloudEphemeral.

      • spec.cloudInstances.classReference
        объект

        Обязательный параметр

        Ссылка на объект InstanceClass. Уникален для каждого модуля cloud-provider-*.

        • spec.cloudInstances.classReference.kind
          строка

          Тип объекта InstanceClass (например, OpenStackInstanceClass). Поддерживаемые типы определяются установленными модулями облачных провайдеров и указаны в их документации.

        • spec.cloudInstances.classReference.name
          строка

          Имя нужного InstanceClass-объекта (например, finland-medium).

      • spec.cloudInstances.maxPerZone
        целочисленный

        Обязательный параметр

        Максимальное количество инстансов в зоне.

        Проставляется как верхняя граница в cluster-autoscaler.

        Допустимые значения: 0 <= X

      • spec.cloudInstances.maxSurgePerZone
        целочисленный

        Максимальное количество инстансов, которые платформа создаёт в каждой зоне сверх желаемого количества, пока заменяет инстансы группы.

        Замена происходит при изменении параметров, требующих пересоздания виртуальной машины, например в InstanceClass. Количество инстансов, которые cluster autoscaler заказывает при масштабировании группы, параметр не ограничивает. Подробнее о том, на что влияют параметры NodeGroup, в разделе «На что влияют параметры NodeGroup?».

        Значение 0 равнозначно незаданному параметру, в этом случае применяется значение по умолчанию.

        По умолчанию: 1

        Допустимые значения: 0 <= X

      • spec.cloudInstances.maxUnavailablePerZone
        целочисленный

        Недоступное количество инстансов при RollingUpdate’е.

        По умолчанию: 0

        Допустимые значения: 0 <= X

      • spec.cloudInstances.minPerZone
        целочисленный

        Обязательный параметр

        Минимальное количество инстансов в зоне.

        Проставляется в объект MachineDeployment и в качестве нижней границы в cluster autoscaler.

        При значении 0 для некоторых InstanceClass нужно задавать capacity. Более подробно можно узнать в описании нужных InstanceClass.

        Допустимые значения: 0 <= X

      • spec.cloudInstances.standby
        строка или число

        Количество резервных (подогретых) узлов в этой NodeGroup во всех зонах.

        Резервный узел — это узел кластера, на котором резервируются ресурсы, доступные в любой момент для масштабирования. Наличие такого узла позволяет cluster autoscaler’у не ждать инициализации узла (которая может занимать несколько минут), а сразу размещать на нем нагрузку.

        Значение может быть абсолютным (например, 2) или процентом желаемых узлов (например, 10%). Если указан процент, абсолютное значение рассчитывается исходя из процента от максимального количества узлов (параметр maxPerZone), округленного в меньшую сторону, но не менее одного.

        Шаблон: ^[0-9]+%?$

      • spec.cloudInstances.standbyHolder
        объект

        Объем резервируемых ресурсов.

        Используется для определения необходимости заказа резервных узлов.

        • spec.cloudInstances.standbyHolder.notHeldResources
          объект

          Резервируемые ресурсы.

          • spec.cloudInstances.standbyHolder.notHeldResources.cpu
            строка или число

            Количество CPU.

            Значение может быть абсолютным (например, 1) или в millicore-формате (например, 1500m).

            Шаблон: ^[0-9]+m?$

          • spec.cloudInstances.standbyHolder.notHeldResources.memory
            строка или число

            Количество памяти.

            Значение может быть абсолютным в байтах (например, 128974848) или в Kubernetes-формате с суффиксами: G, Gi, M, Mi (например, 750Mi).

            Шаблон: ^[0-9]+(\.[0-9]+)?(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$

      • spec.cloudInstances.zones
        массив строк

        Переопределение перечня зон, в которых создаются инстансы.

        Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.

        Пример:

        zones:
        - Helsinki
        - Espoo
        - Tampere
        
    • spec.cri
      объект

      Параметры container runtime.

      • spec.cri.containerd
        объект

        Параметры работы containerd.

        При настройке этих параметров cri.type должен быть Containerd.

        • spec.cri.containerd.maxConcurrentDownloads
          целочисленный

          Максимальное количество параллельных потоков загрузки для каждой операции pull.

          По умолчанию: 3

      • spec.cri.docker
        объект

        Параметры настройки Docker.

        Внимание. Docker считается устаревшим, не используйте его.

        • spec.cri.docker.manage
          булевый

          Автоматическое управление версией и параметрами Docker.

          По умолчанию: true

        • spec.cri.docker.maxConcurrentDownloads
          целочисленный

          Максимальное количество потоков одновременного скачивания Docker-образов.

          По умолчанию: 3

      • spec.cri.notManaged
        объект

        Настройки для CRI, установленных на узлах вручную.

        • spec.cri.notManaged.criSocketPath
          строка

          Путь к сокету CRI.

      • spec.cri.type
        строка

        Тип container runtime.

        Если не указан, используется значение параметра defaultCRI общих параметров кластера (ClusterConfiguration).

        Внимание. Поддержка Docker считается устаревшей.

        Допустимые значения: Docker, Containerd, NotManaged

    • spec.disruptions
      объект

      Параметры обновлений, приводящих к возможному простою.

      Пример:

      disruptions:
        approvalMode: Automatic
        automatic:
          drainBeforeApproval: false
          windows:
          - from: '06:00'
            to: '08:00'
            days:
            - Tue
            - Sun
      
      • spec.disruptions.approvalMode
        строка

        Режим выдачи разрешения на disruptive-обновление (обновление, требующее прерывание работы узла):

        • Manual — отключить автоматическую выдачу разрешений на disruptive-обновление. Если потребуется disruptive-обновление, загорится специальный алерт. Внимание. Для группы узлов master режим выдачи разрешения всегда должен быть Manual, чтобы избежать проблем при выполнении drain узла.
        • Automatic — автоматически выдавать разрешения на disruptive-обновление.
        • RollingUpdate — в этом режиме будет создан новый узел с обновленными настройками, а старый узел будет удален. Разрешено только для облачных узлов.

        Когда не используется режим RollingUpdate, при обновлении узел освобождается от нагрузки (drain), после чего обновляется (перезагружается) и вводится в работу. Обратите внимание, что в этом случае в кластере должно быть место для размещения нагрузки на время, пока обновляемый узел недоступен. В режиме RollingUpdate узел заменяется на обновленный, то есть на время обновления в кластере появляется дополнительный узел. В облачной инфраструктуре режим RollingUpdate удобен, например, если в кластере нет ресурсов для временного размещения нагрузки с обновляемого узла.

        По умолчанию: Automatic

        Допустимые значения: Manual, Automatic, RollingUpdate

      • spec.disruptions.automatic
        объект

        Дополнительные параметры для режима Automatic.

        • spec.disruptions.automatic.drainBeforeApproval
          булевый

          Выполнение drain подов с узла перед выдачей разрешения на disruption.

          Внимание. Данная настройка игнорируется (узлам будет выдано разрешение без предварительного выполнения drain подов с узлов):

          По умолчанию: true

        • spec.disruptions.automatic.windows
          массив объектов

          Список окон disruption-обновлений узлов.

          • spec.disruptions.automatic.windows.days
            массив строк

            Дни недели, в которые применяется окно обновлений.

            Примеры:

            days: Mon
            
            days: Wed
            
            • Элемент массива
              строка

              День недели.

              Допустимые значения: Mon, Tue, Wed, Thu, Fri, Sat, Sun

          • spec.disruptions.automatic.windows.from
            строка

            Обязательный параметр

            Время начала окна обновления (в часовом поясе UTC).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            from: '13:00'
            
          • spec.disruptions.automatic.windows.to
            строка

            Обязательный параметр

            Время окончания окна обновления (в часовом поясе UTC).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            to: '18:30'
            
      • spec.disruptions.rollingUpdate
        объект

        Additional parameters for the RollingUpdate mode.

        • spec.disruptions.rollingUpdate.windows
          массив объектов

          Time windows for node disruptive updates.

          • spec.disruptions.rollingUpdate.windows.days
            массив строк

            Days of the week when node could be updated.

            Примеры:

            days: Mon
            
            days: Wed
            
            • Элемент массива
              строка

              Day of the week.

              Допустимые значения: Mon, Tue, Wed, Thu, Fri, Sat, Sun

          • spec.disruptions.rollingUpdate.windows.from
            строка

            Обязательный параметр

            Start time of disruptive update window (UTC timezone).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            from: '13:00'
            
          • spec.disruptions.rollingUpdate.windows.to
            строка

            Обязательный параметр

            End time of disruptive update window (UTC timezone).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            to: '18:30'
            
    • spec.kubelet
      объект

      Параметры настройки kubelet.

      • spec.kubelet.containerLogMaxFiles
        целочисленный

        Максимальное количество файлов журналов с учетом ротации.

        Параметр не влияет на работу, если тип CRI — Docker.

        Внимание. Docker считается устаревшим, не используйте его.

        По умолчанию: 4

        Допустимые значения: 2 <= X <= 20

      • spec.kubelet.containerLogMaxSize
        строка

        Максимальный размер файла журнала до того, как он будет ротирован.

        Внимание! Параметр не влияет на работу, если тип CRI — Docker.

        Внимание. Docker считается устаревшим, не используйте его.

        По умолчанию: 50Mi

        Шаблон: \d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]

      • spec.kubelet.maxPods
        целочисленный

        Максимальное количество подов на узлах данной NodeGroup. Если явно не задан, по умолчанию задается в зависимости от значения параметра podSubnetNodeCIDRPrefix модуля control-plane-manager:

        • 120 подов для podSubnetNodeCIDRPrefix ≥ 24;
        • 250 подов для podSubnetNodeCIDRPrefix = 23;
        • 500 подов для podSubnetNodeCIDRPrefix = 22;
        • 1000 подов для podSubnetNodeCIDRPrefix ≤ 21.
      • spec.kubelet.rootDir
        строка

        Путь к каталогу для файлов kubelet (volume mounts и т. д.).

        По умолчанию: /var/lib/kubelet

      • spec.kubelet.seccompDefault
        булевый

        Использовать seccomp-профиль RuntimeDefault для workload’ов, где seccomp-профиль не задан явно.

    • spec.nodeTemplate
      объект

      Настройки Node-объектов в Kubernetes, которые будут добавлены после регистрации узла.

      Пример:

      nodeTemplate:
        labels:
          environment: production
          app: warp-drive-ai
        annotations:
          ai.fleet.com/discombobulate: 'true'
        taints:
        - effect: NoExecute
          key: ship-class
          value: frigate
      
      • spec.nodeTemplate.annotations
        объект

        Аналогично стандартному полю metadata.annotations.

        Пример:

        annotations:
          ai.fleet.com/discombobulate: 'true'
        
      • spec.nodeTemplate.labels
        объект

        Аналогично стандартному полю metadata.labels.

        Пример:

        labels:
          environment: production
          app: warp-drive-ai
        
      • spec.nodeTemplate.taints
        массив объектов

        Аналогично полю .spec.taints из объекта Node.

        Доступны только поля effect, key, value.

        Пример:

        taints:
        - effect: NoExecute
          key: ship-class
          value: frigate
        
        • spec.nodeTemplate.taints.effect
          строка

          Допустимые значения: NoSchedule, PreferNoSchedule, NoExecute

        • spec.nodeTemplate.taints.key
          строка
        • spec.nodeTemplate.taints.value
          строка
    • spec.nodeType
      строка

      Обязательный параметр

      Тип узлов, которые представляет эта группа:

      • Cloud — узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере;
      • Static — статический узел, размещенный на железном сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров;
      • Hybrid — статический узел (созданный вручную или любыми внешними инструментами), размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров. На таком узле работает CSI и такой узел управляется cloud-controller-manager’ом: объект Node автоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака соответствующий ему объект Node будет удален в Kubernetes.

      Допустимые значения: Cloud, Static, Hybrid

    • spec.operatingSystem
      объект

      Параметры операционной системы.

      • spec.operatingSystem.manageKernel
        булевый

        Этот параметр не используется. Раньше он включал автоматическое управление ядром операционной системы.

        По умолчанию: true

    • spec.providerType
      строка

      Тип облачного провайдера группы узлов. None или пустое значение — для статической группы узлов.

    • spec.systemType
      строка

      Способ управления узлами группы.

      • GenericOS — узлы Generic OS, которые bashible настраивает «на лету». Незаполненное поле означает то же самое.
      • DeckhouseEngine — узлы Deckhouse Engine. Агент узла приводит узел в состояние, описанное в объекте NodeConfig, без bashible. Машина должна загружаться с образа Deckhouse Engine.

      DeckhouseEngine поддерживается для групп:

      • Static — машины должны добавляться командой d8 node add;
      • Cloud — машины должен создавать облачный провайдер через Cluster API (CAPI);
      • Hybrid — машины должен создавать dhctl (CloudPermanent в deckhouse.io/v1).

      Остальные группы Hybrid (CloudStatic в deckhouse.io/v1) значение DeckhouseEngine не поддерживают.

      Значение DeckhouseEngine можно указать, только пока в группе нет узлов, настроенных bashible. DeckhouseEngine нельзя удалить или изменить на GenericOS.

      Допустимые значения: GenericOS, DeckhouseEngine

  • status
    объект
    • status.conditionSummary
      объект
      • status.conditionSummary.ready
        строка

        Готовность группы узлов по сводному состоянию.

        Допустимые значения: True, False

      • status.conditionSummary.statusMessage
        строка

        Сообщение о состоянии обработки группы узлов.

    • status.desired
      целочисленный

      Желаемое количество машин в группе.

    • status.engine
      строка

      Фактический механизм управления узлами в этой группе.

      Значение поля определяет, каким компонентом управляются узлы:

      • None — узлы группы не управляются через MCM или CAPI;
      • MCM — узлы группы управляются через machine-controller-manager;
      • CAPI — узлы группы управляются через Cluster API.

      Допустимые значения: None, MCM, CAPI

    • status.error
      строка

      Сообщение об ошибке при обработке группы узлов.

    • status.instances
      целочисленный

      Количество инстансов в группе в любом состоянии.

    • status.kubernetesVersion
      строка

      Текущая версия Kubernetes на узлах или версия, до которой узлы будут обновлены.

    • status.lastMachineFailures
      массив объектов
      • status.lastMachineFailures.lastOperation
        объект
        • status.lastMachineFailures.lastOperation.description
          строка

          Описание последней операции.

        • status.lastMachineFailures.lastOperation.lastUpdateTime
          строка

          Время последнего обновления статуса операции.

        • status.lastMachineFailures.lastOperation.state
          строка

          Состояние операции с машиной.

        • status.lastMachineFailures.lastOperation.type
          строка

          Тип операции.

      • status.lastMachineFailures.name
        строка

        Имя машины.

      • status.lastMachineFailures.ownerRef
        строка

        Имя владельца машины.

      • status.lastMachineFailures.providerID
        строка

        ProviderID машины.

    • status.max
      целочисленный

      Максимальное количество инстансов в группе.

    • status.min
      целочисленный

      Минимальное количество инстансов в группе.

    • status.nodes
      целочисленный

      Количество Kubernetes-узлов в группе в любом состоянии.

    • status.ready
      целочисленный

      Количество готовых Kubernetes-узлов в группе.

    • status.standby
      целочисленный

      Количество резервных инстансов в группе.

    • status.upToDate
      целочисленный

      Количество узлов в актуальном состоянии.

Описывает runtime-параметры группы узлов.

  • metadata
    объект
    • metadata.name
      строка

      Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

      Максимальная длина: 42

  • spec
    объект

    Обязательный параметр

    • spec.chaos
      объект

      Настройки Chaos Monkey.

      Пример:

      chaos:
        mode: DrainAndDelete
        period: 24h
      
      • spec.chaos.mode
        строка

        Режим работы Chaos Monkey:

        • DrainAndDelete — при срабатывании делает узлу drain, затем удаляет его.
        • Disabled — не трогает данную NodeGroup.

        По умолчанию: Disabled

        Допустимые значения: Disabled, DrainAndDelete

      • spec.chaos.period
        строка

        Интервал времени срабатывания Chaos Monkey.

        Задается в виде строки с указанием часов и минут: 30m, 1h, 2h30m, 24h.

        По умолчанию: 6h

        Шаблон: ^[0-9]+[mh]{1}$

    • spec.cloudInstances
      объект

      Параметры заказа облачных виртуальных машин.

      Внимание. Допустимо использовать только совместно с nodeType: CloudEphemeral.

      • spec.cloudInstances.classReference
        объект

        Обязательный параметр

        Ссылка на объект InstanceClass. Уникален для каждого модуля cloud-provider-*.

        • spec.cloudInstances.classReference.kind
          строка

          Тип объекта InstanceClass (например, OpenStackInstanceClass). Поддерживаемые типы определяются установленными модулями облачных провайдеров и указаны в их документации.

        • spec.cloudInstances.classReference.name
          строка

          Имя нужного InstanceClass-объекта (например, finland-medium).

      • spec.cloudInstances.maxPerZone
        целочисленный

        Обязательный параметр

        Максимальное количество инстансов в зоне.

        Проставляется как верхняя граница в cluster-autoscaler.

        Допустимые значения: 0 <= X

      • spec.cloudInstances.maxSurgePerZone
        целочисленный

        Максимальное количество инстансов, которые платформа создаёт в каждой зоне сверх желаемого количества, пока заменяет инстансы группы.

        Замена происходит при изменении параметров, требующих пересоздания виртуальной машины, например в InstanceClass. Количество инстансов, которые cluster autoscaler заказывает при масштабировании группы, параметр не ограничивает. Подробнее о том, на что влияют параметры NodeGroup, в разделе «На что влияют параметры NodeGroup?».

        Значение 0 равнозначно незаданному параметру, в этом случае применяется значение по умолчанию.

        По умолчанию: 1

        Допустимые значения: 0 <= X

      • spec.cloudInstances.maxUnavailablePerZone
        целочисленный

        Максимальное количество недоступных инстансов в группе в каждой зоне во время последовательного обновления.

        По умолчанию: 0

        Допустимые значения: 0 <= X

      • spec.cloudInstances.minPerZone
        целочисленный

        Обязательный параметр

        Минимальное количество инстансов в зоне.

        Проставляется в объект MachineDeployment и в качестве нижней границы в cluster autoscaler.

        При значении 0 для некоторых InstanceClass нужно задавать capacity. Более подробно можно узнать в описании нужных InstanceClass.

        Допустимые значения: 0 <= X

      • spec.cloudInstances.standby
        строка или число

        Количество резервных (подогретых) узлов в этой NodeGroup во всех зонах.

        Резервный узел — это узел кластера, на котором резервируются ресурсы, доступные в любой момент для масштабирования. Наличие такого узла позволяет cluster autoscaler’у не ждать инициализации узла (которая может занимать несколько минут), а сразу размещать на нем нагрузку.

        Значение может быть абсолютным (например, 2) или процентом желаемых узлов (например, 10%). Если указан процент, абсолютное значение рассчитывается исходя из процента от максимального количества узлов (параметр maxPerZone), округленного в меньшую сторону, но не менее одного.

        Шаблон: ^[0-9]+%?$

      • spec.cloudInstances.standbyHolder
        объект

        Объем резервируемых ресурсов.

        Используется для определения необходимости заказа резервных узлов.

        • spec.cloudInstances.standbyHolder.notHeldResources
          объект

          Резервируемые ресурсы.

          • spec.cloudInstances.standbyHolder.notHeldResources.cpu
            строка или число

            Количество CPU.

            Значение может быть абсолютным (например, 1) или в millicore-формате (например, 1500m).

            Шаблон: ^[0-9]+m?$

          • spec.cloudInstances.standbyHolder.notHeldResources.memory
            строка или число

            Количество памяти.

            Значение может быть абсолютным в байтах (например, 128974848) или в Kubernetes-формате с суффиксами: G, Gi, M, Mi (например, 750Mi).

            Шаблон: ^[0-9]+(\.[0-9]+)?(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$

      • spec.cloudInstances.zones
        массив строк

        Переопределение перечня зон, в которых создаются инстансы.

        Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.

        Пример:

        zones:
        - Helsinki
        - Espoo
        - Tampere
        
    • spec.cri
      объект

      Параметры container runtime.

      • spec.cri.containerd
        объект

        Параметры работы containerd.

        При настройке этих параметров cri.type должен быть Containerd.

        • spec.cri.containerd.maxConcurrentDownloads
          целочисленный

          Максимальное количество параллельных потоков загрузки для каждой операции pull.

          По умолчанию: 3

      • spec.cri.type
        строка

        Container runtime type.

        If not specified, the defaultCRI parameter value of ClusterConfiguration is used.

        Note. Docker support is deprecated.

        Допустимые значения: Docker, Containerd, NotManaged

    • spec.disruptions
      объект

      Параметры обновлений, приводящих к возможному простою.

      Пример:

      disruptions:
        approvalMode: Automatic
        automatic:
          drainBeforeApproval: false
          windows:
          - from: '06:00'
            to: '08:00'
            days:
            - Tue
            - Sun
      
      • spec.disruptions.approvalMode
        строка

        Режим выдачи разрешения на disruptive-обновление (обновление, требующее прерывания работы узла):

        • Manual — отключить автоматическую выдачу разрешений на disruptive-обновление. Если потребуется disruptive-обновление, загорится специальный алерт. Внимание. Для группы узлов master режим выдачи разрешения всегда должен быть Manual, чтобы избежать проблем при выполнении drain узла.
        • Automatic — автоматически выдавать разрешения на disruptive-обновление.
        • RollingUpdate — в этом режиме будет создан новый узел с обновленными настройками, а старый узел будет удален. Разрешено только для облачных узлов.

        Когда не используется режим RollingUpdate, при обновлении узел освобождается от нагрузки (drain), после чего обновляется (перезагружается) и вводится в работу. Обратите внимание, что в этом случае в кластере должно быть место для размещения нагрузки на время, пока обновляемый узел недоступен. В режиме RollingUpdate узел заменяется на обновленный, то есть на время обновления в кластере появляется дополнительный узел. В облачной инфраструктуре режим RollingUpdate удобен, например, если в кластере нет ресурсов для временного размещения нагрузки с обновляемого узла.

        По умолчанию: Automatic

        Допустимые значения: Manual, Automatic, RollingUpdate

      • spec.disruptions.automatic
        объект

        Дополнительные параметры для режима Automatic.

        • spec.disruptions.automatic.drainBeforeApproval
          булевый

          Выполнение drain подов с узла перед выдачей разрешения на disruption.

          Внимание. Данная настройка игнорируется (узлам будет выдано разрешение без предварительного выполнения drain подов с узлов):

          По умолчанию: true

        • spec.disruptions.automatic.windows
          массив объектов

          Список окон disruption-обновлений узлов.

          • spec.disruptions.automatic.windows.days
            массив строк

            Дни недели, в которые применяется окно обновлений.

            Примеры:

            days: Mon
            
            days: Wed
            
            • Элемент массива
              строка

              День недели.

              Допустимые значения: Mon, Tue, Wed, Thu, Fri, Sat, Sun

          • spec.disruptions.automatic.windows.from
            строка

            Обязательный параметр

            Время начала окна обновления (в часовом поясе UTC).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            from: '13:00'
            
          • spec.disruptions.automatic.windows.to
            строка

            Обязательный параметр

            Время окончания окна обновления (в часовом поясе UTC).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            to: '18:30'
            
      • spec.disruptions.rollingUpdate
        объект

        Additional parameters for the RollingUpdate mode.

        • spec.disruptions.rollingUpdate.windows
          массив объектов

          Time windows for node disruptive updates.

          • spec.disruptions.rollingUpdate.windows.days
            массив строк

            Days of the week when node could be updated.

            Примеры:

            days: Mon
            
            days: Wed
            
            • Элемент массива
              строка

              Day of the week.

              Допустимые значения: Mon, Tue, Wed, Thu, Fri, Sat, Sun

          • spec.disruptions.rollingUpdate.windows.from
            строка

            Обязательный параметр

            Start time of disruptive update window (UTC timezone).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            from: '13:00'
            
          • spec.disruptions.rollingUpdate.windows.to
            строка

            Обязательный параметр

            End time of disruptive update window (UTC timezone).

            Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

            Пример:

            to: '18:30'
            
    • spec.docker
      объект

      Параметры настройки Docker.

      При настройке этих параметров cri.type должен быть Docker.

      Внимание. Docker считается устаревшим, не используйте его.

      • spec.docker.manage
        булевый

        Автоматическое управление версией и параметрами Docker.

        По умолчанию: true

      • spec.docker.maxConcurrentDownloads
        целочисленный

        Максимальное количество потоков одновременного скачивания Docker-образов.

        По умолчанию: 3

    • spec.kubelet
      объект

      Параметры настройки kubelet.

      • spec.kubelet.containerLogMaxFiles
        целочисленный

        Максимальное количество файлов журналов с учетом ротации.

        Параметр не влияет на работу, если тип CRI — Docker.

        Внимание. Docker считается устаревшим, не используйте его.

        По умолчанию: 4

        Допустимые значения: 2 <= X <= 20

      • spec.kubelet.containerLogMaxSize
        строка

        Максимальный размер файла журнала до того, как он будет ротирован.

        Параметр не влияет на работу, если тип CRI — Docker.

        Внимание. Docker считается устаревшим, не используйте его.

        По умолчанию: 50Mi

        Шаблон: \d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]

      • spec.kubelet.maxPods
        целочисленный

        Максимальное количество подов на узлах данной NodeGroup. Если явно не задан, по умолчанию задается в зависимости от значения параметра podSubnetNodeCIDRPrefix модуля control-plane-manager:

        • 120 подов для podSubnetNodeCIDRPrefix ≥ 24;
        • 250 подов для podSubnetNodeCIDRPrefix = 23;
        • 500 подов для podSubnetNodeCIDRPrefix = 22;
        • 1000 подов для podSubnetNodeCIDRPrefix ≤ 21.
      • spec.kubelet.rootDir
        строка

        Путь к каталогу для файлов kubelet (volume mounts и т. д.).

        По умолчанию: /var/lib/kubelet

      • spec.kubelet.seccompDefault
        булевый

        Использовать seccomp-профиль RuntimeDefault для workload’ов, где seccomp-профиль не задан явно.

    • spec.kubernetesVersion
      строка

      Желаемая минорная версия Kubernetes.

      По умолчанию соответствует глобально выбранной для кластера версии (см. документацию по установке) или, если таковая не определена, текущей версии control plane.

      Допустимые значения: 1.33, 1.34, 1.35, 1.36, 1.37

      Пример:

      kubernetesVersion: '1.33'
      
    • spec.nodeTemplate
      объект

      Настройки Node-объектов в Kubernetes, которые будут добавлены после регистрации узла.

      Пример:

      nodeTemplate:
        labels:
          environment: production
          app: warp-drive-ai
        annotations:
          ai.fleet.com/discombobulate: 'true'
        taints:
        - effect: NoExecute
          key: ship-class
          value: frigate
      
      • spec.nodeTemplate.annotations
        объект

        Аналогично стандартному полю metadata.annotations.

        Пример:

        annotations:
          ai.fleet.com/discombobulate: 'true'
        
      • spec.nodeTemplate.labels
        объект

        Аналогично стандартному полю metadata.labels.

        Пример:

        labels:
          environment: production
          app: warp-drive-ai
        
      • spec.nodeTemplate.taints
        массив объектов

        Аналогично полю .spec.taints из объекта Node.

        Доступны только поля effect, key, value.

        Пример:

        taints:
        - effect: NoExecute
          key: ship-class
          value: frigate
        
        • spec.nodeTemplate.taints.effect
          строка

          Допустимые значения: NoSchedule, PreferNoSchedule, NoExecute

        • spec.nodeTemplate.taints.key
          строка
        • spec.nodeTemplate.taints.value
          строка
    • spec.nodeType
      строка

      Обязательный параметр

      Тип узлов, которые представляет эта группа:

      • Cloud — узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере;
      • Static — статический узел, размещенный на железном сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров;
      • Hybrid — статический узел (созданный вручную или любыми внешними инструментами), размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров. На таком узле работает CSI и такой узел управляется cloud-controller-manager’ом: объект Node автоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака соответствующий ему объект Node будет удален в Kubernetes.

      Допустимые значения: Cloud, Static, Hybrid

    • spec.operatingSystem
      Параметр устарел
      объект

      Параметры операционной системы.

      • spec.operatingSystem.manageKernel
        Параметр устарел
        булевый

        Этот параметр не используется. Раньше он включал автоматическое управление ядром операционной системы.

        По умолчанию: true

    • spec.providerType
      строка

      Тип облачного провайдера группы узлов. None или пустое значение — для статической группы узлов.

    • spec.static
      объект

      Параметры статического узла.

      • spec.static.internalNetworkCIDRs
        массив строк

        CIDR подсети.

    • spec.systemType
      строка

      Способ управления узлами группы.

      • GenericOS — узлы Generic OS, которые bashible настраивает «на лету». Незаполненное поле означает то же самое.
      • DeckhouseEngine — узлы Deckhouse Engine. Агент узла приводит узел в состояние, описанное в объекте NodeConfig, без bashible. Машина должна загружаться с образа Deckhouse Engine.

      DeckhouseEngine поддерживается для групп:

      • Static — машины должны добавляться командой d8 node add;
      • Cloud — машины должен создавать облачный провайдер через Cluster API (CAPI);
      • Hybrid — машины должен создавать dhctl (CloudPermanent в deckhouse.io/v1).

      Остальные группы Hybrid (CloudStatic в deckhouse.io/v1) значение DeckhouseEngine не поддерживают.

      Значение DeckhouseEngine можно указать, только пока в группе нет узлов, настроенных bashible. DeckhouseEngine нельзя удалить или изменить на GenericOS.

      Допустимые значения: GenericOS, DeckhouseEngine

  • status
    объект
    • status.conditionSummary
      объект
      • status.conditionSummary.ready
        строка

        Готовность группы узлов по сводному состоянию.

        Допустимые значения: True, False

      • status.conditionSummary.statusMessage
        строка

        Сообщение о состоянии обработки группы узлов.

    • status.desired
      целочисленный

      Желаемое количество машин в группе.

    • status.engine
      строка

      Фактический механизм управления узлами в этой группе.

      Значение поля определяет, каким компонентом управляются узлы:

      • None — узлы группы не управляются через Machine Controller Manager или CAPI;
      • MCM — узлы группы управляются через Machine Controller Manager;
      • CAPI — узлы группы управляются через Cluster API.

      Допустимые значения: None, MCM, CAPI

    • status.error
      строка

      Сообщение об ошибке при обработке группы узлов.

    • status.instances
      целочисленный

      Количество инстансов в группе в любом состоянии.

    • status.kubernetesVersion
      строка

      Текущая версия Kubernetes на узлах или версия, до которой узлы будут обновлены.

    • status.lastMachineFailures
      массив объектов
      • status.lastMachineFailures.lastOperation
        объект
        • status.lastMachineFailures.lastOperation.description
          строка

          Описание последней операции.

        • status.lastMachineFailures.lastOperation.lastUpdateTime
          строка

          Время последнего обновления статуса операции.

        • status.lastMachineFailures.lastOperation.state
          строка

          Состояние операции с машиной.

        • status.lastMachineFailures.lastOperation.type
          строка

          Тип операции.

      • status.lastMachineFailures.name
        строка

        Имя машины.

      • status.lastMachineFailures.ownerRef
        строка

        Имя владельца машины.

      • status.lastMachineFailures.providerID
        строка

        ProviderID машины.

    • status.max
      целочисленный

      Максимальное количество инстансов в группе.

    • status.min
      целочисленный

      Минимальное количество инстансов в группе.

    • status.nodes
      целочисленный

      Количество Kubernetes-узлов в группе в любом состоянии.

    • status.ready
      целочисленный

      Количество готовых Kubernetes-узлов в группе.

    • status.standby
      целочисленный

      Количество резервных инстансов в группе.

    • status.upToDate
      целочисленный

      Количество узлов в актуальном состоянии.

NodeConfig

Short names: nc

Scope: Cluster
Version: v1alpha1

Желаемое состояние одного узла и отчёт агента узла о нём.

Агент узла (nodelet) применяет spec.

  • apiVersion
    строка

    Версионированная схема этого представления объекта. Серверы должны преобразовывать распознанные схемы в последнее внутреннее значение и могут отклонять нераспознанные значения.

    Подробнее — в соглашениях об API Kubernetes.

  • kind
    строка

    Строка, которая обозначает REST-ресурс, представленный этим объектом. Серверы могут определить её по адресу, на который клиент отправляет запросы.

    Изменить значение нельзя. Записывается в CamelCase.

    Подробнее — в соглашениях об API Kubernetes.

  • metadata
    объект
  • spec
    объект

    Обязательный параметр

    Желаемое состояние узла.

    • spec.apiServerEndpoints
      массив строк

      Адреса API-серверов Kubernetes со схемой и портом, например https://10.0.0.1:6443.

      • Элемент массива
        строка

        Шаблон: ^https://(\[[0-9A-Fa-f:]+\]|[A-Za-z0-9]([-A-Za-z0-9]*[A-Za-z0-9])?([.][A-Za-z0-9]([-A-Za-z0-9]*[A-Za-z0-9])?)*):(6553[0-5]|655[0-2][0-9]|65[0-4][0-9]{2}|6[0-4][0-9]{3}|[1-5][0-9]{4}|[1-9][0-9]{0,3})/?$

        Максимальная длина: 253

    • spec.containerRuntime
      объект

      Параметры containerd.

      • spec.containerRuntime.maxConcurrentDownloads
        целочисленный

        Максимальное количество одновременно скачиваемых слоёв образов.

        Значение 0 снимает ограничение. По умолчанию 8.

        Допустимые значения: 0 <= X

      • spec.containerRuntime.registryConfigOwner
        строка

        Компонент, который записывает директорию registry.d containerd.

        • Nodelet — агент узла записывает в директорию конфигурацию из spec.registry и удаляет всё остальное, кроме каталогов маршрутов из spec.registry.upstreams.
        • RegistryAgent — директорией владеет статический под registry-агента. Агент узла ничего в неё не записывает и только удаляет каталоги, которые записал раньше.

        По умолчанию Nodelet. Значение задаёт node-manager.

        Допустимые значения: Nodelet, RegistryAgent

      • spec.containerRuntime.sandboxImage
        строка

        Образ pause, используемый для песочниц подов.

        Если параметр не задан, используется образ pause, импортированный системным расширением containerd.

        Шаблон: ^[^[:space:]]+$

        Максимальная длина: 1024

    • spec.extensions
      массив объектов

      Расширения, которые устанавливает узел. Каждое закреплено дайджестом.

      На узле Deckhouse Engine запись — подписанный образ системного расширения с dm-verity. На узле Generic OS запись — registry-пакет: агент узла запускает скрипт install из пакета с правами root.

      Запись с именем nodelet обновляет сам агент узла.

      Подписанный образ systemd-sysext с verity, собранный из канала обновлений.

      Загружается из registry-packages-proxy по дайджесту.

      Необязательное поле repository (хост registry, например cr.flant.com) выбирает конфигурацию клиента прокси для конкретного хранилища образов контейнеров. Если поле пустое, берётся конфигурация прокси по умолчанию. Необязательное поле path (например, deckhouse/sysext/containerd) передаётся прокси в параметре запроса path и указывает, где искать артефакт внутри репозитория.

      • spec.extensions.digest
        строка

        Обязательный параметр

        Дайджест образа sysext в формате sha256:.

        Шаблон: ^sha256:[a-f0-9]{64}$

      • spec.extensions.name
        строка

        Обязательный параметр

        Имя расширения (оно же — базовое имя образа sysext).

        Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

        Длина: 1..63

      • spec.extensions.path
        строка

        Путь к артефакту внутри хранилища образов контейнеров.

        Максимальная длина: 512

      • spec.extensions.repository
        строка

        Выбирает конфигурацию клиента прокси для конкретного registry.

        Шаблон: ^[^[:space:]]+$

        Максимальная длина: 1024

      • spec.extensions.requestedBy
        объект

        Объект, который запросил расширение.

        У расширений самой платформы поле не задано.

        • spec.extensions.requestedBy.kind
          строка

          Обязательный параметр

          Вид объекта.

          Допустимые значения: NodeExtensionRequest, NodeStaticPodRequest, RegistryUpstream, ModuleSource

        • spec.extensions.requestedBy.name
          строка

          Обязательный параметр

          Имя объекта.

          Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$

          Длина: 1..253

    • spec.featureGates
      объект

      Функции агента узла, которые нужно включить или выключить. Ключ — имя функции.

      Функция, которой нет в списке, на узле Deckhouse Engine включена, если тип узла её поддерживает. На узле Generic OS такая функция выключена: узел выполняет только функции, включённые в этом списке.

      Узел отклоняет конфигурацию, если в ней указана неизвестная функция или включена функция, которую тип узла не поддерживает.

      Значение задаёт node-controller.

    • spec.internalNetworkCIDRs
      массив строк

      Внутренние сети кластера — подсети, в которых узлы адресуют друг друга и control-plane.

      Узел выбирает интерфейс, адрес которого попадает в одну из этих сетей, и регистрируется с этим адресом. Узлу с единственным интерфейсом поле не нужно. Значение кластерное: контроллер публикует его на каждом проходе, беря из StaticClusterConfiguration статического кластера и из конфигурации облачного провайдера. Допускаются только адреса IPv4.

      • Элемент массива
        строка

        Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$

        Максимальная длина: 43

    • spec.kernel
      объект

      Параметры sysctl и модули ядра, которые нужно загрузить.

      • spec.kernel.modules
        массив объектов

        Модули ядра, которые нужно загрузить, в указанном порядке.

        Зависимости автоматически не загружаются, поэтому указывайте каждый модуль после модулей, от которых он зависит. Не указывайте драйвер, встроенный в ядро: условие KernelModulesLoaded получит статус False.

        Модуль, добавленный в список, загружается только после одобрения прерывания.

        Модуль ядра, загружаемый с необязательными параметрами.

        • spec.kernel.modules.name
          строка

          Обязательный параметр

          Имя модуля в том виде, в каком его показывает lsmod. Символы - и _ в имени равнозначны.

          Длина: 1..64

        • spec.kernel.modules.params
          массив строк

          Параметры модуля, передаются insmod в указанном порядке, например debug=1.

          Изменённый список применяется при следующей загрузке модуля: уже загруженный модуль не перезагружается.

          • Элемент массива
            строка

            Максимальная длина: 256

      • spec.kernel.sysctl
        объект

        Параметры ядра, которые узел задаёт во время работы. Ключ — имя параметра через точку, например net.ipv4.ip_forward.

        Ключ, которого в ядре нет, пропускается. Для ключей, которые нужны агенту узла, остаются значения агента, а vm.overcommit_memory может быть только 1. Размер таблицы отслеживания соединений, который узел рассчитывает по числу ядер, уступает значению, заданному здесь.

    • spec.kubelet
      объект

      Параметры kubelet.

      • spec.kubelet.bootstrapToken
        строка

        Bootstrap-токен, с помощью которого kubelet получает свой клиентский сертификат при первой загрузке.

        Максимальная длина: 4096

      • spec.kubelet.clusterCABundle
        строка

        Набор сертификатов центра сертификации кластера в формате PEM.

        Максимальная длина: 65536

      • spec.kubelet.clusterDNS
        массив строк

        Список IP-адресов DNS-серверов кластера.

        • Элемент массива
          строка

          Максимальная длина: 45

      • spec.kubelet.clusterDomain
        строка

        DNS-домен кластера (например, cluster.local).

        Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$

        Максимальная длина: 253

      • spec.kubelet.containerLogMaxFiles
        целочисленный

        Количество файлов журнала с учётом ротации, которые сохраняются для каждого контейнера.

        По умолчанию 4.

        Допустимые значения: 2 <= X <= 1000

      • spec.kubelet.containerLogMaxSize
        строка

        Размер файла журнала контейнера, при достижении которого выполняется ротация.

        По умолчанию 50Mi.

        Максимальная длина: 64

      • spec.kubelet.externalCloudProvider
        булевый

        Включает --cloud-provider=external, чтобы узлом (зона, регион, providerID) управлял cloud-controller-manager.

      • spec.kubelet.kubernetesVersion
        строка

        Минорная версия Kubernetes в кластере, например 1.34.

        От неё зависит, с какими feature gates запускается kubelet: bashible включает feature gates для DRA в зависимости от версии, и узел, которому версию не сообщили, сделать то же самое не сможет. Если версию не передать, DRA-нагрузка будет работать во всём кластере, кроме узлов Deckhouse Engine.

        Шаблон: ^[0-9]+\.[0-9]+$

        Максимальная длина: 16

      • spec.kubelet.maxPods
        целочисленный

        Максимальное количество подов на узле.

        По умолчанию 120.

        Допустимые значения: 1 <= X <= 1000

      • spec.kubelet.nodeLabels
        объект

        Лейблы, добавляемые к объекту Node при регистрации kubelet.

      • spec.kubelet.registerWithTaints
        массив объектов

        Список taint’ов, добавляемых к объекту Node при регистрации kubelet. Применяется только при первичной регистрации.

        Taint Kubernetes, добавляемый узлу при регистрации.

        • spec.kubelet.registerWithTaints.effect
          строка

          Эффект taint’а. Taint без эффекта пропускается: kubelet регистрирует taint только с одним из этих эффектов.

          Допустимые значения: NoSchedule, PreferNoSchedule, NoExecute

        • spec.kubelet.registerWithTaints.key
          строка

          Обязательный параметр

          Ключ taint’а. Taint, который kubelet не может зарегистрировать, например с ключом, не являющимся квалифицированным именем, пропускается, остальные регистрируются.

        • spec.kubelet.registerWithTaints.value
          строка

          Значение taint’а.

      • spec.kubelet.resourceReservation
        объект

        Определяет, сколько процессорного времени, памяти и дискового пространства резервируется под нужды самой системы и не отдаётся подам (systemReserved).

        • spec.kubelet.resourceReservation.mode
          строка

          Режим резервирования.

          • Auto — резерв рассчитывается по ёмкости узла.
          • Off — ничего не резервируется.

          По умолчанию Auto.

          Допустимые значения: Auto, Off

      • spec.kubelet.serverTLSBootstrap
        булевый

        Заставляет kubelet запрашивать серверный сертификат у кластера вместо того, чтобы подписывать его самому.

        По умолчанию true. На первом разворачиваемом master-узле в кластере значение false: пока DP не установлена, подписывать серверные CSR некому, а kubelet, который ждёт такой сертификат, так и не сообщит, что узел готов.

    • spec.network
      объект

      Имя хоста, DNS, NTP, сетевые интерфейсы и маршруты.

      • spec.network.dns
        объект

        Параметры DNS-резолвера.

        • массив строк

          Домены поиска для неполных имён хостов, перебираются в указанном порядке.

          • Элемент массива
            строка

            Максимальная длина: 253

        • spec.network.dns.servers
          массив строк

          IP-адреса DNS-серверов.

          • Элемент массива
            строка

            Максимальная длина: 45

      • spec.network.hostname
        строка

        Имя хоста узла.

        Максимальная длина: 253

      • spec.network.interfaces
        массив объектов

        Сетевые интерфейсы. Ключ элемента списка — имя интерфейса.

        Описание одного сетевого интерфейса.

        • spec.network.interfaces.addresses
          массив строк

          Статические адреса в формате CIDR. Используются, если dhcp равно false.

          • Элемент массива
            строка

            Максимальная длина: 43

        • spec.network.interfaces.cluster
          булевый

          Помечает интерфейс как кластерный — тот, по которому идёт трафик кластера.

          Нужно машине, адресацию которой не получается различить по spec.internalNetworkCIDRs: например, когда несколько интерфейсов попадают в одну и ту же внутреннюю сеть. Пометить так можно не более одного интерфейса.

        • spec.network.interfaces.dhcp
          булевый

          Обязательный параметр

          Включает DHCPv4 на интерфейсе.

        • spec.network.interfaces.gateway
          строка

          IP-адрес шлюза по умолчанию.

          Максимальная длина: 45

        • spec.network.interfaces.name
          строка

          Обязательный параметр

          Имя интерфейса, например eth0.

          Длина: 1..253

      • spec.network.ntp
        объект

        Параметры синхронизации времени по NTP.

        • spec.network.ntp.servers
          массив строк

          NTP-серверы: имена хостов или адреса IPv4. На узлах Deckhouse Engine их один раз за загрузку, до запуска kubelet, проверяет функция синхронизации времени и ждёт пригодный ответ не дольше 30 секунд. Дальше точность часов поддерживает модуль chrony.

          • Элемент массива
            строка

            Максимальная длина: 253

      • spec.network.routes
        массив объектов

        Статические маршруты. Добавляются на каждом интерфейсе из списка interfaces.

        Статический маршрут.

        • spec.network.routes.gateway
          строка

          IP-адрес шлюза.

          Максимальная длина: 45

        • spec.network.routes.name
          строка

          Метка маршрута. На применение маршрута не влияет.

          Максимальная длина: 253

        • spec.network.routes.networks
          массив строк

          Сети назначения в формате CIDR.

          • Элемент массива
            строка

            Максимальная длина: 43

    • spec.nodeName
      строка

      Обязательный параметр

      Имя узла Kubernetes, к которому относится конфигурация.

      Совпадает с metadata.name, изменить его нельзя.

      Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$

      Длина: 1..253

    • spec.osImage
      объект

      Образ операционной системы, который должен использоваться на узле.

      Узел сравнивает значение digest со значением, сохранённым при установке в /config/os-digest. Дайджест идентифицирует конкретную публикацию образа и может измениться при повторной публикации того же содержимого.

      Обязателен, если systemType равен DeckhouseEngine или устаревшему значению Immutable.

      • spec.osImage.digest
        строка

        Обязательный параметр

        Дайджест образа операционной системы.

        Идентифицирует конкретный образ и используется узлом для определения необходимости обновления. При установке узел сохраняет дайджест и при последующих проверках сравнивает его с указанным значением.

        Шаблон: ^sha256:[a-f0-9]{64}$

      • spec.osImage.path
        строка

        Путь к образу внутри хранилища образов контейнеров.

        Максимальная длина: 512

      • spec.osImage.repository
        строка

        Адрес хранилища образов контейнеров, из которого загружается образ операционной системы.

        Значение передаётся в registry-packages-proxy в параметре repository.

        Если параметр не указан, repository не передаётся и registry-packages-proxy использует адрес хранилища, назначенный по умолчанию.

        Шаблон: ^[^[:space:]]+$

        Максимальная длина: 1024

      • spec.osImage.rootHash
        строка

        Корневой хеш dm-verity файловой системы внутри образа в шестнадцатеричном формате ASCII.

        Используется для определения фактического изменения содержимого образа. В отличие от digest, значение которого может измениться при повторной публикации образа, rootHash остаётся прежним, если содержимое корневой файловой системы не изменилось.

        Deckhouse Platform заполняет это поле на основе лейбла образа. Если получить значение из лейбла не удалось, узел определяет корневой хеш после скачивания образа.

        Шаблон: ^[a-f0-9]{64}$

    • spec.registry
      объект

      Хранилище образов контейнеров, к которому узел обращается напрямую, минуя кластерный registry-packages-proxy.

      Узлу, который разворачивает control-plane, обращаться к прокси бессмысленно: прокси ещё нет, кластер готовит как раз этот узел. Образы control-plane и собственные системные расширения ему при этом всё равно нужно скачать, поэтому адрес и учётные данные он должен знать сам. Остальные узлы оставляют поле пустым и работают через прокси. В upstreams перечислены дополнительные хранилища, в которые containerd направляет загрузки.

      На узле Generic OS containerd для основного хранилища настраивает bashible, а агент узла при включённой функции registry-routes записывает только маршруты из upstreams. Из остальных полей он читает только address — этот хост не может забрать ни один маршрут — и никогда не скачивает из хранилища напрямую.

      • spec.registry.address
        строка

        Обязательный параметр

        Хост хранилища образов контейнеров, при необходимости с портом, например registry.deckhouse.io или registry.example.com:5000.

        Шаблон: ^[^[:space:]]+$

        Длина: 1..1024

      • spec.registry.auth
        строка

        Пара user:password в кодировке Base64 — в том же виде, в каком она хранится в поле auth файла docker config.

        Максимальная длина: 4096

      • spec.registry.caBundle
        строка

        Набор сертификатов центров сертификации в формате PEM, по которому проверяется хранилище образов контейнеров.

        Максимальная длина: 65536

      • spec.registry.path
        строка

        Путь к репозиторию внутри хранилища образов контейнеров, например /deckhouse/ce.

        Максимальная длина: 1024

      • spec.registry.scheme
        строка

        Протокол, по которому узел подключается к хранилищу образов контейнеров.

        По умолчанию HTTPS.

        Допустимые значения: HTTPS, HTTP

      • spec.registry.upstreams
        массив объектов

        Дополнительные хранилища образов контейнеров, в которые узел направляет загрузки: каждая запись перенаправляет загрузки из хоста match в upstream и его зеркала.

        Узел создаёт для каждой записи каталог хоста containerd с именем из match в нижнем регистре и удаляет каталоги записей, которых больше нет. Изменение маршрутов не перезапускает containerd. Запись, которую узел не может применить, пропускается, и узел сообщает о ней в условии RegistryRoutesReady. Остальные записи применяются.

        Список применяет функция registry-routes. На узле Deckhouse Engine она включена по умолчанию, а узел Generic OS применяет список, только если функцию включает featureGates. Когда функция выключена, узел оставляет записанные ранее каталоги как есть.

        Список заполняет node-controller из принятых объектов RegistryUpstream и сертификатов центров сертификации объектов ModuleSource. На узле Deckhouse Engine список пуст, пока containerd настраивает агент модуля registry. На узле Generic OS список задан всегда, но записей ModuleSource в нём нет — эти сертификаты bashible записывает сам, а узел не записывает ни одного маршрута, пока в файле bashible deckhouse_hosts_state.json указан каталог агента _default.

        Один маршрут из spec.registry.upstreams.

        • spec.registry.upstreams.match
          строка

          Обязательный параметр

          Хост, загрузки из которого перенаправляет узел. Это же имя каталога хоста containerd.

          Шаблон: ^[a-zA-Z0-9]([-a-zA-Z0-9]*[a-zA-Z0-9])?(\.[a-zA-Z0-9]([-a-zA-Z0-9]*[a-zA-Z0-9])?)*(:[0-9]{1,5})?$

          Длина: 1..255

        • spec.registry.upstreams.requestedBy
          объект

          Обязательный параметр

          Объект, из которого получена запись: RegistryUpstream или ModuleSource, для которого запись передаёт сертификат центра сертификации его хранилища.

          • spec.registry.upstreams.requestedBy.kind
            строка

            Обязательный параметр

            Вид объекта.

            Допустимые значения: NodeExtensionRequest, NodeStaticPodRequest, RegistryUpstream, ModuleSource

          • spec.registry.upstreams.requestedBy.name
            строка

            Обязательный параметр

            Имя объекта.

            Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$

            Длина: 1..253

        • spec.registry.upstreams.upstream
          объект

          Обязательный параметр

          Хранилище, в которое уходят загрузки, и его зеркала.

          • spec.registry.upstreams.upstream.auth
            объект

            Учётные данные хранилища. Поле auth (username:password в кодировке Base64) имеет приоритет над username и password.

            • spec.registry.upstreams.upstream.auth.auth
              строка

              Пара username:password в кодировке Base64.

              Максимальная длина: 4096

            • spec.registry.upstreams.upstream.auth.password
              строка

              Пароль.

              Максимальная длина: 4096

            • spec.registry.upstreams.upstream.auth.username
              строка

              Имя пользователя.

              Максимальная длина: 1024

          • spec.registry.upstreams.upstream.ca
            строка

            Набор сертификатов центров сертификации в формате PEM, по которому проверяется хранилище. Узел пропускает маршрут, если в наборе есть что-то кроме блоков CERTIFICATE или хотя бы один из них не разбирается.

            Максимальная длина: 65536

          • spec.registry.upstreams.upstream.host
            строка

            Обязательный параметр

            Хост хранилища, при необходимости с портом.

            Длина: 1..255

          • spec.registry.upstreams.upstream.mirrors
            массив объектов

            Зеркала с тем же содержимым. Узел обращается к ним по порядку после основного хранилища.

            Один из адресов маршрута.

            • spec.registry.upstreams.upstream.mirrors.auth
              объект

              Учётные данные зеркала. Поле auth имеет приоритет над username и password.

              • spec.registry.upstreams.upstream.mirrors.auth.auth
                строка

                Пара username:password в кодировке Base64.

                Максимальная длина: 4096

              • spec.registry.upstreams.upstream.mirrors.auth.password
                строка

                Пароль.

                Максимальная длина: 4096

              • spec.registry.upstreams.upstream.mirrors.auth.username
                строка

                Имя пользователя.

                Максимальная длина: 1024

            • spec.registry.upstreams.upstream.mirrors.ca
              строка

              Набор сертификатов центров сертификации в формате PEM, по которому проверяется зеркало. Узел пропускает маршрут, если в наборе есть что-то кроме блоков CERTIFICATE или хотя бы один из них не разбирается.

              Максимальная длина: 65536

            • spec.registry.upstreams.upstream.mirrors.host
              строка

              Обязательный параметр

              Хост зеркала, при необходимости с портом.

              Длина: 1..255

            • spec.registry.upstreams.upstream.mirrors.path
              строка

              Префикс репозиториев в зеркале.

              Максимальная длина: 1024

            • spec.registry.upstreams.upstream.mirrors.scheme
              строка

              Протокол подключения к зеркалу: HTTP или HTTPS. По умолчанию HTTPS.

              Допустимые значения: HTTP, HTTPS

          • spec.registry.upstreams.upstream.path
            строка

            Префикс репозиториев в хранилище, например /virtualization.

            Максимальная длина: 1024

          • spec.registry.upstreams.upstream.scheme
            строка

            Протокол подключения к хранилищу: HTTP или HTTPS. По умолчанию HTTPS.

            Допустимые значения: HTTP, HTTPS

    • spec.registryPackagesProxy
      объект

      Параметры подключения узла к registry-packages-proxy, который отдаёт узлу расширения и образы операционной системы.

      • spec.registryPackagesProxy.accessToken
        строка

        Bearer-токен, который узел предъявляет прокси.

        В объекте хранится в кодировке Base64.

        Максимальная длина: 4096

      • spec.registryPackagesProxy.endpoints
        массив строк

        Адреса registry-packages-proxy со схемой и портом.

        Если поле не задано, узел использует порт 4219 на хостах из apiServerEndpoints. Задаётся только в начальной конфигурации первого master-узла.

        • Элемент массива
          строка

          Шаблон: ^https?://(\[[0-9A-Fa-f:]+\]|[A-Za-z0-9]([-A-Za-z0-9]*[A-Za-z0-9])?([.][A-Za-z0-9]([-A-Za-z0-9]*[A-Za-z0-9])?)*):(6553[0-5]|655[0-2][0-9]|65[0-4][0-9]{2}|6[0-4][0-9]{3}|[1-5][0-9]{4}|[1-9][0-9]{0,3})/?$

          Максимальная длина: 253

    • spec.staticPods
      массив объектов

      Манифесты статических подов, которые kubelet запускает без участия планировщика Kubernetes.

      Узел записывает манифесты в каталог /etc/kubernetes/manifests. Остальные необходимые ресурсы статический под должен получать самостоятельно. Например, под может выпускать собственные сертификаты, использовать kubeconfig узла и монтировать каталоги для хранения состояния через hostPath с типом DirectoryOrCreate.

      Манифесты компонентов control plane, которые агент узла создаёт самостоятельно, в spec.staticPods не включаются и при обработке этого параметра не изменяются.

      Статический под.

      • spec.staticPods.manifest
        строка

        Обязательный параметр

        Полный манифест пода.

        При записи манифеста на диск подстрока $MY_IP заменяется IP-адресом узла аналогично манифестам компонентов control plane.

        Длина: 1..32768

      • spec.staticPods.name
        строка

        Обязательный параметр

        Имя файла манифеста без расширения.

        Используется как ключ элемента списка и не связано с metadata.name пода в манифесте. Имя зеркального пода kubelet определяет по манифесту, а не по имени файла.

        Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

        Длина: 1..63

      • spec.staticPods.requestedBy
        объект

        Объект, который запросил статический под.

        У статических подов самой платформы поле не задано.

        • spec.staticPods.requestedBy.kind
          строка

          Обязательный параметр

          Вид объекта.

          Допустимые значения: NodeExtensionRequest, NodeStaticPodRequest, RegistryUpstream, ModuleSource

        • spec.staticPods.requestedBy.name
          строка

          Обязательный параметр

          Имя объекта.

          Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$

          Длина: 1..253

    • spec.statusToken
      строка

      Токен для аутентификации запроса статуса у порта :50000 узла.

      Токен генерирует тот, кто пишет документ: dhctl при бутстрапе или рендер NodeConfigTemplate для машины, которую ставят руками; кластер переносит значение из уже существующего NodeConfig как есть, потому что сообщить узлу новый токен ему нечем. В NodeConfigTemplate токен генерируется заново на каждое чтение — машине, которую ставят руками, брать его неоткуда.

      В отличие от status.maintenanceToken, поле намеренно НЕ помечено x-kubernetes-sensitive-data: API отвечал бы <omitted>, и перенос значения записал бы эту строку обратно, уничтожив токен. Токен даёт право только читать статус, но не отправлять конфигурацию.

      Максимальная длина: 4096

    • spec.storage
      объект

      Диск, на который установлена операционная система, и дополнительные файловые системы.

      Заданный диск для установки изменить нельзя.

      • spec.storage.device
        строка

        Блочное устройство диска целиком, на которое выполняется установка.

        Например /dev/sda, /dev/nvme0n1 или стабильный путь вида /dev/disk/by-id/.... Игнорируется, если задан diskSelector.

        Шаблон: ^/dev/[A-Za-z0-9._/-]+$

        Максимальная длина: 1024

      • spec.storage.diskSelector
        объект

        Выбор диска для установки по атрибутам вместо фиксированного пути.

        Должны совпасть все заданные поля.

        • spec.storage.diskSelector.busPath
          строка

          Соответствие пути аппаратной шины (glob).

          Максимальная длина: 253

        • spec.storage.diskSelector.model
          строка

          Соответствие модели устройства (glob), например Samsung*.

          Максимальная длина: 253

        • spec.storage.diskSelector.name
          строка

          Соответствие имени устройства в ядре (glob), например nvme0n1.

          Максимальная длина: 253

        • spec.storage.diskSelector.rotational
          булевый

          Соответствие типу накопителя: true — диск с вращающимися пластинами, false — твердотельный.

        • spec.storage.diskSelector.serial
          строка

          Соответствие серийному номеру диска (glob).

          Максимальная длина: 253

        • spec.storage.diskSelector.size
          строка

          Соответствие объёму диска, опционально с оператором сравнения, например >=100Gi, >1Ti, 512Gi.

          Максимальная длина: 253

        • spec.storage.diskSelector.type
          строка

          Соответствие типу диска.

          Допустимые значения: SSD, HDD, NVMe, SD

        • spec.storage.diskSelector.wwid
          строка

          Соответствие World Wide Identifier (glob).

          Максимальная длина: 253

      • spec.storage.mounts
        массив объектов

        Mounts are additional filesystems the node makes available, at /mnt/ or wherever bindTo names. Nothing here is partitioned: only existing partitions and blank whole disks are formatted (when empty) and mounted.

        Mount is one additional filesystem, at /mnt/ unless bindTo says otherwise. Exactly one of device or partitionSelector names the partition; an empty one is formatted (label = name), an existing filesystem mounted as is.

        • spec.storage.mounts.bindTo
          строка

          BindTo mounts the filesystem at this path instead of /mnt/, for a directory something else knows by name (/var/lib/etcd). The directory must be empty: mounting over files hides them, and hidden etcd data is lost data.

          Шаблон: ^/[A-Za-z0-9._/-]+$

          Максимальная длина: 1024

        • spec.storage.mounts.device
          строка

          Device is the partition to use, e.g. “/dev/sdb1” or a stable “/dev/disk/by-id/…-part1” path.

          Шаблон: ^/dev/[A-Za-z0-9._/-]+$

          Максимальная длина: 1024

        • spec.storage.mounts.filesystem
          строка

          Файловая система, которая создаётся на пустом разделе.

          По умолчанию Ext4.

          Допустимые значения: Ext4

        • spec.storage.mounts.mode
          строка

          Mode is the mode of the filesystem root after mounting, as an octal string, e.g. “0700”. Left alone when unset. A freshly made ext4 has its root at 0755, which is a mode etcd refuses to start on.

          Шаблон: ^0[0-7]{3}$

        • spec.storage.mounts.name
          строка

          Обязательный параметр

          Name identifies the mount, and is both the mount point (/mnt/) and the filesystem label written when this node formats the partition. Capped at 16 characters because that is the size of the ext4 volume label field.

          Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

          Длина: 1..16

        • spec.storage.mounts.partitionSelector
          объект

          PartitionSelector picks the partition by attributes instead of a fixed path.

          • spec.storage.mounts.partitionSelector.blank
            булевый

            Blank makes whole disks selectable, and only ones that carry nothing: no partition table, no filesystem — a cloud disk never touched. Without it a selector sees partitions only; a whole disk is where somebody’s layout lives.

          • spec.storage.mounts.partitionSelector.fsType
            строка

            FSType matches the type of the filesystem already present (glob).

            Максимальная длина: 253

          • spec.storage.mounts.partitionSelector.label
            строка

            Label matches the filesystem label (glob).

            Максимальная длина: 253

          • spec.storage.mounts.partitionSelector.name
            строка

            Name matches the kernel device name (glob), e.g. “sdb1” or “nvme0n1p*”.

            Максимальная длина: 253

          • spec.storage.mounts.partitionSelector.partLabel
            строка

            PartLabel matches the GPT partition name (glob).

            Максимальная длина: 253

          • spec.storage.mounts.partitionSelector.partUUID
            строка

            PartUUID matches the GPT partition UUID exactly, ignoring case.

            Максимальная длина: 253

          • spec.storage.mounts.partitionSelector.size
            строка

            Size matches the size, optionally with a comparison operator, e.g. “>=100Gi”, “>1Ti”, “512Gi”. Without an operator the comparison is “>=”; “=” allows 1%, since a disk rarely reports an exact round size.

            Максимальная длина: 253

          • spec.storage.mounts.partitionSelector.uuid
            строка

            UUID matches the filesystem UUID exactly, ignoring case.

            Максимальная длина: 253

      • spec.storage.wipe
        булевый

        Определяет, будет ли уже размеченный диск очищен и размечен заново.

        По умолчанию false: настраивается только неразмеченный (или не соответствующий ожидаемой разметке) диск, поэтому корректная существующая разметка остаётся нетронутой, а перезагрузка никогда не приводит к потере данных.

    • spec.systemType
      строка

      Обязательный параметр

      Способ управления узлом.

      • DeckhouseEngine — узел Deckhouse Engine. Агент узла настраивает весь узел.
      • GenericOS — узел Generic OS, который настраивает bashible. Агент узла управляет только тем, что включено в featureGates.

      На переходный период по-прежнему принимаются устаревшие значения Immutable и Mutable. Immutable означает то же, что DeckhouseEngine, Mutable — то же, что GenericOS.

      Тип узла изменить нельзя. Устаревшее значение можно заменить новым значением того же типа и обратно.

      Допустимые значения: Immutable, Mutable, DeckhouseEngine, GenericOS

    • spec.updatePolicy
      объект

      Определяет, как и когда обновляется узел.

      • spec.updatePolicy.mode
        строка

        Режим обновления.

        Узел проверяет значение, но не руководствуется им: в любом режиме он обновляется в пределах windows.

        Допустимые значения: Manual, Automatic

      • spec.updatePolicy.windows
        массив объектов

        Временные окна в UTC, когда узел может скачивать и применять обновления.

        Обновление разрешено, если подходит любое из окон. Если окон нет, обновление разрешено в любое время.

        Одно окно обновления в UTC.

        • spec.updatePolicy.windows.days
          массив строк

          Дни недели, в которые действует окно, как календарные дни в UTC.

          Время подходит, если в списке есть его собственный день, в том числе в той части окна, которая переходит через полночь. Если список пуст, окно действует каждый день.

          • Элемент массива
            строка

            Допустимые значения: Mon, Tue, Wed, Thu, Fri, Sat, Sun

        • spec.updatePolicy.windows.from
          строка

          Обязательный параметр

          Время начала окна в UTC в формате H:MM или HH:MM (24-часовой формат).

          Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

        • spec.updatePolicy.windows.to
          строка

          Обязательный параметр

          Время окончания окна в том же формате, что и from.

          Если время окончания раньше времени начала, окно переходит через полночь. Часть после полуночи относится к своему календарному дню: при days: [Sat] окно с 22:00 до 04:00 разрешает субботу с 00:00 до 04:00 и субботу с 22:00 до полуночи, но не воскресенье в 01:00.

          Шаблон: ^(?:\d|[01]\d|2[0-3]):[0-5]\d$

  • status
    объект

    Состояние, публикуемое агентом на узле после каждого цикла согласования.

    • status.agent
      объект

      Сборка агента узла, которая записала этот статус.

      • status.agent.version
        строка

        Версия сборки агента узла.

    • status.appliedGeneration
      целочисленный

      Поколение spec, которое применил узел.

      Узел применил текущую spec, когда appliedGeneration равно metadata.generation и условие ConfigurationApplied равно True для этого поколения. Значение отстаёт, пока прерывающее изменение ожидает одобрения и пока новая сборка агента, установленная для этого поколения, ещё не применила его.

    • status.conditions
      массив объектов

      Условия узла.

      Условие со значением False, причина которого оканчивается на Pending, означает ожидание. Любая другая причина при False, а также значение Unknown означают ошибку. Условие AddressResolved не влияет на phase.

      В условиях Ready, ConfigurationApplied и DisruptionApproved поле observedGeneration содержит поколение, которое обработал узел. В остальных условиях — поколение, которое работает на узле.

      Типы условий:

      • Ready — True с причиной ReconcileSucceeded, когда phase равно Ready. В остальных случаях False, причиной служит значение phase, а message называет условие, которое определило фазу.
      • ConfigurationApplied — True, когда на узле работает опубликованная конфигурация.

        При True причина — ReconcileSucceeded или UnknownFields, если в объекте есть поля, неизвестные этой сборке агента. Такие поля перечислены в message.

        Причины при False, которые означают ожидание:

        • DisruptionApprovalPending;
        • Pending;
        • RestartPending.

        Причины при False, которые означают ошибку:

        • Rejected;
        • RolledBackToLastKnownGood;
        • RollbackFailed;
        • PartiallyApplied;
        • FieldsNotApplicable.
      • DisruptionApproved — одобрено ли прерывание работы, которого требует конфигурация узла.

        Причины:

        • ApprovalPending (False) — конфигурация, которая прерывает работу узла, ждёт одобрения;
        • AttemptsExhausted (False) — попытки node-manager прервать работу узла не удались, и новых он пока не делает;
        • Approved (True) — прерывание одобрено;
        • NoDisruptionPending (True) — ничего не ждёт одобрения.
      • AddressResolved — определил ли узел адрес, с которым он регистрируется.

        Причины при False:

        • NoneInCIDR, Ambiguous — узел не может выбрать адрес;
        • AddressDrift — узел сохраняет адрес, с которым зарегистрирован, но этого адреса больше нет на машине или конфигурация теперь выбирает другой.
      • Условия подсистем — по одному на каждую подсистему, которую проход запустил или пропустил:

        • BootTimeSyncConfigured;
        • APIEndpointsReachable;
        • SysctlApplied;
        • KernelModulesLoaded;
        • MountsReady;
        • ExtensionsReady;
        • ContainerdReady;
        • KubeletReady;
        • StaticPodsReady;
        • RegistryRoutesReady;
        • UnitsRunning;
        • OSImageUpToDate;
        • ControlPlaneBootstrapped.

        Значения условия подсистемы:

        • True с причиной ReconcileSucceeded или с собственной причиной подсистемы из списка ниже;
        • False с причиной Pending, пока подсистема ждёт чего-то вне узла, или с причиной ReconcileFailed либо собственной причиной подсистемы в остальных случаях, описание причины — в message;
        • Unknown с причиной ReconcileSkipped, если подсистема не запускалась в этом проходе.

        Собственные причины подсистем при True:

        • OwnedByRegistryAgent (RegistryRoutesReady) — на этом узле Generic OS хосты хранилищ containerd настраивает registry-агент. Узел не записывает маршруты и удалил те, что записал раньше.

        Собственные причины подсистем при False, которые означают ошибку:

        • StaticPodFailed (StaticPodsReady) — манифест статического пода не записан или не удалён. Причину называет запись в staticPods;
        • OSImageRolledBack (OSImageUpToDate) — узел откатился с образа или уже отказывался от него. Повторно образ не применяется;
        • OSImageRejected (OSImageUpToDate) — ядро отклонило подпись корневого хеша образа. Повторно образ не применяется;
        • OSImageRootHashMismatch (OSImageUpToDate) — корневой хеш образа не совпадает с указанным в конфигурации. Повторно образ не применяется;
        • OSImageDownloadFailed (OSImageUpToDate) — узел не смог скачать образ. Узел повторит попытку;
        • OSImageStaged (OSImageUpToDate) — образ подготовлен к следующей загрузке, но узел не смог запросить перезагрузку;
        • OSImageOnTrial (OSImageUpToDate) — узел вовремя не подтвердил новый образ и не смог запросить перезагрузку для повторной попытки.

        Ожидание в условии OSImageUpToDate публикуется с причиной Pending, а различает случаи поле message:

        • OSImageBaselineUnknown — на узле нет записи о работающем образе, и обновить его можно только после переустановки;
        • OSImageUpdateDeferred — обновление ждёт окна обновления;
        • OSImageStaged, OSImageOnTrial — узел перезагружается в новый образ или ждёт свои подсистемы, прежде чем подтвердить образ.

      Условие описывает одну сторону текущего состояния ресурса.

      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

        Момент последнего перехода условия из одного состояния в другое.

        Это должен быть момент, когда изменилось само условие. Если он неизвестен, допустимо указать момент изменения поля API.

      • status.conditions.message
        строка

        Обязательный параметр

        Человекочитаемое описание перехода.

        Может быть пустой строкой.

        Максимальная длина: 32768

      • status.conditions.observedGeneration
        целочисленный

        Поколение .metadata.generation, на основании которого установлено условие.

        Если значение этого параметра меньше значения .metadata.generation, условие устарело относительно текущего состояния объекта.

        Допустимые значения: 0 <= X

      • status.conditions.reason
        строка

        Обязательный параметр

        Программный идентификатор причины последнего перехода условия.

        Значение — строка в формате CamelCase. Поле не может быть пустым.

        Шаблон: ^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$

        Длина: 1..1024

      • status.conditions.status
        строка

        Обязательный параметр

        Статус условия: True, False или Unknown.

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        Тип условия в формате CamelCase или foo.example.com/CamelCase.

        Шаблон: ^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$

        Максимальная длина: 316

    • status.extensions
      массив объектов

      Результат по каждому настроенному системному расширению (sysext) — по одной записи на расширение, чтобы было видно, какое именно расширение отказало, а не единый агрегированный статус.

      Публикуется заново на каждом проходе и остаётся пустым, если проход ничего не проверял. Пустой список означает именно это и никогда не означает, что «прежний результат ещё в силе».

      Результат согласования одного системного расширения.

      • status.extensions.digest
        строка

        Зависит от state.

        • Ready — дайджест, установленный на узле.
        • Pending — устанавливаемый дайджест. Для записи самого агента — установленный дайджест, сборка с которым ещё не запущена.
        • Failed — дайджест, который узел отклонил или не смог установить.
      • status.extensions.message
        строка

        Причина, когда state равно Failed.

      • status.extensions.name
        строка

        Обязательный параметр

        Имя расширения: spec.extensions[].name или имя расширения, которое убрано из spec, но удалить его с узла Generic OS не удалось.

      • status.extensions.state
        строка

        Обязательный параметр

        Состояние расширения.

        • Ready — расширение установлено (на узле Deckhouse Engine ещё и подключено).
        • Pending — расширение загружается или ожидает окна обновления, либо агент перезапускается с новой сборкой самого себя (причина RestartPending).
        • Failed — установка не удалась, причина указана в message.

        Допустимые значения: Ready, Pending, Failed

    • status.features
      массив строк

      Функции, которые работали на узле в последнем цикле согласования, по алфавиту: функции, включённые в spec.featureGates, и функции, включённые по умолчанию для типа узла.

      На узле Deckhouse Engine поле spec.featureGates обычно пустое: функции, которых в нём нет, там включены. Какие функции на самом деле работают на узле, показывает этот список.

    • status.lastReconcileTime
      строка

      Момент, когда узел в последний раз завершил проход согласования.

      Больше ничто в статусе не устаревает: у условий есть lastTransitionTime, но он сдвигается только при смене состояния. Поэтому узел, агент которого отказал в 02:00, так и остаётся с последним записанным статусом — и ни оператор, ни механизм выката (который сочтёт такой узел сошедшимся и освободит слот под следующий) не отличат этот узел от работающего.

      Значение обновляется не на каждом проходе, а не чаще раза в несколько минут: ежеминутная запись на каждый узел не даёт ничего по сравнению с более редким heartbeat. Поэтому об устаревании стоит судить в масштабе десятков минут, а не секунд.

    • status.maintenanceToken
      строка

      Токен для аутентификации отправки конфигурации в maintenance-эндпоинт узла.

      Агент на узле генерирует его при старте и переопубликовывает здесь на каждом проходе, пока доступен API кластера. Когда узел теряет доступ к API и открывает порт :50000, оператор читает этот токен из последнего опубликованного статуса и передаёт его как Authorization: Bearer <токен> при отправке конфигурации.

      Токен даёт право отправить узлу произвольную конфигурацию, поэтому поле помечено как чувствительное: API вырезает его из ответов на get, list и watch для всех, у кого нет прав на субресурс nodeconfigs/sensitive. Узлы читают NodeConfig’и всего кластера (RBAC не умеет ограничить cluster-scoped ресурс собственным объектом узла) и этих прав намеренно НЕ получают — иначе один узел смог бы прочитать токен другого и отправить ему конфигурацию, как только тот потеряет доступ к API.

    • status.network
      объект

      Адрес, с которым узел вошёл в кластер, и интерфейс, с которого этот адрес взят.

      Пишет узел: он выбирает интерфейс по spec.internalNetworkCIDRs или по метке cluster и сообщает, чем закончился выбор. Кластер это значение только читает.

      • status.network.address
        строка

        Адрес, с которым kubelet зарегистрировал узел.

      • status.network.clusterInterface
        строка

        Интерфейс, с которого взят адрес.

    • status.observedGeneration
      целочисленный

      Последнее поколение spec, которое узел обработал — обнаружил и принял решение.

      Достигает нового поколения, как только узел его обнаружил, даже если оно ещё удерживается до одобрения и не исполняется (Подробнее — в параметре appliedGeneration).

    • status.osImage
      объект

      Состояние образа операционной системы на узле. Заполняется узлом.

      • status.osImage.attemptsLeft
        целочисленный

        Количество оставшихся попыток загрузки с проверяемым образом до автоматического отката initramfs к предыдущему образу.

      • status.osImage.digest
        строка

        Дайджест образа операционной системы, который в данный момент используется узлом. Значение считывается из конфигурационного раздела узла.

        Может отсутствовать на узлах, установленных до появления механизма сохранения дайджеста.

      • status.osImage.failedDigest
        строка

        Дайджест образа, после загрузки которого узел выполнил откат. Повторные попытки загрузки этого образа не выполняются.

        Поскольку дайджест однозначно идентифицирует неизменяемое содержимое образа, исправленная версия образа будет иметь другой дайджест.

      • status.osImage.rootHash
        строка

        Корневой хеш dm-verity образа, который в данный момент используется узлом. Значение считывается из активного A/B-раздела.

        Позволяет определить фактическое содержимое корневой файловой системы независимо от дайджеста образа. Например, дайджесты требуемого и используемого образов могут различаться после повторной публикации, при этом одинаковые значения rootHash означают, что содержимое корневой файловой системы не изменилось.

      • status.osImage.slot
        строка

        A/B-раздел (a или b), содержащий образ, который в данный момент используется узлом.

      • status.osImage.trialDigest
        строка

        Дайджест образа, подготовленного для следующей загрузки или проверяемого во время текущей загрузки.

        Параметр устанавливается только во время обновления, пока digest содержит дайджест предыдущего образа.

    • status.phase
      строка

      Сводка по узлу.

      • Ready — на узле работает опубликованная конфигурация, и все подсистемы исправны.
      • Pending — узел исправен, но опубликованная конфигурация на нём ещё не работает.
      • Degraded — хотя бы одно условие, кроме AddressResolved, сообщает об ошибке.

      Допустимые значения: Ready, Pending, Degraded

    • status.staticPods
      массив объектов

      Результаты обработки статических подов. Для каждого пода создаётся отдельная запись.

      Значение формируется заново при каждом проходе и остаётся пустым, если статические поды во время прохода не проверялись.

      Результат обработки одного статического пода.

      • status.staticPods.manifestDigest
        строка

        sha256 манифеста в том виде, в каком он опубликован в spec, в формате sha256:<hex>.

        Заполняется при state: Written.

      • status.staticPods.message
        строка

        Подробная информация об ошибке, если state имеет значение Failed.

      • status.staticPods.name
        строка

        Обязательный параметр

        Имя статического пода, соответствующее spec.staticPods[].name.

      • status.staticPods.reason
        строка

        Причина состояния Failed.

        Возможные значения:

        • ManifestRejected — узел отклонил манифест. Необходимо исправить манифест в ресурсе;
        • WriteFailed — не удалось записать файл манифеста на узел. Необходимо проверить состояние узла;
        • RemoveFailed — статический под удалён из spec, но соответствующий файл манифеста не удалось удалить с узла. Под продолжает работать.

        Допустимые значения: ManifestRejected, WriteFailed, RemoveFailed

      • status.staticPods.state
        строка

        Обязательный параметр

        Состояние обработки манифеста.

        Возможные значения:

        • Written — файл на диске соответствует манифесту из spec;
        • Failed — файл не соответствует манифесту из spec. Причина указывается в поле reason.

        Допустимые значения: Written, Failed

    • status.units
      массив объектов

      Результат по каждому управляемому systemd-юниту (containerd, kubelet и каждый юнит, поставляемый расширением) — по одной записи на юнит.

      Результат согласования одного управляемого systemd-юнита.

      • status.units.message
        строка

        Причина, когда state равно Failed.

      • status.units.name
        строка

        Обязательный параметр

        Имя systemd-юнита (например, containerd.service).

      • status.units.state
        строка

        Обязательный параметр

        Active — юнит запущен. Pending — юнит поставлен в очередь на запуск позже в этом цикле. Failed — отказ, причина в message.

        Допустимые значения: Active, Pending, Failed

NodeExtensionRequest

Short names: ner

Scope: Cluster
Version: v1alpha1

Запрос на установку расширения на выбранные узлы: системного расширения (образа sysext, при необходимости с модулями ядра) или registry-пакета.

Вид расширения автор запроса указывает в spec.extension.kind. Registry-пакет (Package) устанавливается на выбранные узлы под управлением bashible, системное расширение (SystemExtension) — на выбранные узлы Deckhouse Engine. По образу вид не определяется. Если ни одна из выбранных групп не устанавливает расширения такого вида, в состоянии Accepted указывается причина NotDeliverable.

Образ задаётся так же, как любой пакет в registry-packages-proxy: имя, дайджест и необязательные репозиторий и путь. node-controller без изменений переносит эти поля в spec.extensions объекта NodeConfig, и агент узла устанавливает расширение. Образ по модулю или ModuleSource не ищется.

Пример:

# A system extension with kernel modules, fetched from the registry of a ModuleSource.
apiVersion: deckhouse.io/v1alpha1
kind: NodeExtensionRequest
metadata:
  name: drbd
spec:
  extension:
    name: drbd
    digest: sha256:4f53cda18c2baa0c0354bb5f9a3ecbe5ed12ab4d8e11ba873c2f11161202b945
    kind: SystemExtension
    repository: registry.example.com/deckhouse/modules
    path: drbd/extensions
    kernelModules:
      - name: drbd
        params:
          - usermode_helper=disabled
      - name: drbd_transport_tcp
  nodeGroupSelector:
    matchNames:
      - worker
---
# A registry package from the cluster's main registry, on the nodes of every
# group bashible configures that carry the label.
apiVersion: deckhouse.io/v1alpha1
kind: NodeExtensionRequest
metadata:
  name: nvme-cli
spec:
  extension:
    name: nvme-cli
    digest: sha256:9b2a6f2bb7e3c5f6d1a0e4c8b7d6e5f4a3b2c1d0e9f8a7b6c5d4e3f2a1b0c9d8
    kind: Package
  nodeSelector:
    matchLabels:
      storage.example.com/nvme: "true"
  • apiVersion
    строка
  • kind
    строка
  • metadata
    объект
  • spec
    объект

    Обязательный параметр

    • spec.extension
      объект

      Обязательный параметр

      Образ для установки и его вид. Образ задаётся так же, как любой пакет в registry-packages-proxy.

      • spec.extension.digest
        строка

        Обязательный параметр

        Дайджест манифеста образа.

        Шаблон: ^sha256:[a-f0-9]{64}$

      • spec.extension.kernelModules
        массив объектов

        Модули ядра, которые агент узла загружает после подключения системного расширения, в указанном порядке. Допускаются только при виде SystemExtension. Каждый модуль указывается один раз.

        Зависимости автоматически не загружаются, поэтому перечислите все модули, которые нужны расширению, и укажите каждый модуль после модулей, от которых он зависит.

        Добавление модуля прерывает работу каждого выбранного узла, поэтому узел ждёт одобренной операции NodeOperation типа Disruption.

        • spec.extension.kernelModules.name
          строка

          Обязательный параметр

          Имя модуля ядра.

          Шаблон: ^[a-zA-Z0-9][a-zA-Z0-9_-]*$

          Длина: 1..64

        • spec.extension.kernelModules.params
          массив строк

          Параметры модуля, передаваемые строками вида key=value.

          • Элемент массива
            строка

            Максимальная длина: 256

      • spec.extension.kind
        строка

        Обязательный параметр

        Вид образа.

        • Package — registry-пакет. Агент узла устанавливает его на выбранных узлах под управлением bashible.
        • SystemExtension — системное расширение. Агент узла подключает его на выбранных узлах Deckhouse Engine.

        Узлы групп другого типа образ не получают. Если ни одна из выбранных групп не устанавливает расширения такого вида, в состоянии Accepted указывается причина NotDeliverable.

        Поле нельзя изменить после создания. Чтобы сменить вид, удалите запрос и создайте его заново.

        Допустимые значения: Package, SystemExtension

      • spec.extension.name
        строка

        Обязательный параметр

        Имя расширения.

        Образ системного расширения должен содержать файл extension-release для этого имени.

        Имена containerd, kubelet, kubernetes-cni, nodelet и qemu-guest-agent принадлежат расширениям платформы и не принимаются.

        Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

        Длина: 1..63

      • spec.extension.path
        строка

        Путь к образу внутри репозитория (--rpp-path прокси). Если поле пустое, используется корень репозитория.

        Максимальная длина: 512

      • spec.extension.repository
        строка

        Ключ, по которому registry-packages-proxy подбирает учётные данные (его --rpp-repository), например spec.registry.repo объекта ModuleSource. Если поле пустое, образ скачивается из основного registry кластера.

        Шаблон: ^[^[:space:]]+$

        Максимальная длина: 1024

    • spec.nodeGroupSelector
      объект

      Ограничивает расширение узлами перечисленных NodeGroup.

      • spec.nodeGroupSelector.matchNames
        массив строк

        Набор имён NodeGroup, к которым применяется расширение.

        • Элемент массива
          строка

          Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

          Максимальная длина: 63

    • spec.nodeSelector
      объект

      Ограничивает расширение узлами с указанными лейблами.

      • spec.nodeSelector.matchLabels
        объект

        Набор лейблов, которые должен нести узел, чтобы попасть под выбор.

  • status
    объект
    • status.appliedNodes
      целочисленный

      Количество выбранных узлов, которые сообщили, что расширение установлено с дайджестом этого запроса.

      Допустимые значения: 0 <= X

    • status.conditions
      массив объектов

      Условия запроса: Accepted и Ready.

      Accepted показывает, принял ли node-manager запрос. Условие равно True с причиной Accepted или False с одной из причин:

      • InvalidExtension — у расширения не указано имя или дайджест.
      • ReservedName — имя принадлежит расширению платформы.
      • Conflict — более ранний запрос того же вида уже использует это имя или дайджест, либо платформа устанавливает на те же узлы registry-пакет с этим именем или дайджестом.
      • KernelModuleConflict — более ранний запрос уже загружает один из модулей ядра с другими параметрами.
      • NotDeliverable — ни одна из выбранных NodeGroup не устанавливает расширения такого вида.

      Ready показывает, работают ли выбранные узлы с дайджестом запроса:

      • True с причиной AllNodesApplied — работают все выбранные узлы.
      • True с причиной NoNodesSelected — запрос не выбирает ни одного узла. Выбранные NodeGroup не существуют, в них нет узлов или нет узлов, подходящих под nodeSelector.
      • False с причиной RolloutInProgress — часть выбранных узлов ещё не перешла на дайджест запроса.
      • False с причиной RefusedByNodes — хотя бы один узел отклонил расширение.
      • False с причиной NotAccepted — условие Accepted равно False.
      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

      • status.conditions.message
        строка

        Обязательный параметр

        Максимальная длина: 32768

      • status.conditions.observedGeneration
        целочисленный

        Допустимые значения: 0 <= X

      • status.conditions.reason
        строка

        Обязательный параметр

        Шаблон: ^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$

        Длина: 1..1024

      • status.conditions.status
        строка

        Обязательный параметр

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        Шаблон: ^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$

        Максимальная длина: 316

    • status.failedNodes
      целочисленный

      Количество выбранных узлов, которые отклонили расширение с дайджестом запроса.

      Допустимые значения: 0 <= X

    • status.matchedNodeGroups
      массив строк

      Выбранные NodeGroup, узлы которых устанавливают такой образ: группы Deckhouse Engine для системного расширения, группы под управлением bashible для registry-пакета.

    • status.matchedNodes
      целочисленный

      Количество узлов в группах из matchedNodeGroups, которые выбраны селекторами.

      Допустимые значения: 0 <= X

    • status.nodes
      массив объектов

      Выбранные узлы, которые ещё не применили запрос, не больше 32.

      • status.nodes.message
        строка

        Причина отказа или то, чего ждёт узел.

        Максимальная длина: 4096

      • status.nodes.name
        строка

        Обязательный параметр

        Имя узла.

      • status.nodes.state
        строка

        Обязательный параметр

        Failed, если узел отклонил запрос, или Pending, если узел ещё не ответил.

        Допустимые значения: Pending, Failed

    • status.observedGeneration
      целочисленный

      Поколение spec, которому соответствует текущий status.

      Допустимые значения: 0 <= X

    • status.pendingNodes
      целочисленный

      Количество выбранных узлов, которые ещё не сообщили ни об установке расширения с дайджестом запроса, ни об отказе.

      Допустимые значения: 0 <= X

    • status.phase
      строка

      Сводка по условиям.

      • Pending — выбранные узлы ещё устанавливают расширение (у условия Ready причина RolloutInProgress).
      • Ready — условие Ready равно True.
      • Degraded — node-manager не принял запрос (условие Accepted равно False) или узлы отклонили расширение (у условия Ready причина RefusedByNodes).

      Допустимые значения: Pending, Ready, Degraded

NodeGroupConfiguration

Short names: ngc

Scope: Cluster
Version: v1alpha1

Ресурс для выполнения bash-скриптов на узлах.

Подробнее в документации модуля.

  • spec
    объект

    Обязательный параметр

    • spec.bundles
      массив строк

      Обязательный параметр

      Список bundle’ов, для которых будет выполняться скрипт. Для выбора всех bundle’ов нужно указать '*'.

      Примеры:

      bundles:
      - ubuntu-lts
      - centos-7
      
      bundles:
      - ubuntu-lts
      
      bundles:
      - "*"
      
      • Элемент массива
        строка

        Допустимые значения: ubuntu-lts, centos, debian, redos, rosa, astra, altlinux, opensuse, *

    • spec.content
      строка

      Обязательный параметр

      Содержимое шага конфигурации в виде bash-скрипта.

      Для генерации скрипта возможно использовать Go Template.

      Получить список параметров, доступных для использования в шаблонах, можно из секрета bashible-apiserver-context:

      d8 k -n d8-cloud-instance-manager get secrets bashible-apiserver-context -o jsonpath='{.data.input\.yaml}'| base64 -d
      

      Пример:

      {{- range .nodeUsers }}
      echo 'Tuning environment for user {{ .name }}'
      # Some code for tuning user environment
      {{- end }}
      

      Также в скрипте допустимо использовать подготовленные команды bashbooster. Например:

      bb-event-on 'bb-package-installed' 'post-install'
      post-install() {
        bb-log-info "Setting reboot flag due to kernel was updated"
        bb-flag-set reboot
      }
      

      Пример использования параметров proxy, указанных в ресурсе ClusterConfiguration:

      bb-set-proxy
      curl -I https://google.com
      bb-unset-proxy
      
      test-function-with-proxy() {
        bb-set-proxy
        trap bb-unset-proxy RETURN
        curl -I https://google.com
      }
      
      test-function-with-proxy
      
    • spec.nodeGroups
      массив строк

      Обязательный параметр

      Список NodeGroup, к которым нужно применять шаг конфигурации. Для выбора всех NodeGroups нужно указать ‘*’.

      Примеры:

      nodeGroups:
      - master
      - worker
      
      nodeGroups:
      - worker
      
      nodeGroups:
      - "*"
      
    • spec.weight
      целочисленный

      Очередность выполнения шага конфигурации.

      По умолчанию: 100

NodeOperation

Short names: nop

Scope: Cluster
Version: v1alpha1

Описывает операцию над узлом, которая прерывает его работу.

spec существующей операции изменить нельзя, кроме .spec.approved. Чтобы одобрить операцию Disruption, выполните:

d8 k patch nodeoperation <OPERATION_NAME> --type=merge -p '{"spec":{"approved":true}}'

В команде замените <OPERATION_NAME> на имя операции.

Операции для удаляемой машины Cluster API несут метку node-manager.deckhouse.io/machine-uid. Ставить её может только node-manager.

Пример:

# Reboot a node.
apiVersion: deckhouse.io/v1alpha1
kind: NodeOperation
metadata:
  name: reboot-worker-1
spec:
  type: Reboot
  nodeName: worker-1
  • apiVersion
    строка
  • kind
    строка
  • metadata
    объект
  • spec
    объект

    Обязательный параметр

    • spec.approved
      булевый

      Можно ли прервать работу узла. Если поле не задано, операция не одобрена.

      Имеет смысл только для Disruption. Reboot и Drain поле не читают.

      В режиме одобрения Manual группы узлов (spec.disruptions.approvalMode) node-manager ставит false, а true ставит оператор. В остальных режимах node-manager ставит true при создании. Отозвать одобрение нельзя.

    • spec.cause
      строка

      Причина, по которой прерывается работа узла.

      Для Disruption поле заполняет node-manager при создании операции. Для Reboot и Drain поле может задать оператор.

      Максимальная длина: 1024

    • spec.configGeneration
      целочисленный

      Ревизия NodeConfig узла, ради которой прерывается его работа (.metadata.generation объекта NodeConfig).

      Допускается только для Disruption. Для остальных типов API-сервер отклоняет это поле. Если NodeConfig перешёл на более новое поколение до одобрения операции, node-manager удаляет операцию.

      Допустимые значения: 1 <= X

    • spec.drain
      объект

      Как вытеснять рабочую нагрузку с узла перед тем, как прервать его работу.

      Допускается для Reboot и Disruption. Для Drain API-сервер отклоняет это поле.

      • spec.drain.skip
        булевый

        Прервать работу узла, не вытесняя с него рабочую нагрузку.

        Создавая операцию Disruption, node-manager ставит значение true для следующих узлов:

        • единственного узла группы master;
        • узла с подом Deckhouse, пока в его группе меньше двух узлов в статусе Ready;
        • каждого узла NodeGroup с spec.disruptions.automatic.drainBeforeApproval: false.

        По умолчанию: false

    • spec.nodeConfigUID
      строка

      Объект NodeConfig, ради которого прерывается работа узла (.metadata.uid объекта NodeConfig узла).

      Имеет смысл только для Disruption. Остальные типы поле не читают.

      Максимальная длина: 36

    • spec.nodeName
      строка

      Обязательный параметр

      Имя узла, к которому относится операция.

      Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$

      Длина: 1..253

    • spec.type
      строка

      Обязательный параметр

      Операция, выполняемая над узлом.

      • Reboot — перезагрузить узел. Эту операцию выполняют только узлы NodeGroup с systemType: DeckhouseEngine. Узел, которым управляет bashible, отказывается её выполнять, и операция завершается неудачей с причиной NodeRefused.
      • Drain — вытеснить рабочую нагрузку с узла. Узел остаётся недоступным для планировщика, пока оператор снова не сделает его доступным. node-manager также создаёт Drain для узла удаляемой машины Cluster API. Имя машины указано в .spec.cause.

        Чтобы отменить выполняющийся Drain, удалите его. node-manager снимает с узла запрос на вытеснение до того, как объект будет удалён. Если вытеснение уже сделало узел недоступным для планировщика, таким он и останется: верните его в планировщик сами.

      • Disruption — прервать работу узла, чтобы он мог применить новую конфигурацию.

      Операции Disruption создаёт node-manager. Запрос на ручное создание такой операции отклоняется. Операции Reboot и Drain предназначены для оператора.

      Допустимые значения: Reboot, Drain, Disruption

  • status
    объект
    • status.bootID
      строка

      Идентификатор загрузки узла (status.nodeInfo.bootID объекта Node) в момент начала перезагрузки.

      Максимальная длина: 64

    • status.conditions
      массив объектов

      Подробности о ходе выполнения операции:

      • Drained — пишет node-manager. Пока нагрузку вытесняют с узла, условие имеет статус False с причиной Draining. Когда нагрузка покинула узел, условие получает статус True с причиной Drained. Если операция пропускает вытеснение, условие получает статус True с причиной DrainSkipped.
      • EvictionBlocked — пишет node-manager, пока вытеснение нагрузки отклоняется, например из-за PodDisruptionBudget. Условие имеет статус True с причиной EvictionRefused, а в его message перечислены отказы в том виде, в каком их возвращает вытеснение, по одному на под. Тот же текст попадает в message операции. Условие снимается, когда отказы прекращаются или вытеснение завершается. Завершённая операция сохраняет отказы, на которых закончилась.
      • NodeReported — пишет узел. Условие получает статус True с причиной Succeeded, Released, Failed, Refused или RebootStarted.
      • Retry — пишет node-manager в операцию Disruption, завершившуюся ошибкой. Условие показывает, будет ли node-manager пробовать ещё раз для той же ревизии NodeConfig.

      Причины условия Retry:

      • Created (True) — следующая попытка уже создана, её имя указано в message.
      • Scheduled (True) — node-manager создаст следующую попытку в момент, указанный в message.
      • AttemptsExhausted (False) — 3 попытки для той же ревизии завершились ошибкой. node-manager не создаёт новых попыток, пока не изменится NodeConfig или не будет удалена самая старая неудачная попытка.
      • Superseded (False) — NodeConfig перешёл на другое поколение или был пересоздан.
      • NotRequested (False) — узел больше не просит прервать его работу для этой ревизии.
      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

      • status.conditions.message
        строка

        Обязательный параметр

        Максимальная длина: 32768

      • status.conditions.observedGeneration
        целочисленный

        Допустимые значения: 0 <= X

      • status.conditions.reason
        строка

        Обязательный параметр

        Шаблон: ^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$

        Длина: 1..1024

      • status.conditions.status
        строка

        Обязательный параметр

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        Шаблон: ^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$

        Максимальная длина: 316

    • status.deadline
      строка

      Момент, когда истекает текущий этап операции и она завершается неудачей.

      Узлу даётся 30 минут с момента startedAt, чтобы сообщить результат или вернуться после перезагрузки. На вытеснение даётся время из параметра nodeDrainTimeoutSecond группы узлов плюс 30 минут.

    • status.drainDeadline
      строка

      Момент, к которому должен завершиться drain, запрошенный этой операцией.

      У операции Drain удаляемой машины в этот момент операция завершается с причиной PreparationTimedOut, и машина удаляется вместе с подами, которые не покинули узел. Для NodeGroup типа Static или CloudStatic без nodeDrainTimeoutSecond поле не задаётся, и время такой операции не ограничено.

      Значение фиксируется в момент запроса: берётся nodeDrainTimeoutSecond группы, каким он был тогда, — именно с этой границей начал работать контроллер drain. Если вычислять границу заново, изменение NodeGroup оборвёт уже идущий drain.

    • status.eviction
      объект

      Ход вытеснения, запрошенного этой операцией. Пишет node-manager, пока вытеснение идёт.

      Поле появляется, когда составлен список подов для вытеснения, и обновляется раз в несколько секунд. Когда вытеснение завершается, поле удаляется. Операция, завершившаяся ошибкой, сохраняет значение, на котором остановилась.

      • status.eviction.remainingPods
        целочисленный

        Обязательный параметр

        Сколько подов из списка вытеснения ещё остаётся на узле, включая завершающиеся. Поды DaemonSet, статические и завершившиеся поды вытеснение оставляет на узле, они не учитываются.

        Допустимые значения: 0 <= X

      • status.eviction.terminatingPods
        массив строк

        Поды, которые уже вытеснены, но ещё не остановились, в виде <namespace>/<name>.

    • status.finishedAt
      строка

      Момент перехода операции в финальную фазу.

      Завершённая операция хранится как запись о том, что было сделано с узлом, и удаляется через сутки после завершения.

    • status.message
      строка

      Пояснение к reason для человека.

      Максимальная длина: 32768

    • status.nodeWasUnschedulable
      булевый

      Был ли узел уже недоступен для планировщика в момент, когда операция до него дошла.

      По завершении операции узлу возвращается именно это значение, а не «доступен» — чтобы операция без уведомления не отменила cordon, установленный оператором вручную.

    • status.phase
      строка

      Текущая фаза операции. Фазу ставит node-manager.

      • Pending — операция стоит в очереди или ждёт одобрения.
      • Approved — операцию можно выполнять. С узла вытесняется нагрузка, и только после этого узел получит операцию.
      • InProgress — для операции Drain с узла вытесняется нагрузка. Для остальных типов узел подготовлен и может выполнять операцию.
      • Completed — операция прошла успешно.
      • Failed — операция завершилась неудачно.

      Допустимые значения: Pending, Approved, InProgress, Completed, Failed

    • status.reason
      строка

      Причина текущей фазы операции.

      • Pending — Queued (ещё ничего не сделано), WaitingForApproval.
      • Approved — Draining (с узла вытесняется нагрузка), WaitingForOperation (с узла уже идёт другое вытеснение, и в message указано, кто его запросил).
      • InProgress — Draining и WaitingForOperation (для Drain), WaitingForNode (операция передана узлу, и он ещё не сообщил результат), Rebooting (узел перезагружается и ещё не вернулся).
      • Completed — Succeeded, Released (узел отказался от ревизии NodeConfig, для которой создана операция Disruption), Drained (для Drain).
      • Failed — NodeFailed и NodeRefused (сообщает узел), PreparationTimedOut (нагрузка не покинула узел вовремя), NodeTimedOut (узел не отчитался или не вернулся после перезагрузки вовремя), NodeNotFound, NodeGroupMissing, MachineDeleted (машина узла удаляется).

      Шаблон: ^[A-Za-z][A-Za-z0-9]*$

      Максимальная длина: 128

    • status.startedAt
      строка

      Момент передачи операции узлу.

      От него отсчитывается ожидание ответа узла.

NodeStaticPodRequest

Short names: nspr

Scope: Cluster
Version: v1alpha1

Запрос на запуск статического пода на выбранных узлах без участия планировщика.

node-manager добавляет манифест в spec.staticPods объекта NodeConfig каждого выбранного узла. Узел записывает манифест на диск, а kubelet запускает по нему под. Запрос сообщает, записали ли узлы манифест, но не сообщает, работает ли под.

Пользователь с правами на создание NodeStaticPodRequest может запускать произвольные манифесты с правами root на всех выбранных узлах.

Пример:

# A node-local agent on the nodes of the worker NodeGroup.
apiVersion: deckhouse.io/v1alpha1
kind: NodeStaticPodRequest
metadata:
  name: node-local-agent
spec:
  nodeGroupSelector:
    matchNames:
      - worker
  manifest: |
    apiVersion: v1
    kind: Pod
    metadata:
      name: node-local-agent
      namespace: kube-system
    spec:
      hostNetwork: true
      priorityClassName: system-node-critical
      containers:
        - name: agent
          image: deckhouse.local/images:node-local-agent
          args:
            - --listen-address=$MY_IP:5002
          env:
            - name: NODE_NAME
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
          volumeMounts:
            - name: state
              mountPath: /var/lib/node-local-agent
      volumes:
        - name: state
          hostPath:
            path: /var/lib/node-local-agent
            type: DirectoryOrCreate
  • apiVersion
    строка
  • kind
    строка
  • metadata
    объект
  • spec
    объект

    Обязательный параметр

    • spec.manifest
      строка

      Обязательный параметр

      Полный манифест пода.

      Требования к манифесту:

      • metadata.name — DNS-поддомен (RFC 1123), metadata.namespace — DNS-метка (RFC 1123).
      • Неймспейс — kube-system или начинается с d8-.
      • Поле spec.nodeName не задано.
      • Под не ссылается на объекты API. Не допускаются spec.serviceAccountName, тома типов secret, configMap, persistentVolumeClaim и projected, а также envFrom и env[].valueFrom с secretKeyRef или configMapKeyRef в контейнерах и init-контейнерах.

      Манифест, который не отвечает этим требованиям, отклоняется при создании и изменении запроса.

      При записи манифеста на диск подстрока $MY_IP заменяется на IP-адрес узла.

      Максимальный размер манифеста — 32 КиБ. На одном узле может быть запущено не более 16 статических подов, определённых с помощью NodeStaticPodRequest.

      Длина: 1..32768

    • spec.nodeGroupSelector
      объект

      Ограничивает под узлами перечисленных NodeGroup.

      Если не указана ни одна группа, выбираются все NodeGroup. Агент узла записывает манифест из NodeConfig каждого выбранного узла. На узлах, которыми управляет bashible, ресурс с именем registry-agent или с подом kube-system/registry-agent не применяется: этот манифест записывает сам bashible. Если ресурс не попадает ни на один другой узел, в состоянии Ready указывается причина ServedByBashible.

      • spec.nodeGroupSelector.matchNames
        массив строк

        Набор имён NodeGroup, на которых запускается под.

        • Элемент массива
          строка

          Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

          Максимальная длина: 63

  • status
    объект
    • status.appliedNodes
      целочисленный

      Количество выбранных узлов, которые сообщили о записи текущего манифеста.

      Допустимые значения: 0 <= X

    • status.conditions
      массив объектов

      Условия запроса: Accepted и Ready.

      Accepted показывает, принял ли node-manager запрос. Условие равно True с причиной Accepted или False с одной из причин:

      • InvalidName — имя запроса не является DNS-меткой (RFC 1123) длиной не более 63 символов.
      • ReservedName — имя запроса или сочетание metadata.namespace и metadata.name пода уже занято статическим подом платформы.
      • InvalidManifest — манифест не отвечает требованиям из описания spec.manifest.
      • Conflict — более ранний запрос уже определяет под с теми же metadata.namespace и metadata.name.
      • LimitExceeded — хотя бы у одной выбранной NodeGroup уже есть 16 статических подов из более ранних запросов. Манифест получают только узлы остальных выбранных NodeGroup.

      Ready показывает, записали ли выбранные узлы текущий манифест:

      • True с причиной AllNodesApplied — записали все выбранные узлы.
      • True с причиной NoNodesSelected — селектор не выбирает ни одной существующей NodeGroup или в выбранных NodeGroup нет узлов.
      • True с причиной ServedByBashible — выбранными NodeGroup управляет bashible, и манифест registry-agent на их узлах он записывает сам.
      • False с причиной RolloutInProgress — часть выбранных узлов ещё не записала текущий манифест.
      • False с причиной RefusedByNodes — хотя бы один узел отклонил манифест.
      • False с причиной NotAccepted — условие Accepted равно False.
      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

      • status.conditions.message
        строка

        Обязательный параметр

        Максимальная длина: 32768

      • status.conditions.observedGeneration
        целочисленный

        Допустимые значения: 0 <= X

      • status.conditions.reason
        строка

        Обязательный параметр

        Шаблон: ^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$

        Длина: 1..1024

      • status.conditions.status
        строка

        Обязательный параметр

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        Шаблон: ^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$

        Максимальная длина: 316

    • status.failedNodes
      целочисленный

      Количество выбранных узлов, которые отклонили манифест.

      Допустимые значения: 0 <= X

    • status.matchedNodeGroups
      массив строк

      NodeGroup, соответствующие текущему селектору.

    • status.matchedNodes
      целочисленный

      Количество узлов в выбранных группах, на которые манифест записывает агент узла. Узлы NodeGroup, на которых манифест записывает сам bashible, не учитываются.

      Допустимые значения: 0 <= X

    • status.nodes
      массив объектов

      Выбранные узлы, которые ещё не записали текущий манифест, не больше 32.

      • status.nodes.message
        строка

        Причина отказа или то, чего ждёт узел.

        Максимальная длина: 4096

      • status.nodes.name
        строка

        Обязательный параметр

        Имя узла.

      • status.nodes.state
        строка

        Обязательный параметр

        Failed, если узел отклонил манифест, или Pending, если узел ещё не ответил.

        Допустимые значения: Pending, Failed

    • status.observedGeneration
      целочисленный

      Поколение spec, которому соответствует текущий status.

      Допустимые значения: 0 <= X

    • status.pendingNodes
      целочисленный

      Количество выбранных узлов, которые ещё не сообщили ни о записи текущего манифеста, ни об отказе.

      Допустимые значения: 0 <= X

    • status.phase
      строка

      Сводка по условиям.

      • Pending — выбранные узлы ещё записывают манифест (у условия Ready причина RolloutInProgress).
      • Ready — условие Ready равно True.
      • Degraded — node-manager не принял запрос (условие Accepted равно False) или узлы отклонили манифест (у условия Ready причина RefusedByNodes).

      Допустимые значения: Pending, Ready, Degraded

NodeUser

Scope: Cluster

  • v1
  • v1alpha1

Описывает Linux-пользователей, которые будут созданы на всех узлах.

Домашний каталог пользователя создается в директории /home/deckhouse/.

  • spec
    объект

    Обязательный параметр

    • spec.extraGroups
      массив строк

      Список дополнительных групп, в которые должен быть включен пользователь.

      Примеры:

      extraGroups:
      - docker
      
      extraGroups:
      - docker
      - ftp
      
    • spec.isSudoer
      булевый

      Определяет, будет ли пользователю разрешено sudo.

      По умолчанию: false

      Пример:

      isSudoer: true
      
    • spec.nodeGroups
      массив строк

      Список NodeGroup, к которым будет применяться настройка пользователя.

      По умолчанию: ["*"]

      Примеры:

      nodeGroups:
      - master
      - worker
      
      nodeGroups:
      - worker
      
      nodeGroups:
      - "*"
      
    • spec.passwordHash
      строка

      Хеш пароля пользователя.

      Формат соответствует хешам паролей, содержащихся в /etc/shadow. Его можно получить с помощью команды openssl passwd -6.

      Если у вызывающей стороны нет прав на подресурс nodeusers/sensitive, API возвращает <omitted> вместо значения.

      Пример:

      passwordHash: "$2a$10$F9ey7zW.sVliT224RFxpWeMsgzO.D9YRG54a8T36/K2MCiT41nzmC"
      
    • spec.sshPublicKey
      Параметр устарел
      строка

      Публичный SSH-ключ пользователя.

      Обязательно должен быть указан либо sshPublicKey, либо sshPublicKeys.

      Пример:

      sshPublicKey: ssh-rsa AAABBB
      
    • spec.sshPublicKeys
      массив строк

      Массив публичных SSH-ключей пользователя.

      Обязательно должен быть указан либо sshPublicKey, либо sshPublicKeys.

      Пример:

      sshPublicKeys:
      - ssh-rsa AAABBB
      - cert-authority,principals="name" ssh-rsa BBBCCC
      
    • spec.uid
      число

      Обязательный параметр

      User ID пользователя на узлах.

      Рекомендуем использовать значения >= 1100 во избежание возможных конфликтов с пользователями, созданными вручную.

      Неизменяемый в течение жизни ресурса параметр.

      Допустимые значения: 1001 <= X

      Пример:

      uid: 1100
      
  • status
    объект

    Информация о статусе создания пользователя

    • status.errors
      объект

      Список ошибок создания пользователя на каждом узле

Устаревший ресурс. Поддержка ресурса может быть исключена в следующих версиях.

Описывает Linux-пользователей, которые будут созданы на всех узлах.

Домашний каталог пользователя создается в директории /home/deckhouse/.

  • spec
    объект

    Обязательный параметр

    • spec.extraGroups
      массив строк

      Список дополнительных групп, в которые должен быть включен пользователь.

      Примеры:

      extraGroups:
      - docker
      
      extraGroups:
      - docker
      - ftp
      
    • spec.isSudoer
      булевый

      Определяет, будет ли пользователю разрешено sudo.

      По умолчанию: false

      Пример:

      isSudoer: true
      
    • spec.nodeGroups
      массив строк

      Список NodeGroup, к которым будет применяться настройка пользователя.

      По умолчанию: ["*"]

      Примеры:

      nodeGroups:
      - master
      - worker
      
      nodeGroups:
      - worker
      
      nodeGroups:
      - "*"
      
    • spec.passwordHash
      строка

      Хеш пароля пользователя.

      Формат соответствует хешам паролей, содержащихся в /etc/shadow. Его можно получить с помощью команды openssl passwd -6.

      Если у вызывающей стороны нет прав на подресурс nodeusers/sensitive, API возвращает <omitted> вместо значения.

      Пример:

      passwordHash: "$2a$10$F9ey7zW.sVliT224RFxpWeMsgzO.D9YRG54a8T36/K2MCiT41nzmC"
      
    • spec.sshPublicKey
      Параметр устарел
      строка

      Публичный SSH-ключ пользователя.

      Обязательно должен быть указан либо sshPublicKey, либо sshPublicKeys.

      Пример:

      sshPublicKey: ssh-rsa AAABBB
      
    • spec.sshPublicKeys
      массив строк

      Массив публичных SSH-ключей пользователя.

      Обязательно должен быть указан либо sshPublicKey, либо sshPublicKeys.

      Пример:

      sshPublicKeys:
      - ssh-rsa AAABBB
      - cert-authority,principals="name" ssh-rsa BBBCCC
      
    • spec.uid
      число

      Обязательный параметр

      User ID пользователя на узлах.

      Рекомендуем использовать значения >= 1100 во избежание возможных конфликтов с пользователями, созданными вручную.

      Неизменяемый в течение жизни ресурса параметр.

      Допустимые значения: 1001 <= X

      Пример:

      uid: 1100
      

SSHCredentials

Scope: Cluster

  • v1alpha2
  • v1alpha1

Содержит данные, необходимые Cluster API Provider Static (CAPS) для подключения по протоколу SSH. CAPS подключается к серверу (виртуальной машине), описанному в ресурсе StaticInstance для управления его состоянием.

Ссылка на этот ресурс указывается в параметре credentialsRef ресурса StaticInstance.

  • apiVersion
    строка

    Версия API объекта.

  • kind
    строка

    Тип объекта.

  • metadata
    объект
  • spec
    объект

    Желаемое состояние объекта SSHCredentials.

    • spec.privateSSHKey
      строка

      Закрытый ключ SSH в формате PEM, закодированный в Base64.

      Если у пользователя нет прав на просмотр конфиденциальных данных SSHCredentials, API возвращает <omitted> вместо фактического значения.

    • spec.sshExtraArgs
      строка

      Список дополнительных параметров для SSH-клиента (openssh).

      Примеры:

      sshExtraArgs: "-vvv"
      
      sshExtraArgs: "-c chacha20-poly1305@openssh.com"
      
      sshExtraArgs: "-c aes256-gcm@openssh.com"
      
      sshExtraArgs: "-m umac-64-etm@openssh.com"
      
      sshExtraArgs: "-m hmac-sha2-512-etm@openssh.com"
      
    • spec.sshPort
      целочисленный

      Порт для подключения по SSH.

      По умолчанию: 22

      Допустимые значения: 1 <= X <= 65535

    • spec.sudoPasswordEncoded
      строка

      Пароль пользователя для использования sudo, закодированный в Base64.

      Если у пользователя нет прав на просмотр конфиденциальных данных SSHCredentials, API возвращает <omitted> вместо фактического значения.

    • spec.user
      строка

      Обязательный параметр

      Имя пользователя для подключения по SSH.

Содержит данные, необходимые Cluster API Provider Static (CAPS) для подключения по протоколу SSH. CAPS подключается к серверу (виртуальной машине), описанному в ресурсе StaticInstance для управления его состоянием.

Ссылка на этот ресурс указывается в параметре credentialsRef ресурса StaticInstance.

  • apiVersion
    строка

    Версия API объекта.

  • kind
    строка

    Тип объекта.

  • metadata
    объект
  • spec
    объект

    Желаемое состояние объекта SSHCredentials.

    • spec.privateSSHKey
      строка

      Закрытый ключ SSH в формате PEM, закодированный в Base64.

      Если у пользователя нет прав на просмотр конфиденциальных данных SSHCredentials, API возвращает <omitted> вместо фактического значения.

    • spec.sshExtraArgs
      строка

      Список дополнительных параметров для SSH-клиента (openssh).

      Примеры:

      sshExtraArgs: "-vvv"
      
      sshExtraArgs: "-c chacha20-poly1305@openssh.com"
      
      sshExtraArgs: "-c aes256-gcm@openssh.com"
      
      sshExtraArgs: "-m umac-64-etm@openssh.com"
      
      sshExtraArgs: "-m hmac-sha2-512-etm@openssh.com"
      
    • spec.sshPort
      целочисленный

      Порт для подключения по SSH.

      По умолчанию: 22

      Допустимые значения: 1 <= X <= 65535

    • spec.sudoPassword
      строка

      Пароль пользователя для использования sudo.

      Если у пользователя нет прав на просмотр конфиденциальных данных SSHCredentials, API возвращает <omitted> вместо фактического значения.

    • spec.user
      строка

      Обязательный параметр

      Имя пользователя для подключения по SSH.

StaticInstance

Scope: Cluster

  • v1alpha2
  • v1alpha1

Описывает объект машины для Cluster API Provider Static.

  • apiVersion
    строка

    Версия API объекта.

  • kind
    строка

    Тип объекта.

  • metadata
    объект
  • spec
    объект

    Желаемое состояние объекта StaticInstance.

    • spec.address
      строка

      Обязательный параметр

      IP-адрес сервера (виртуальной машины) для подключения.

      Шаблон: ^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$

    • spec.credentialsRef
      объект

      Обязательный параметр

      Ссылка на ресурс SSHCredentials.

      • spec.credentialsRef.apiVersion
        строка

        Версия API ресурса.

      • spec.credentialsRef.fieldPath
        строка

        Если речь идет о части объекта, а не о целом объекте, эта строка должна содержать действительное выражение для доступа к полю JSON/Go, например desiredState.manifest.containers[2].

        Например, если ссылка на объект относится к контейнеру внутри пода, этот параметр будет иметь значение вида: spec.containers{name} (где name — имя контейнера, который вызвал событие) или, если имя контейнера не указано, — spec.containers[2] (контейнер с индексом 2 в этом поде). Этот синтаксис выбран только для того, чтобы иметь четко определенный способ ссылки на часть объекта.

      • spec.credentialsRef.kind
        строка

        Kind ресурса.

      • spec.credentialsRef.name
        строка

        Имя ресурса.

      • spec.credentialsRef.namespace
        строка

        Неймспейс ресурса.

        Подробнее: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/

      • spec.credentialsRef.resourceVersion
        строка

        Конкретная версия ресурса, на которую ссылается данная ссылка, если таковая имеется.

        Подробнее: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency

      • spec.credentialsRef.uid
        строка
  • status
    объект

    StaticInstanceStatus defines the observed state of StaticInstance.

    • status.conditions
      массив объектов

      Conditions defines current service state of the StaticInstance.

      Condition contains details for one aspect of the current state of this API Resource.

      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

        lastTransitionTime is the last time the condition transitioned from one status to another. This should be when the underlying condition changed. If that is not known, then using the time when the API field changed is acceptable.

      • status.conditions.message
        строка

        Обязательный параметр

        message is a human readable message indicating details about the transition. This may be an empty string.

        Максимальная длина: 32768

      • status.conditions.observedGeneration
        целочисленный

        observedGeneration represents the .metadata.generation that the condition was set based upon. For instance, if .metadata.generation is currently 12, but the .status.conditions[x].observedGeneration is 9, the condition is out of date with respect to the current state of the instance.

        Допустимые значения: 0 <= X

      • status.conditions.reason
        строка

        Обязательный параметр

        reason contains a programmatic identifier indicating the reason for the condition’s last transition. Producers of specific condition types may define expected values and meanings for this field, and whether the values are considered a guaranteed API. The value should be a CamelCase string. This field may not be empty.

        Шаблон: ^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$

        Длина: 1..1024

      • status.conditions.status
        строка

        Обязательный параметр

        status of the condition, one of True, False, Unknown.

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        type of condition in CamelCase or in foo.example.com/CamelCase.

        Шаблон: ^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$

        Максимальная длина: 316

    • status.currentStatus
      объект
      • status.currentStatus.lastUpdateTime
        строка
      • status.currentStatus.phase
        строка

        Допустимые значения: Error, Pending, Bootstrapping, Running, Cleaning

    • status.machineRef
      объект

      The reference to the StaticMachine object.

      • status.machineRef.apiVersion
        строка

        API version of the referent.

      • status.machineRef.fieldPath
        строка

        If referring to a piece of an object instead of an entire object, this string should contain a valid JSON/Go field access statement, such as desiredState.manifest.containers[2]. For example, if the object reference is to a container within a pod, this would take on a value like: “spec.containers{name}” (where “name” refers to the name of the container that triggered the event) or if no container name is specified “spec.containers[2]” (container with index 2 in this pod). This syntax is chosen only to have some well-defined way of referencing a part of an object.

      • status.machineRef.kind
        строка

        Kind of the referent. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds

      • status.machineRef.name
        строка

        Name of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#names

      • status.machineRef.namespace
        строка

        Namespace of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/

      • status.machineRef.resourceVersion
        строка

        Specific resourceVersion to which this reference is made, if any. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency

      • status.machineRef.uid
        строка

        UID of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids

    • status.nodeRef
      объект

      The reference to the Node object.

      • status.nodeRef.apiVersion
        строка

        API version of the referent.

      • status.nodeRef.fieldPath
        строка

        If referring to a piece of an object instead of an entire object, this string should contain a valid JSON/Go field access statement, such as desiredState.manifest.containers[2]. For example, if the object reference is to a container within a pod, this would take on a value like: “spec.containers{name}” (where “name” refers to the name of the container that triggered the event) or if no container name is specified “spec.containers[2]” (container with index 2 in this pod). This syntax is chosen only to have some well-defined way of referencing a part of an object.

      • status.nodeRef.kind
        строка

        Kind of the referent. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds

      • status.nodeRef.name
        строка

        Name of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#names

      • status.nodeRef.namespace
        строка

        Namespace of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/

      • status.nodeRef.resourceVersion
        строка

        Specific resourceVersion to which this reference is made, if any. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency

      • status.nodeRef.uid
        строка

        UID of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids

Описывает объект машины для Cluster API Provider Static.

  • apiVersion
    строка

    Версия API объекта.

  • kind
    строка

    Тип объекта.

  • metadata
    объект
  • spec
    объект

    Желаемое состояние объекта StaticInstance.

    • spec.address
      строка

      Обязательный параметр

      IP-адрес сервера (виртуальной машины) для подключения.

      Шаблон: ^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$

    • spec.credentialsRef
      объект

      Обязательный параметр

      Ссылка на ресурс SSHCredentials.

      • spec.credentialsRef.apiVersion
        строка

        Версия API ресурса.

      • spec.credentialsRef.fieldPath
        строка

        Если речь идет о части объекта, а не о целом объекте, эта строка должна содержать действительное выражение для доступа к полю JSON/Go, например desiredState.manifest.containers[2].

        Например, если ссылка на объект относится к контейнеру внутри пода, этот параметр будет иметь значение вида: spec.containers{name} (где name — имя контейнера, который вызвал событие) или, если имя контейнера не указано, — spec.containers[2] (контейнер с индексом 2 в этом поде). Этот синтаксис выбран только для того, чтобы иметь четко определенный способ ссылки на часть объекта.

      • spec.credentialsRef.kind
        строка

        Kind ресурса.

      • spec.credentialsRef.name
        строка

        Имя ресурса.

      • spec.credentialsRef.namespace
        строка

        Неймспейс ресурса.

        Подробнее: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/

      • spec.credentialsRef.resourceVersion
        строка

        Конкретная версия ресурса, на которую ссылается данная ссылка, если таковая имеется.

        Подробнее: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency

      • spec.credentialsRef.uid
        строка
  • status
    объект

    StaticInstanceStatus defines the observed state of StaticInstance.

    • status.conditions
      массив объектов

      Conditions defines current service state of the StaticInstance.

      Condition contains details for one aspect of the current state of this API Resource.

      • status.conditions.lastTransitionTime
        строка

        Обязательный параметр

        lastTransitionTime is the last time the condition transitioned from one status to another. This should be when the underlying condition changed. If that is not known, then using the time when the API field changed is acceptable.

      • status.conditions.message
        строка

        Обязательный параметр

        message is a human readable message indicating details about the transition. This may be an empty string.

        Максимальная длина: 32768

      • status.conditions.observedGeneration
        целочисленный

        observedGeneration represents the .metadata.generation that the condition was set based upon. For instance, if .metadata.generation is currently 12, but the .status.conditions[x].observedGeneration is 9, the condition is out of date with respect to the current state of the instance.

        Допустимые значения: 0 <= X

      • status.conditions.reason
        строка

        Обязательный параметр

        reason contains a programmatic identifier indicating the reason for the condition’s last transition. Producers of specific condition types may define expected values and meanings for this field, and whether the values are considered a guaranteed API. The value should be a CamelCase string. This field may not be empty.

        Шаблон: ^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$

        Длина: 1..1024

      • status.conditions.status
        строка

        Обязательный параметр

        status of the condition, one of True, False, Unknown.

        Допустимые значения: True, False, Unknown

      • status.conditions.type
        строка

        Обязательный параметр

        type of condition in CamelCase or in foo.example.com/CamelCase.

        Шаблон: ^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$

        Максимальная длина: 316

    • status.currentStatus
      объект
      • status.currentStatus.lastUpdateTime
        строка
      • status.currentStatus.phase
        строка

        Допустимые значения: Error, Pending, Bootstrapping, Running, Cleaning

    • status.machineRef
      объект

      The reference to the StaticMachine object.

      • status.machineRef.apiVersion
        строка

        API version of the referent.

      • status.machineRef.fieldPath
        строка

        If referring to a piece of an object instead of an entire object, this string should contain a valid JSON/Go field access statement, such as desiredState.manifest.containers[2]. For example, if the object reference is to a container within a pod, this would take on a value like: “spec.containers{name}” (where “name” refers to the name of the container that triggered the event) or if no container name is specified “spec.containers[2]” (container with index 2 in this pod). This syntax is chosen only to have some well-defined way of referencing a part of an object.

      • status.machineRef.kind
        строка

        Kind of the referent. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds

      • status.machineRef.name
        строка

        Name of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#names

      • status.machineRef.namespace
        строка

        Namespace of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/

      • status.machineRef.resourceVersion
        строка

        Specific resourceVersion to which this reference is made, if any. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency

      • status.machineRef.uid
        строка

        UID of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids

    • status.nodeRef
      объект

      The reference to the Node object.

      • status.nodeRef.apiVersion
        строка

        API version of the referent.

      • status.nodeRef.fieldPath
        строка

        If referring to a piece of an object instead of an entire object, this string should contain a valid JSON/Go field access statement, such as desiredState.manifest.containers[2]. For example, if the object reference is to a container within a pod, this would take on a value like: “spec.containers{name}” (where “name” refers to the name of the container that triggered the event) or if no container name is specified “spec.containers[2]” (container with index 2 in this pod). This syntax is chosen only to have some well-defined way of referencing a part of an object.

      • status.nodeRef.kind
        строка

        Kind of the referent. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds

      • status.nodeRef.name
        строка

        Name of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#names

      • status.nodeRef.namespace
        строка

        Namespace of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/

      • status.nodeRef.resourceVersion
        строка

        Specific resourceVersion to which this reference is made, if any. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency

      • status.nodeRef.uid
        строка

        UID of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids