Deckhouse Platform устанавливает CRD, но не удаляет их при отключении модуля. Если вам больше не нужны созданные CRD, удалите их.
Стадия жизненного цикла модуля: General Availability
FencingFailedNodeState
Short names: ffns
Scope: Cluster
Version: v1alpha1
Инцидент fencing одного узла.
Имя объекта совпадает с именем отказавшего узла. Объект содержит ровно одну owner reference на этот узел, поэтому сборщик мусора Kubernetes удаляет его вместе с объектом Node. Если UID в owner reference не совпадает с UID узла с этим именем, например узел создан заново под тем же именем, контроллер ничего не делает по такому объекту. У здорового узла объекта FencingFailedNodeState нет: объект существует, только пока у узла есть активный инцидент.
Объект создаёт fencing-agent. Создать его может агент любого узла, в том числе агент на узле группы в режиме Disabled. Создатель записывает spec, после этого spec изменить нельзя. У каждой части status один владелец. fencing-controller читает объект и решает, нужно ли эвакуировать узел.
Объект удаляется в следующих случаях:
- Отказавший узел вернулся с тем же boot ID до фазы
Proven. Тогда объект удаляют агенты fencing. - Node в состоянии
Readyи у него новый boot ID. Тогда fencing-controller снимает с Node taintnode.kubernetes.io/out-of-serviceи удаляет объект. - Объект Node удалён. Тогда объект удаляет сборщик мусора Kubernetes.
Не создавайте объект вручную. Не изменяйте spec и status.
- строкаapiVersion
- строкаkind
- объектmetadata
- объектspec
Обязательный параметр
Неизменяемое описание инцидента. Создатель объекта записывает его при создании, изменить его потом нельзя.
- булевыйspec.armed
Обязательный параметр
true, если watchdog отказавшего узла был вооружён на момент отказа. fencing-agent берёт значение из метаданных узла в memberlist. - строкаspec.bootID
Обязательный параметр
Boot ID отказавшего узла на момент отказа. fencing-agent берёт его из метаданных узла в memberlist. Для источника
NodeLeaseStaleконтроллер берёт его изstatus.nodeInfo.bootIDобъекта Node. - строкаspec.detectedAt
Обязательный параметр
Время, когда создатель обнаружил отказ, с точностью до микросекунд.
Значение справочное. Сроки fencing-controller отсчитывает от собственных наблюдений.
Шаблон:
^[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{6}(Z|[+-][0-9]{2}:[0-9]{2})$ - строкаspec.detectedBy
Обязательный параметр
Имя узла, агент которого создал объект. Если объект создал fencing-controller, значение —
fencing-controller. - объектspec.profileRef
Профиль SLA группы узлов отказавшего узла на момент создания объекта. Группа — значение метки
node.deckhouse.io/groupобъекта Node. Профиль выбирает режим группы. Если группа в режимеDisabled, значение — профиль сети memberlist кластера.Поле задаётся, только если
armedравноtrue. Тайминги отказавшего узла fencing-controller берёт только из этого профиля.- строкаspec.profileRef.name
Обязательный параметр
Имя встроенного профиля SLA. Допустимы только имена встроенных профилей.
Соответствующий объект
FencingSLAProfileназывается этим значением в нижнем регистре, так как имя объекта Kubernetes не может содержать заглавные буквы. Чтобы найти профиль, контроллер приводит значение к нижнему регистру.Допустимые значения:
Critical,Normal,Slow
- строкаspec.source
Обязательный параметр
Источник инцидента — кто создал объект:
MemberlistDead— fencing-agent, который увидел узел мёртвым в сети memberlist кластера;DeclareSuicide— fencing-agent, получивший сообщениеDeclareSuicideот узла. Этот агент — свидетель;NodeLeaseStale— fencing-controller, потому что Lease узла устарел. Текущая версия контроллера не создаёт объекты с этим источником.
Допустимые значения:
MemberlistDead,DeclareSuicide,NodeLeaseStale
- объектstatus
Наблюдаемое состояние инцидента. У каждой части статуса один владелец:
attestation— fencing-agent узла-свидетеля;contact— fencing-agent, получивший сообщение о контакте с отказавшим узлом. Текущая версия агента эту секцию не записывает;fallback— fencing-agent отказавшего узла;phase,correlationиconditions— fencing-controller. Текущая версия контроллера не записываетcorrelation.
Статус — подресурс. Создатель объекта не может задать его в запросе на создание.
- объектstatus.attestation
Аттестация отказа. Свидетель — узел, агент которого получил сообщение
DeclareSuicideот отказавшего узла. Агент свидетеля записывает имя своего узла.- строкаstatus.attestation.at
Обязательный параметр
Время аттестации с точностью до микросекунд.
Шаблон:
^[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{6}(Z|[+-][0-9]{2}:[0-9]{2})$ - строкаstatus.attestation.witness
Обязательный параметр
Имя узла-свидетеля.
- массив объектовstatus.conditions
Условия инцидента. Условие не заменяет фазу, поэтому контроллер может сообщить об одной и той же проблеме в любой фазе.
Условие
ConfigurationErrorсо статусомTrueи причинойProfileUnavailableконтроллер выставляет, пока не может прочитать нужные ему тайминги из профиля SLA, указанного вspec.profileRef.name. Причину указываетmessageусловия. В этом состоянии узел не эвакуируется. СтатусFalseс причинойProfileResolvedозначает, что контроллер нашёл профиль. Инциденту сarmed: falseпрофиль не нужен, у него тоже этот статус.Условие
Queuedсо статусомTrueуказывает, почему эвакуация ждёт в фазеQueued. Причины —ConcurrencyLimitиMassFailure. Текущая версия контроллера это условие не использует.Условие
Progressingсо статусомFalseконтроллер выставляет, когда эвакуация в фазеEvictingне завершилась за 60 секунд. Контроллер продолжает проверять узел. Значениеreasonуказывает, что мешает эвакуации сейчас, аmessage— подробности:VolumesAttached— у узла остались объектыVolumeAttachment, поэтому тома его подов недоступны другим узлам. Их имена указываетmessage;PodsRemaining— контроллер не смог удалить поды узла или эвакуации мешает другая ошибка API. Поды и ошибки указываетmessage;TooManyUnhealthyMachines— контроллер не удаляет Node облачной машины CAPI, так как MachineHealthCheck сейчас не заменит машину: нездоровы более 50 % машин или у кластера нет MachineHealthCheck, который показывает свои машины. Числа указываетmessage.
Когда эвакуация завершена, фаза становится
Evicted, и контроллер снимает условиеProgressing.- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
Время последнего изменения статуса условия.
- строкаstatus.conditions.message
Описание последнего изменения в свободной форме.
- целочисленныйstatus.conditions.observedGeneration
Поколение ресурса, для которого было установлено условие.
Допустимые значения:
0 <= X - строкаstatus.conditions.reason
Обязательный параметр
Машиночитаемая причина последнего изменения.
- строкаstatus.conditions.status
Обязательный параметр
Статус условия.
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
Тип условия.
- объектstatus.contact
Последний контакт с отказавшим узлом. Секцию записывает fencing-agent, получивший сообщение о контакте с узлом.
- строкаstatus.contact.at
Обязательный параметр
Время последнего контакта с отказавшим узлом с точностью до микросекунд.
Шаблон:
^[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{6}(Z|[+-][0-9]{2}:[0-9]{2})$ - строкаstatus.contact.reportedBy
Обязательный параметр
Имя узла, сообщившего о контакте.
- объектstatus.correlation
Корреляция инцидента с инцидентами других узлов. Текущая версия контроллера эту секцию не записывает.
- строкаstatus.correlation.episode
Идентификатор эпизода коррелированных отказов, в который входит этот инцидент.
- объектstatus.fallback
Свидетельство работоспособности от отказавшего узла. Секцию записывает только fencing-agent отказавшего узла и только через API Kubernetes, поэтому она появляется, только если узел видел API.
fencing-controller держит фазу
FallbackAlive, пока последний heartbeat не старше2 * heartbeat.interval + heartbeat.apiTimeoutиз профиля.- строкаstatus.fallback.lastHeartbeatAt
Обязательный параметр
Время последнего heartbeat узла с точностью до микросекунд.
Если свежие heartbeat прекратились, это признак того, что узел не видит API.
Шаблон:
^[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{6}(Z|[+-][0-9]{2}:[0-9]{2})$
- строкаstatus.phase
Фаза инцидента:
Suspected— отказ узла подозревается;FallbackAlive— узел пишет heartbeat через API Kubernetes. Например, ACL или межсетевой экран блокирует сеть между узлами, но API узлу доступен;Proven— отказ доказан. Контроллер доказывает отказ одним из двух способов:- аттестация: свидетель подтвердил остановку узла, и после того, как контроллер увидел аттестацию, прошло время
watchdog.timeout+watchdog.marginиз профиля. После аттестации узел не писал heartbeat; - молчание узла: после последнего признака жизни узла прошло время
controlPlaneLostAfter+ 0.2s +watchdog.timeout+watchdog.margin+ 0.9s из профиля. Последний признак жизни — более поздний из двух моментов: когда контроллер впервые увидел объект и когда он увидел последний heartbeat, плюсheartbeat.interval.
Пока условие
Fencingу Node неTrue, контроллер не записываетProven, и объект остаётся в фазеSuspected;- аттестация: свидетель подтвердил остановку узла, и после того, как контроллер увидел аттестацию, прошло время
Unproven— отказ входит в коррелированный отказ и не имеет аттестации. Текущая версия контроллера эту фазу не выставляет;Queued— эвакуация ждёт. Причину указывает условиеQueued. Текущая версия контроллера эту фазу не использует;Evicting— на узле стоит taintnode.kubernetes.io/out-of-service, эвакуация идёт. Если эвакуация не завершилась за 60 секунд, причину указывает условиеProgressing;Evicted— эвакуация завершена: контроллер удалил поды узла, и у узла не осталось объектовVolumeAttachment.
Контроллер записывает
Evictedдо того, как удаляет Node или Machine узла, который заменяет облако. Удаление Node удаляет и этот объект. Если записьEvictedне прошла, контроллер не удаляет ни Node, ни Machine. Если удаление не прошло, контроллер повторяет его в фазеEvicted.Объект с
armed: falseникогда не получает фазуProven. Он остаётся в фазеSuspectedилиFallbackAlive, и taint на узел не ставится.Пустая фаза означает, что контроллер ещё не обработал объект. Считайте её фазой
Suspected.Ошибка — не фаза. Контроллер сообщает об ошибке в
conditionsи сохраняет фазу.Допустимые значения:
Suspected,FallbackAlive,Proven,Unproven,Queued,Evicting,Evicted
FencingSLAProfile
Short names: fsp
Scope: Cluster
Version: v1alpha1
SLA-профиль fencing. Профиль содержит только тайминги. Корреляция, тормоз и лимит эвакуации — настройки модуля, а не профиля.
Модуль поставляет три профиля: critical, normal и slow. В Community Edition (CE) профиля critical нет, потому что режим Critical доступен только в коммерческих редакциях. Изменить профили может только Deckhouse. Режим spec.fencing.mode в NodeGroup выбирает профиль группы. Именем объекта служит название режима в нижнем регистре, потому что имя объекта Kubernetes не может содержать заглавные буквы.
Все агенты кластера работают в одной сети memberlist. Они используют секции memberlist и rejoin профиля самой быстрой группы, у которой режим не Disabled. Остальные секции агент группы, у которой режим не Disabled, берёт из профиля своей группы.
Профиль — cluster-scoped объект. У него нет состояния, поэтому у ресурса нет status.
- строкаapiVersion
- строкаkind
- объектmetadata
- объектspec
Обязательный параметр
Тайминги профиля. Каждое значение — длительность или число. Правила CEL этого объекта проверяют неравенства одного профиля, остальные неравенства проверяет агент.
В профиле нет таймингов проб kubernetes-api-proxy. Прокси использует одни и те же фиксированные значения на всех узлах:
- интервал проб: не больше 1.2s (1s с джиттером 20 %);
- таймаут пробы: 0.5s;
- неудачная проба не повторяется.
Наибольшая давность пробы — 1.7s (1.2s + 0.5s).
В профиле нет таймаутов опроса состояния control plane и периода чтения kubernetes-api-proxy. Эти тайминги одинаковы для всех профилей: это внутренние значения модуля.
- строкаspec.controlPlaneLostAfter
Обязательный параметр
Максимальная давность последней успешной пробы control plane. Узел видит control plane, пока последний ответ
Readyлюбого upstream apiserver не старше этого значения.Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32 - объектspec.eviction
Обязательный параметр
Параметры создания объектов
FencingFailedNodeState.В профиле нет задержки перед taint молчащего узла — узла без признаков жизни. fencing-controller вычисляет её из других значений профиля:
controlPlaneLostAfter+ 0.2s +watchdog.timeout+watchdog.margin+ 0.9s. Контроллер отсчитывает задержку от последнего признака жизни узла.- строкаspec.eviction.writerWaveInterval
Обязательный параметр
Интервал между волнами агентов, которые создают объекты
FencingFailedNodeState.Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32
- объектspec.heartbeat
Обязательный параметр
Параметры heartbeat, который отказавший узел пишет через API Kubernetes.
- строкаspec.heartbeat.apiTimeout
Обязательный параметр
Таймаут одного запроса агента к API Kubernetes. Его же использует TCP-таймаут memberlist.
Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32 - строкаspec.heartbeat.interval
Обязательный параметр
Интервал между записями heartbeat отказавшего узла в собственный
FencingFailedNodeState.Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32
- объектspec.memberlist
Обязательный параметр
Параметры memberlist и Lifeguard. Все агенты кластера используют эту секцию самого быстрого профиля среди групп узлов, у которых режим не
Disabled.- целочисленныйspec.memberlist.awarenessMaxMultiplier
Обязательный параметр
Максимальное замедление интервала проб у локально деградировавшего агента (Lifeguard awareness).
Допустимые значения:
1 <= X - строкаspec.memberlist.deadNodeReclaimTime
Обязательный параметр
Время, после которого новый узел может занять имя или адрес dead-узла.
Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32 - строкаspec.memberlist.gossipInterval
Обязательный параметр
Интервал между gossip-сообщениями.
Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32 - целочисленныйspec.memberlist.gossipNodes
Обязательный параметр
Количество peer, которые получают gossip в каждом интервале gossip.
Допустимые значения:
1 <= X - строкаspec.memberlist.gossipToTheDeadTime
Обязательный параметр
Время, в течение которого dead-узел ещё получает gossip. После восстановления узел может опровергнуть состояние dead.
Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32 - целочисленныйspec.memberlist.indirectChecks
Обязательный параметр
Количество непрямых проверок, когда прямая проба peer не удалась.
Допустимые значения:
1 <= X - строкаspec.memberlist.probeInterval
Обязательный параметр
Интервал между пробами одного peer. Меньше интервал — быстрее обнаружение отказа и больше probe-трафика. Значение должно быть не меньше удвоенного
probeTimeout.Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32 - строкаspec.memberlist.probeTimeout
Обязательный параметр
Сколько ждать ответа на пробу. Значение должно быть не больше половины
probeInterval.Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32 - целочисленныйspec.memberlist.retransmitMult
Обязательный параметр
Множитель повторной отправки gossip-рассылок:
retransmitMult * ceil(log10(nodeCount + 1)), гдеnodeCount— число узлов.Допустимые значения:
1 <= X - целочисленныйspec.memberlist.suspicionMaxTimeoutMult
Обязательный параметр
Верхняя граница таймера suspicion, когда подтверждения не приходят.
Допустимые значения:
1 <= X - целочисленныйspec.memberlist.suspicionMult
Обязательный параметр
Множитель окна suspicion, после которого peer помечается как dead. Значение должно быть не меньше 3.
Допустимые значения:
1 <= X
- объектspec.poll
Обязательный параметр
Параметры опроса состояния control plane между агентами.
- строкаspec.poll.witnessFresherBy
Обязательный параметр
Минимальный зазор между собственной последней успешной пробой и пробой ответившего узла. Ответ с меньшим зазором не считается свидетельством.
Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32
- объектspec.rejoin
Обязательный параметр
Параметры попыток join агента. Все агенты кластера используют эту секцию самого быстрого профиля среди групп узлов, у которых режим не
Disabled.- строкаspec.rejoin.interval
Обязательный параметр
Интервал между попытками join агента. Пока в сети memberlist не хватает узлов, агент повторяет попытку с этим фиксированным интервалом.
Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32
- объектspec.watchdog
Обязательный параметр
Параметры watchdog узла.
- строкаspec.watchdog.feedInterval
Обязательный параметр
Интервал между двумя кормлениями watchdog. Значение должно быть не больше четверти
timeout.Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32 - строкаspec.watchdog.margin
Обязательный параметр
Запас, который добавляется к
timeout. Значение должно быть не меньше 300ms и не меньше 5 % отtimeout.Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32 - строкаspec.watchdog.timeout
Обязательный параметр
Таймаут watchdog. Узел паникует, если агент не кормит watchdog в течение этого времени. Значение — целое число секунд, потому что устройство watchdog принимает целые секунды.
Шаблон:
^([0-9]+(\.[0-9]+)?(ms|s|m|h))+$Максимальная длина:
32
Instance
Scope: Cluster
- v1alpha2
- v1alpha1
Instance описывает полный жизненный цикл сервера в Deckhouse Platform, агрегируя состояние от объектов Machine (инфраструктура) и сервиса Bashible на узле (конфигурация).
- объектspec
Спецификация Instance, включая ссылки на связанные ресурсы.
- объектspec.classReference
Ссылка на объект
InstanceClass.Уникален для каждого модуля
cloud-provider-*илиinfra-provider-*.- строкаspec.classReference.kind
Тип объекта (например,
OpenStackInstanceClass).Тип объекта указан в документации соответствующего модуля облачного или инфраструктурного провайдера.
- строкаspec.classReference.name
Имя нужного объекта
InstanceClass(например,finland-medium).
- объектspec.machineRef
Ссылка на объект машины облачного провайдера.
- строкаspec.machineRef.apiVersion
Используемая версия API.
- строкаspec.machineRef.kind
Тип объекта.
- строкаspec.machineRef.name
Имя объекта.
- строкаspec.machineRef.namespace
Пространство имён, в котором находится объект.
- объектspec.nodeGroupRef
Ссылка на NodeGroup, заказавшую этот Instance. Известна до того, как узел вошёл в кластер.
- строкаspec.nodeGroupRef.name
Имя NodeGroup.
- объектspec.nodeRef
Ссылка на объект узла Kubernetes.
- строкаspec.nodeRef.name
Имя узла.
- объектstatus
Последнее наблюдаемое состояние Instance.
- строкаstatus.bashibleStatus
Агрегированный статус процесса конфигурации bashible.
Вычисляется из условия
BashibleReady.Допустимые значения:
Error,Unknown,Ready,WaitingApproval - объектstatus.bootstrapStatus
Информация о процессе начальной настройки узла.
- строкаstatus.bootstrapStatus.description
Описание процесса получения логов начальной настройки узла.
- строкаstatus.bootstrapStatus.logsEndpoint
HTTP-эндпоинт для получения логов начальной настройки узла.
- массив объектовstatus.conditions
Детализированные условия Instance (MachineReady, BashibleReady и т.д.).
На узле, у которого есть NodeConfig, условие
NodeAgentReadyравноTrue, пока агент узла присылает отчёты, иUnknownс причинойNoReport, если отчёта нет дольше 10 минут.- строкаstatus.conditions.lastHeartbeatTime
Время последнего heartbeat-обновления условия от источника.
- строкаstatus.conditions.lastTransitionTime
Время последнего перехода условия из одного состояния в другое.
- строкаstatus.conditions.message
Человекочитаемое сообщение с деталями перехода.
- целочисленныйstatus.conditions.observedGeneration
Поколение ресурса, наблюдаемое контроллером.
- строкаstatus.conditions.reason
Обязательный параметр
Причина последнего перехода условия.
- строкаstatus.conditions.severity
Серьёзность условия (
Error,Warning,Info). - строкаstatus.conditions.status
Обязательный параметр
Статус условия (
True,False,Unknown). - строкаstatus.conditions.type
Обязательный параметр
Тип условия (например,
MachineReady,BashibleReady).
- строкаstatus.machineStatus
Агрегированный статус инфраструктурной машины.
Вычисляется из условия
MachineReady.Допустимые значения:
Progressing,Error,Ready,Blocked,Rebooting - строкаstatus.message
Человекочитаемое сообщение с деталями текущего состояния или ошибки.
В CLI отображается только при использовании флага
-o wideпри вызовеd8 k. - строкаstatus.phase
Высокоуровневая фаза жизненного цикла Instance.
Соответствие: Pending -> Provisioning -> Provisioned -> Running -> Terminating.
Допустимые значения:
Pending,Provisioning,Provisioned,Running,Terminating,Unknown
Описывает независимый от реализации объект эфемерной машины.
- объектstatus
- объектstatus.bootstrapStatus
Информация о процессе начальной настройки узла.
- строкаstatus.bootstrapStatus.description
Описание процесса получения логов начальной настройки узла.
- строкаstatus.bootstrapStatus.logsEndpoint
HTTP-эндпоинт для получения логов начальной настройки узла.
- объектstatus.classReference
Ссылка на объект
InstanceClass. Уникален для каждого модуляcloud-provider-*.- строкаstatus.classReference.kind
Тип объекта (например,
OpenStackInstanceClass). Тип объекта указан в документации соответствующего модуля облачного провайдера.Допустимые значения:
OpenStackInstanceClass,GCPInstanceClass,VsphereInstanceClass,AWSInstanceClass,YandexInstanceClass,AzureInstanceClass,VCDInstanceClass,ZvirtInstanceClass,DynamixInstanceClass,HuaweiCloudInstanceClass,DVPInstanceClass,BareMetalInstanceClass - строкаstatus.classReference.name
Имя нужного объекта
InstanceClass(например,finland-medium).
- объектstatus.currentStatus
Текущий статус объекта.
- строкаstatus.currentStatus.lastUpdateTime
Время последнего обновления статуса.
- строкаstatus.currentStatus.phase
Фаза состояния машины в текущий момент времени.
- объектstatus.lastOperation
Последняя выполненная операция.
- строкаstatus.lastOperation.description
Описание текущей операции.
- строкаstatus.lastOperation.lastUpdateTime
Время последнего обновления операции.
- строкаstatus.lastOperation.state
Состояние операции.
- строкаstatus.lastOperation.type
Тип операции.
- объектstatus.machineRef
Ссылка на объект машины облачного провайдера.
- строкаstatus.machineRef.apiVersion
Используемая версия API.
- строкаstatus.machineRef.kind
Тип объекта.
- строкаstatus.machineRef.name
Имя объекта.
- строкаstatus.machineRef.namespace
Пространство имён, в котором находится объект.
- объектstatus.nodeRef
Ссылка на объект узла Kubernetes.
- строкаstatus.nodeRef.name
Имя узла.
InstanceTypesCatalog
Scope: Cluster
Version: v1alpha1
Содержит информацию о данных, обнаруженных в облаке.
- массив объектовinstanceTypes
Обязательный параметр
Список доступных типов виртуальных машин.
- строка или числоinstanceTypes.cpu
Обязательный параметр
Количество vCPU для данного типа виртуальной машины.
Шаблон:
^(\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))(([KMGTPE]i)|[numkMGTPE]|([eE](\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))))?$ - строка или числоinstanceTypes.memory
Обязательный параметр
Объем оперативной памяти для данного типа виртуальной машины.
Шаблон:
^(\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))(([KMGTPE]i)|[numkMGTPE]|([eE](\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))))?$ - строкаinstanceTypes.name
Имя типа виртуальной машины.
- строка или числоinstanceTypes.rootDisk
Размер корневого диска.
Шаблон:
^(\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))(([KMGTPE]i)|[numkMGTPE]|([eE](\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))))?$
NodeGroup
Short names: ng
Scope: Cluster
- v1
- v1alpha2
- v1alpha1
Описывает runtime-параметры группы узлов.
Пример:
# NodeGroup for cloud nodes in AWS.
apiVersion: deckhouse.io/v1
kind: NodeGroup
metadata:
name: test
spec:
nodeType: CloudEphemeral
cloudInstances:
zones:
- eu-west-1a
- eu-west-1b
minPerZone: 1
maxPerZone: 2
classReference:
kind: AWSInstanceClass
name: test
nodeTemplate:
labels:
tier: test
---
# NodeGroup for static nodes on bare metal servers (or VMs).
apiVersion: deckhouse.io/v1
kind: NodeGroup
metadata:
name: worker
spec:
nodeType: Static
- объектmetadata
- строкаmetadata.name
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$Максимальная длина:
42
- объектspec
Обязательный параметр
- объектspec.chaos
Настройки Chaos Monkey.
Пример:
chaos: mode: DrainAndDelete period: 24h- строкаspec.chaos.mode
Режим работы Chaos Monkey:
DrainAndDelete— при срабатывании делает узлу drain, затем удаляет его.Disabled— не трогает данную NodeGroup.
По умолчанию:
DisabledДопустимые значения:
Disabled,DrainAndDelete - строкаspec.chaos.period
Интервал времени срабатывания Chaos Monkey.
Задается в виде строки с указанием часов и минут: 30m, 1h, 2h30m, 24h.
По умолчанию:
6hШаблон:
^([0-9]+h([0-9]+m)?|[0-9]+m)$
- объектspec.cloudInstances
Параметры облачных виртуальных машин группы узлов.
Параметр
cloudInstancesиспользуется для узлов типаCloudEphemeral. При настройке облачного провайдера через ModuleConfig также используется для узлов типаCloudPermanent, включая master-узлы. В этом случаеclassReferenceуказывает инстанс-класс с параметрами виртуальных машин.- объектspec.cloudInstances.classReference
Обязательный параметр
Ссылка на объект
InstanceClass. Уникален для каждого модуляcloud-provider-*.- строкаspec.cloudInstances.classReference.kind
Тип объекта
InstanceClass(например,OpenStackInstanceClass). Поддерживаемые типы определяются установленными модулями облачных провайдеров и указаны в их документации. - строкаspec.cloudInstances.classReference.name
Имя нужного
InstanceClass-объекта (например,finland-medium).
- целочисленныйspec.cloudInstances.maxPerZone
Обязательный параметр
Для узлов типа
CloudEphemeralзадаёт максимальное количество узлов в каждой зоне и верхнюю границу автоматического масштабирования.Для узлов типа
CloudPermanentполе обязательно при заданномcloudInstances. Укажите значение не меньшеminPerZone.Допустимые значения:
0 <= X - целочисленныйspec.cloudInstances.maxSurgePerZone
Максимальное количество инстансов, которые платформа создаёт в каждой зоне сверх желаемого количества, пока заменяет инстансы группы.
Замена происходит при изменении параметров, требующих пересоздания виртуальной машины, например в InstanceClass. Количество инстансов, которые cluster autoscaler заказывает при масштабировании группы, параметр не ограничивает. Подробнее о том, на что влияют параметры NodeGroup, в разделе «На что влияют параметры NodeGroup?».
Значение
0равнозначно незаданному параметру, в этом случае применяется значение по умолчанию.По умолчанию:
1Допустимые значения:
0 <= X - целочисленный
Недоступное количество инстансов при RollingUpdate’е.
По умолчанию:
0Допустимые значения:
0 <= X - целочисленныйspec.cloudInstances.minPerZone
Обязательный параметр
Для узлов типа
CloudEphemeralзадаёт минимальное количество узлов в каждой зоне и нижнюю границу автоматического масштабирования.Для узлов типа
CloudPermanentпри настройке провайдера через ModuleConfig задаёт требуемое количество узлов группы.Допустимые значения:
0 <= X - целочисленныйspec.cloudInstances.priority
Приоритет группы узлов.
При масштабировании кластера cluster autoscaler будет выбирать сначала группы узлов с установленным бОльшим приоритетом. Если существует несколько групп узлов с одинаковым приоритетом, группа будет выбрана из них случайным образом. Скоростью переключения на заказ узлов из групп с меньшим приоритетом можно управлять (подробнее — в разделе «FAQ»).
Использование приоритетов может быть удобно, например, для предпочтения заказа более дешевых узлов (например, spot-инстансов) перед более дорогими.
- булевыйspec.cloudInstances.quickShutdownПараметр устарел
Снижает время drain’а CloudEphemeral-машин до 5 минут.
- строка или числоspec.cloudInstances.standby
Количество резервных (подогретых) узлов в этой
NodeGroupво всех зонах.Резервный узел — это узел кластера, на котором резервируются ресурсы, доступные в любой момент для масштабирования. Наличие такого узла позволяет cluster autoscaler’у не ждать инициализации узла (которая может занимать несколько минут), а сразу размещать на нем нагрузку.
Значение может быть абсолютным (например,
2) или процентом желаемых узлов (например,10%). Если указан процент, абсолютное значение рассчитывается исходя из процента от максимального количества узлов (параметр maxPerZone), округленного в меньшую сторону, но не менее одного.Шаблон:
^[0-9]+%?$ - объектspec.cloudInstances.standbyHolder
Объем резервируемых ресурсов.
Используется для определения необходимости заказа резервных узлов.
- объектspec.cloudInstances.standbyHolder.notHeldResourcesПараметр устарел
Устарело: параметр больше не используется. Используйте параметр overprovisioningRate.
Резервируемые ресурсы.
- строка или числоspec.cloudInstances.standbyHolder.notHeldResources.cpu
Количество CPU.
Значение может быть абсолютным (например,
1) или в millicore-формате (например,1500m).Шаблон:
^[0-9]+m?$ - строка или числоspec.cloudInstances.standbyHolder.notHeldResources.memory
Количество памяти.
Значение может быть абсолютным в байтах (например,
128974848) или в Kubernetes-формате с суффиксами:G,Gi,M,Mi(например,750Mi).Шаблон:
^[0-9]+(\.[0-9]+)?(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$
- целочисленныйspec.cloudInstances.standbyHolder.overprovisioningRate
Процент резервируемых ресурсов, рассчитываемый от ресурсов узла в
NodeGroup.По умолчанию:
50Допустимые значения:
1 <= X <= 80
- массив строкspec.cloudInstances.zones
Переопределение перечня зон, в которых создаются инстансы.
Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.
Пример:
zones: - Helsinki - Espoo - Tampere
- объектspec.cri
Параметры container runtime.
- объектspec.cri.containerd
Параметры работы containerd.
При настройке этих параметров
cri.typeдолжен бытьContainerd.- целочисленныйspec.cri.containerd.maxConcurrentDownloads
Максимальное количество параллельных потоков загрузки для каждой операции pull.
По умолчанию:
3
- объектspec.cri.containerdV2
Параметры работы containerd V2.
При настройке этих параметров
cri.typeдолжен бытьContainerdV2.При использовании
ContainerdV2будет использоватьсяCgroupsV2(обеспечивает улучшенную безопасность и управление ресурсами).Для использования
ContainerdV2в качестве container runtime узлы в группе должны соответствовать следующим требованиям:- поддержка
CgroupsV2; - ядро Linux версии
5.8и новее; - systemd версии
244и новее; - поддержка модуля ядра
erofs.
- целочисленныйspec.cri.containerdV2.maxConcurrentDownloads
Максимальное количество параллельных потоков загрузки для каждой операции pull.
По умолчанию:
3
- поддержка
- объектspec.cri.dockerПараметр устарел
Параметры настройки Docker.
- булевыйspec.cri.docker.manage
Автоматическое управление версией и параметрами Docker.
По умолчанию:
true - целочисленныйspec.cri.docker.maxConcurrentDownloads
Максимальное количество потоков одновременного скачивания Docker-образов.
По умолчанию:
3
- объектspec.cri.notManaged
Настройки для CRI, установленных на узлах вручную.
- строкаspec.cri.notManaged.criSocketPath
Путь к сокету CRI.
- строкаspec.cri.type
Тип container runtime.
Если не указан, используется значение параметра
defaultCRIClusterConfiguration.Внимание. Поддержка Docker считается устаревшей.
Внимание. В редакции CSE доступен только containerd v2.
Допустимые значения:
Docker,Containerd,ContainerdV2,NotManaged
- объектspec.disruptions
Параметры обновлений, приводящих к возможному простою.
Пример:
disruptions: approvalMode: Automatic automatic: drainBeforeApproval: false windows: - from: '06:00' to: '08:00' days: - Tue - Sun- строкаspec.disruptions.approvalMode
Режим выдачи разрешения на disruptive-обновление (обновление, требующее прерывание работы узла):
Manual— отключить автоматическую выдачу разрешений на disruptive-обновление. Если потребуется disruptive-обновление, появится специальный алерт. При выборе этого режима не происходит автоматический drain узла. Если требуется drain узла, сделайте это вручную перед установкой аннотацииupdate.node.deckhouse.io/disruption-approved=на ресурсnode. Внимание. Для группы узловmasterрежим выдачи разрешения всегда должен бытьManual, чтобы избежать проблем при выполнении drain узла.Automatic— автоматически выдавать разрешения на disruptive-обновление. При этом возможен автоматический drain узла, управляющийся настройкой drainBeforeApproval.RollingUpdate— в этом режиме будет создан новый узел с обновленными настройками, а старый узел будет удален. Разрешено только для облачных узлов.
Когда не используется режим
RollingUpdate, при обновлении узел освобождается от нагрузки (drain), после чего обновляется (перезагружается) и вводится в работу. Обратите внимание, что в этом случае в кластере должно быть место для размещения нагрузки на время, пока обновляемый узел недоступен. В режимеRollingUpdateузел заменяется на обновленный, то есть на время обновления в кластере появляется дополнительный узел. В облачной инфраструктуре режимRollingUpdateудобен, например, если в кластере нет ресурсов для временного размещения нагрузки с обновляемого узла.По умолчанию:
AutomaticДопустимые значения:
Manual,Automatic,RollingUpdate - объектspec.disruptions.automatic
Дополнительные параметры для режима
Automatic.- булевыйspec.disruptions.automatic.drainBeforeApproval
Выполнение drain подов с узла перед выдачей разрешения на disruption.
Внимание. Данная настройка игнорируется (узлам будет выдано разрешение без предварительного выполнения drain подов с узлов):
- для nodeGroup
masterс единственным узлом; - для выделенного под запуск Deckhouse Platform узла, если этот узел в группе узлов единственно рабочий (Ready).
По умолчанию:
true - для nodeGroup
- массив объектовspec.disruptions.automatic.windows
Список окон disruption-обновлений узлов.
- массив строкspec.disruptions.automatic.windows.days
Дни недели, в которые применяется окно обновлений.
Примеры:
days: Mondays: Wed- строкаЭлемент массива
День недели.
Допустимые значения:
Mon,Tue,Wed,Thu,Fri,Sat,Sun
- строкаspec.disruptions.automatic.windows.from
Обязательный параметр
Время начала окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
from: '13:00' - строкаspec.disruptions.automatic.windows.to
Обязательный параметр
Время окончания окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
to: '18:30'
- объектspec.disruptions.rollingUpdate
Дополнительные параметры для режима
RollingUpdate.- массив объектовspec.disruptions.rollingUpdate.windows
Список окон disruption-обновлений узлов.
- массив строкspec.disruptions.rollingUpdate.windows.days
Дни недели, в которые применяется окно обновлений.
Примеры:
days: Mondays: Wed- строкаЭлемент массива
День недели.
Допустимые значения:
Mon,Tue,Wed,Thu,Fri,Sat,Sun
- строкаspec.disruptions.rollingUpdate.windows.from
Обязательный параметр
Время начала окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
from: '13:00' - строкаspec.disruptions.rollingUpdate.windows.to
Обязательный параметр
Время окончания окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
to: '18:30'
- объектspec.fencing
Настройки fencing для группы узлов.
- строкаspec.fencing.mode
Режим fencing для группы узлов. Каждый режим, кроме
Disabled, выбирает встроенный профиль FencingSLAProfile с таймингами реакции для группы:Disabled— fencing для группы узлов выключен. Группа узлов безfencingтоже находится в этом режиме.Critical— профильcritical, реакция примерно за 12 секунд. Доступен только в коммерческих редакциях. В Community Edition (CE) Deckhouse не позволяет задать этот режим, а группа, у которой он уже задан, работает какNormal.Normal— профильnormal, реакция примерно за 30 секунд.Slow— профильslow, реакция примерно за 60 секунд.Watchdog— устарел. Этот режим работает какSlow. ИспользуйтеNormal,SlowилиCritical(Criticalдоступен только в коммерческих редакциях).
Если хотя бы у одной группы узлов режим отличается от
Disabled, fencing-agent запускается на всех узлах кластера. Если у всех групп узлов режимDisabled, Deckhouse не разворачивает fencing-agent.В кластере с одним мастером Deckhouse не позволяет включить fencing у существующей группы узлов и выдаёт предупреждение при создании группы с fencing, потому что отказ или перезагрузка этого мастера останавливает все узлы с fencing.
Как работает fencing-agent:
- Агенты всех узлов кластера образуют одну gossip-сеть (
memberlist). Каждый агент работает в этой сети с таймингами самого быстрого режима из заданных на группах узлов. Протокол memberlist правильно обнаруживает отказы, только когда у всех участников одинаковые тайминги. - На узлах группы с режимом, отличным от
Disabled, агент вооружает устройство/dev/watchdogс таймаутом watchdog из профиля своей группы. Пока агент работает, он сбрасывает таймер. Если узел или агент зависает, таймер истекает, и ядро уходит в kernel panic. - Если узел не видит control plane дольше
controlPlaneLostAfterиз профиля, агент сразу перестаёт сбрасывать таймер. По истечении таймаута watchdog узел останавливается. Если control plane снова доступен до истечения таймаута, агент снова сбрасывает таймер, и узел продолжает работать. Поэтому короткая пауза control plane не останавливает узлы. - Перестав сбрасывать таймер, агент опрашивает агентов других узлов и ищет свидетеля — узел, который видит control plane. Свидетель записывает аттестацию остановки. После этого остановка окончательна.
- На узлах группы с режимом
Disabledагент только участвует в обнаружении отказов. Агент не вооружает watchdog. - Агент учитывает аннотации обслуживания
node-manager.deckhouse.io/fencing-disable,update.node.deckhouse.io/approvedиupdate.node.deckhouse.io/disruption-approved, чтобы временно отключать watchdog на время плановых операций.
Для режима, отличного от
Disabled, скрипт NodeGroupConfiguration загружает модуль ядраsoftdogс параметромsoft_panic=1. Таймаут watchdog задаёт fencing-agent, когда вооружает устройство.На узлах группы с
systemType: Immutable(Deckhouse Engine) скрипт NodeGroupConfiguration не выполняется. На этих узлахsoftdogвстроен в ядро и запускается сsoft_panic=1. Права на/dev/watchdogзадаёт образ операционной системы. Таймаут из профиля fencing-agent выставляет так же, как на других узлах. Если узел установлен до выпуска Deckhouse Engine со встроенным в ядроsoftdog, узел получаетsoftdogтолько после переустановки или обновления загрузочного раздела.Для режима, отличного от
Disabled, Deckhouse отключает автоматическую перезагрузку узла после kernel panic на уровне ОС. Это исключает возврат узла с неопределённым состоянием: остановленный узел остаётся выключенным, пока вы не восстановите его вручную.Когда остановка узла гарантирована, fencing-controller ставит на узел taint
node.kubernetes.io/out-of-service. После установки taint контроллер ставит подам узла фазуFailedи условиеDisruptionTargetи сразу удаляет эти поды, в том числе поды, которые терпят taint. Поды DaemonSet и static-поды контроллер не удаляет. Finalizer подов контроллер не снимает: под с finalizer остаётся в API, пока владелец finalizer не снимет его. Для такого пода StatefulSet контроллер отправляет событие-предупреждение с именами finalizer. Эвакуация завершена, когда у узла не осталось объектовVolumeAttachment. Если эвакуация не завершилась за 60 секунд, инцидент остаётся в фазеEvictingи получает условиеProgressingсо статусомFalseи причиной. Контроллер продолжает проверять узел. После эвакуации Deckhouse действует так:- Для узла группы
CloudPermanent,CloudStaticилиStatic(включая группуStaticсstaticInstances, то есть CAPS), для master-узла и для узла etcd-arbiter Deckhouse только оставляет taint. Объект Node Deckhouse не удаляет никогда. - Для узла группы
CloudEphemeralсstatus.engine: CAPIDeckhouse удаляет объект Node, только если MachineHealthCheck кластера Cluster API показывает свои машины и нездоровых из них не больше 50 %. Остановленную машину Deckhouse считает нездоровой. Затем MachineHealthCheck выставляет у Machine conditionHealthCheckSucceededвFalseс причинойNodeDeletedи заменяет машину. Если нездоровых машин больше 50 % или MachineHealthCheck ещё не показывает свои машины, Deckhouse пока не удаляет объект Node. Контроллер продолжает проверять машины. Когда нездоровых машин становится не больше 50 %, контроллер удаляет объект Node и завершает эвакуацию. - Для узла группы
CloudEphemeralсstatus.engine: MCMDeckhouse удаляетMachine(machine.sapcloud.io). Machine Controller Manager создаёт новую машину.
Когда узел возвращается (Node в состоянии
Readyи у него новый boot ID), fencing-controller снимает taint автоматически. Контроллер работает, только пока хотя бы у одной группы узлов режим отличается отDisabled. Если выключить fencing во всех группах узлов, taint остаётся на узле, и снять его нужно вручную.Остановка гарантирована в одном из двух случаев: свидетель подтвердил остановку и прошло
watchdog.timeout+watchdog.marginиз профиля, или узел молчитcontrolPlaneLostAfter+ 0,2 с +watchdog.timeout+watchdog.margin+ 0,9 с из профиля после последнего признака жизни. Пока conditionFencingу Node неTrue, контроллер не ставит taint.Если fencing-controller не ставит taint, Kubernetes выселяет поды узла через время, заданное в параметре
failedNodePodEvictionTimeoutSecondsмодуляcontrol-plane-manager(по умолчанию 300 секунд).Подробнее о том, как механизм fencing обрабатывает сбойный узел, можно почитать в разделе «FAQ».
По умолчанию:
DisabledДопустимые значения:
Disabled— Fencing для группы узлов выключен. Группа узлов без fencing тоже находится в этом режиме.Normal— Профиль normal, реакция примерно за 30 секунд.Slow— Профиль slow, реакция примерно за 60 секунд.Critical— Профиль critical, реакция примерно за 12 секунд. Доступен только в коммерческих редакциях.Watchdog— Устарел. Работает как Slow. Используйте Normal, Slow или Critical (Critical доступен только в коммерческих редакциях). - объектspec.fencing.watchdog
Устарело. Deckhouse сохраняет настройки fencing 1.0 только для совместимости и игнорирует их.
- строкаspec.fencing.watchdog.timeout
Устарело. Deckhouse игнорирует это поле. Таймаут watchdog берётся из профиля режима fencing.
Шаблон:
^[0-9]+[smh]{1}$
- объектspec.gpu
Доступно в редакциях: Ultimate/EE
Параметры GPU.
Секцию использует модуль
gpu: по ней он выбирает группы узлов, которые обслуживает в режиме Device Plugin. Если модульgpuвыключен, секция ни на что не влияет.- объектspec.gpu.exclusive
Режим без разделения GPU.
- объектspec.gpu.mig
Параметры для стратегии
MIG.- массив объектовspec.gpu.mig.customConfigs
Кастомное разбиение MIG по индексам GPU.
Используется только при значении
partedConfig: custom.Представляет собой массив устройств (map по
index), где каждый элемент указывает на GPU по его индексу и описывает создаваемые срезы.Примеры:
customConfigs: profile: 3g.40gb count: 2customConfigs: profile: 1g.10gb.me count: 1- целочисленныйspec.gpu.mig.customConfigs.index
Обязательный параметр
Индекс GPU на узле.
Допустимые значения:
0 <= X - массив объектовspec.gpu.mig.customConfigs.slices
Обязательный параметр
Список создаваемых MIG-срезов.
- целочисленныйspec.gpu.mig.customConfigs.slices.count
Обязательный параметр
Количество срезов выбранного профиля.
По умолчанию:
1Допустимые значения:
1 <= X <= 7 - строкаspec.gpu.mig.customConfigs.slices.profile
Обязательный параметр
Имя MIG-профиля.
Шаблон:
^[0-9]+g\.[0-9]+gb(\.me)?$Примеры:
profile: 3g.40gbprofile: 1g.10gbprofile: 1g.10gb.me
- строкаspec.gpu.mig.partedConfig
Имя используемой конфигурации MIG.
Поддерживаются стандартные профили вида
all-*(одинаковое разбиение для всех GPU) или значениеcustom, позволяющее задать разбиение отдельно для каждой видеокарты.По умолчанию:
all-1g.5gb
- строкаspec.gpu.sharing
Стратегия разделения GPU:
Exclusive— без разделения (каждый GPU полностью выделяется одному поду).TimeSlicing— разделение GPU по времени (несколько подов могут одновременно использовать один GPU, поочередно получая доступ к его вычислительным ресурсам).MIG— разделение одного GPU на несколько экземпляров (технология NVIDIA MIG, при наличии поддержки).
Допустимые значения:
TimeSlicing,MIG,Exclusive - объектspec.gpu.timeSlicing
Параметры для стратегии
TimeSlicing.- числоspec.gpu.timeSlicing.partitionCount
Количество разделов (виртуальных GPU) на один физический GPU.
По умолчанию:
4Допустимые значения:
1 <= X <= 100
- объектspec.kubelet
Параметры настройки kubelet.
- целочисленныйspec.kubelet.containerLogMaxFiles
Максимальное количество файлов журналов с учетом ротации.
По умолчанию:
4Допустимые значения:
2 <= X <= 20 - строкаspec.kubelet.containerLogMaxSize
Максимальный размер файла журнала до того, как он будет ротирован.
По умолчанию:
50MiШаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m] - целочисленныйspec.kubelet.maxPods
Максимальное количество подов на узлах данной NodeGroup. Если явно не задан, по умолчанию задается в зависимости от значения параметра
podSubnetNodeCIDRPrefixмодуляcontrol-plane-manager:120подов дляpodSubnetNodeCIDRPrefix≥24;250подов дляpodSubnetNodeCIDRPrefix=23;500подов дляpodSubnetNodeCIDRPrefix=22;1000подов дляpodSubnetNodeCIDRPrefix≤21.
- объектspec.kubelet.memorySwap
Конфигурация использования swap-памяти для kubelet.
- объектspec.kubelet.memorySwap.limitedSwap
Настройки режима ограниченного использования swap. Требуются, если для
swapBehaviorуказано значениеLimitedSwap.- строкаspec.kubelet.memorySwap.limitedSwap.size
Обязательный параметр
Размер создаваемого swap-файла в ГБ (например, “2G”, “4G”).
Шаблон:
^\d+G$Пример:
size: 1G
- строкаspec.kubelet.memorySwap.swapBehavior
Определяет, как используется swap-память на узле:
NoSwap— swap отключен. Это традиционное поведение Kubernetes.LimitedSwap— kubelet может использовать swap-память в пределах, заданных вlimitedSwap.size.
Подробнее об использовании swap-памяти на узлах можно прочитать в документации Kubernetes.
Допустимые значения:
NoSwap,LimitedSwap - целочисленныйspec.kubelet.memorySwap.swappiness
Определяет склонность ядра к использованию swap.
0— минимальное использование (только для предотвращения OOM).60— сбалансированное поведение по умолчанию.100— агрессивное использование.
Значение устанавливается через параметр sysctl
vm.swappiness.По умолчанию:
60Допустимые значения:
0 <= X <= 100
- объектspec.kubelet.resourceReservation
Управление резервированием ресурсов для системных служб на узле.
Больше информации в документации Kubernetes.
- строкаspec.kubelet.resourceReservation.mode
Выбор режима резервирования системных ресурсов:
Off— отключение резервирования системных ресурсов.Auto— автоматический подсчет резервирования через алгоритм, основанный на размере узла.Static— указание статических значений через параметрstatic.
Обратите внимание, что Deckhouse не использует выделенную
cgroupдля резервирования ресурсов (флаг-system-reserved-cgroupне используется).По умолчанию:
Auto - объектspec.kubelet.resourceReservation.static
Параметры резервирования ресурсов в режиме
Static.- строка или числоspec.kubelet.resourceReservation.static.cpu
Шаблон:
\d+[m] - строка или числоspec.kubelet.resourceReservation.static.ephemeralStorage
Шаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m] - строка или числоspec.kubelet.resourceReservation.static.memory
Шаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]
- строкаspec.kubelet.rootDir
Путь к каталогу для файлов kubelet (volume mounts и т. д.).
По умолчанию:
/var/lib/kubelet - булевыйspec.kubelet.seccompDefault
Использовать seccomp-профиль
RuntimeDefaultдля workload’ов, где seccomp-профиль не задан явно. - объектspec.kubelet.topologyManager
Управление менеджерами ресурсов kubelet на NUMA-узлах: менеджером CPU, менеджером памяти и менеджером топологии.
При политике, отличной от
None, контейнеры подов класса Guaranteed с целым числом CPU получают эксклюзивные CPU, а память подов класса Guaranteed закрепляется за NUMA-узлами. ПриRestrictedиSingleNumaNodeони получают целые физические ядра. Deckhouse рассчитывает зависящие от NUMA параметры kubelet на каждом узле группы: распределяетreservedMemoryпо NUMA-узлам и задаётmax-allowable-numa-nodesна узлах, где NUMA-узлов больше 8.Для политики, отличной от
None, нуженresourceReservation.modeAutoилиStaticс положительнымstatic.cpu. Изменение настроек перезапускает kubelet и на узлах с подами класса Guaranteed может потребовать прерывания работы узла (disruption). Подробнее - в разделе Как выделить подам отдельные CPU и выровнять их по NUMA?Дополнительная информация в документации Kubernetes.
- булевыйspec.kubelet.topologyManager.enabledПараметр устарел
Устарел, ни на что не влияет. Менеджерами ресурсов управляет только
policy. - строкаspec.kubelet.topologyManager.policy
Политика выравнивания ресурсов и связанные с ней настройки kubelet:
None: выравнивание не выполняется. Менеджеры CPU и памяти не используются.BestEffort: поды класса Guaranteed получают эксклюзивные CPU и память, закреплённую за NUMA-узлами. Ресурсы выравниваются по NUMA-узлам, если это возможно; если нет, под всё равно допускается, но отклоняется, если не удаётся разместить его память.Restricted: поды класса Guaranteed получают эксклюзивные целые физические ядра и память, закреплённую за NUMA-узлами. Под отклоняется, если его ресурсы невозможно выровнять; если поду нужно несколько NUMA-узлов, выбираются ближайшие.SingleNumaNode: какRestricted, но все ресурсы пода (или контейнера, см.scope) должны браться из одного NUMA-узла.
Подробнее - в документации Kubernetes.
По умолчанию:
NoneДопустимые значения:
None,BestEffort,Restricted,SingleNumaNode - строкаspec.kubelet.topologyManager.scope
Определение гранулярности выравнивания ресурсов:
Container: ресурсы выравниваются для каждого контейнера отдельно.Pod: все контейнеры пода выравниваются вместе.
По умолчанию:
PodДопустимые значения:
Container,Pod
- целочисленныйspec.nodeDrainTimeoutSecond
Максимальная продолжительность периода (в секундах), в течение которого контроллер будет пытаться переселить поды на новую машину в процессе выполнения drain на узле.
Когда удаляется машина, операция
Drainвытесняет поды в течение этого времени. После этого машина удаляется в любом случае. В NodeGroup типаStaticилиCloudStaticбез этого поля время операцииDrainудаляемой машины не ограничено.Диапазон тот же, что и раньше проверялся в настройках самого модуля. Значение за его пределами здесь принималось, а при чтении настроек отвергалось, из-за чего переставал работать весь node-manager.
Допустимые значения:
30 <= X <= 7200 - объектspec.nodeTemplate
Настройки
Node-объектов в Kubernetes, которые будут добавлены после регистрации узла.Пример:
nodeTemplate: labels: environment: production app: warp-drive-ai annotations: ai.fleet.com/discombobulate: 'true' taints: - effect: NoExecute key: ship-class value: frigate- объектspec.nodeTemplate.annotations
Аналогично стандартному полю
metadata.annotations.Пример:
annotations: ai.fleet.com/discombobulate: 'true' - объектspec.nodeTemplate.labels
Аналогично стандартному полю
metadata.labels.Пример:
labels: environment: production app: warp-drive-ai - массив объектовspec.nodeTemplate.taints
Аналогично полю
.spec.taintsиз объекта Node.Доступны только поля
effect,key,value.Пример:
taints: - effect: NoExecute key: ship-class value: frigate- строкаspec.nodeTemplate.taints.effect
Допустимые значения:
NoSchedule,PreferNoSchedule,NoExecute - строкаspec.nodeTemplate.taints.key
- строкаspec.nodeTemplate.taints.value
- строкаspec.nodeType
Обязательный параметр
Тип узлов, которые представляет эта группа:
CloudEphemeral— узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере;CloudPermanent. Узлы создаются и удаляются черезdhctl. Параметры виртуальных машин задаются в конфигурации облачного провайдера. При настройке провайдера через ModuleConfig параметры задаются в инстанс-классе, на который ссылаетсяcloudInstances.classReference;CloudStatic— узел, созданный вручную или любыми внешними инструментами, размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров. На таком узле работает CSI и такой узел управляется cloud-controller-manager’ом: объектNodeавтоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака, соответствующий ему объектNodeбудет удален в Kubernetes;Static— статический узел, размещенный на физическом сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров.
Допустимые значения:
CloudEphemeral,CloudPermanent,CloudStatic,Static - объектspec.operatingSystem
Параметры операционной системы.
- булевыйspec.operatingSystem.manageKernelПараметр устарел
Этот параметр не используется. Раньше он включал автоматическое управление ядром операционной системы.
По умолчанию:
true
- строкаspec.providerType
Тип облачного провайдера группы узлов.
Noneили пустое значение — для статической группы узлов. - объектspec.staticInstances
Параметры настройки машин статических узлов кластера.
- целочисленныйspec.staticInstances.count
Желаемое количество ресурсов StaticInstance (подпадающих под
labelSelector), которые Deckhouse Platform автоматически настроит и добавит в кластер.В NodeGroup со Static- и CloudStatic-узлами этот параметр задаёт ожидаемое количество узлов. Deckhouse Platform использует это значение для контроля состояния и автоматизации.
Внимание. Этот параметр необходимо задавать явно. Значение по умолчанию —
0, поэтому без изменения этого значения Deckhouse Platform не настроит ни один ресурс StaticInstance и не добавит в группу ни одного узла. Чтобы добавить статические узлы, укажите здесь нужное количество (больше0).По умолчанию:
0Допустимые значения:
0 <= X - объектspec.staticInstances.labelSelector
Селектор лейблов для выбора ресурсов StaticInstance, которые использует группа узлов.
Если заданы и
matchLabels, иmatchExpressions, ресурс StaticInstance должен удовлетворять всем условиям сразу.Пустой селектор (
{}) выбирает все ресурсы StaticInstance. Если селектор не задан, группа узлов не выбирает ни одного ресурса StaticInstance.Внимание. Селектор, в котором задано хотя бы одно условие, изменить или удалить нельзя. Чтобы сменить его, создайте новую группу узлов и перенесите в неё статические узлы.
Добавить селектор в группу узлов, которая уже использует ресурсы StaticInstance, можно только тогда, когда лейблы всех этих ресурсов удовлетворяют новому селектору. Иначе вебхук отклоняет изменение и перечисляет в сообщении об ошибке ресурсы, которые селектору не соответствуют.
После добавления селектора существующие статические узлы не пересоздаются и продолжают работать с прежней конфигурацией, но к каждому новому узлу платформа применяет селектор. Ресурс StaticInstance, который селектору не соответствует, повторно использовать не получится, поэтому узлов в группе станет меньше, чем задано параметром
count.Чтобы добавить селектор:
- Проставьте нужные лейблы всем ресурсам StaticInstance группы узлов командой
d8 k label staticinstance <STATIC_INSTANCE> <KEY>=<VALUE>. - Задайте селектор в параметре
spec.staticInstancesресурса NodeGroup.
- массив объектовspec.staticInstances.labelSelector.matchExpressions
Список фильтров на основе выражений.
Итоговый результат — результат пересечения множеств, определяемых всеми фильтрами в списке (операция
И).Требования к селектору лейблов — он должен содержать значения, ключ и оператор, связывающий ключ и значения.
- строкаspec.staticInstances.labelSelector.matchExpressions.key
Имя лейбла.
- строкаspec.staticInstances.labelSelector.matchExpressions.operator
Оператор сравнения.
- массив строкspec.staticInstances.labelSelector.matchExpressions.values
Значение лейбла.
- строкаЭлемент массива
Шаблон:
[a-z0-9]([-a-z0-9]*[a-z0-9])?Длина:
1..63
- объектspec.staticInstances.labelSelector.matchLabels
Фильтр на основе совпадения/несовпадения лейблов.
- Проставьте нужные лейблы всем ресурсам StaticInstance группы узлов командой
- строкаspec.systemType
Способ управления узлами группы.
GenericOS— узлы Generic OS, которые bashible настраивает «на лету». Незаполненное поле означает то же самое.DeckhouseEngine— узлы Deckhouse Engine. Агент узла приводит узел в состояние, описанное в объекте NodeConfig, без bashible. Машина должна загружаться с образа Deckhouse Engine.
DeckhouseEngineподдерживается для групп:Static— машины должны добавляться командойd8 node add, параметрstaticInstancesиспользовать нельзя;CloudStatic— машины создаются вручную или любыми внешними инструментами;CloudEphemeral— машины должен создавать облачный провайдер через Cluster API (CAPI);CloudPermanent— машины создаёт dhctl.
Значение
DeckhouseEngineможно указать, только пока в группе нет узлов, настроенных bashible.DeckhouseEngineнельзя удалить или изменить наGenericOS.Допустимые значения:
GenericOS,DeckhouseEngine - объектspec.update
- строка или числоspec.update.maxConcurrent
Максимальное количество одновременно обновляемых узлов.
Можно указать число узлов или процент от общего количества узлов в данной группе.
По умолчанию:
1Шаблон:
^[1-9][0-9]*%?$
- объектstatus
- объектstatus.conditionSummary
- строкаstatus.conditionSummary.ready
Готовность группы узлов по сводному состоянию.
Допустимые значения:
True,False - строкаstatus.conditionSummary.statusMessage
Сообщение о состоянии обработки группы узлов.
- массив объектовstatus.conditions
- строкаstatus.conditions.lastTransitionTime
Время последнего перехода условия из одного состояния в другое.
- строкаstatus.conditions.message
Человекочитаемое сообщение с подробностями последнего перехода.
- строкаstatus.conditions.status
Обязательный параметр
Статус условия:
TrueилиFalse. - строкаstatus.conditions.type
Обязательный параметр
Тип условия группы узлов.
- объектstatus.deckhouse
- объектstatus.deckhouse.observed
Содержит время последнего обнаруженного оператором изменения ресурса и его контрольную сумму.
- строкаstatus.deckhouse.observed.checkSum
Контрольная сумма последней обнаруженной версии ресурса.
- строкаstatus.deckhouse.observed.lastTimestamp
Время, когда оператор в последний раз обнаружил изменение ресурса.
- объектstatus.deckhouse.processed
Содержит время последнего применения ресурса в кластере оператором и его контрольную сумму.
- строкаstatus.deckhouse.processed.checkSum
Контрольная сумма последней применённой версии ресурса.
- строкаstatus.deckhouse.processed.lastTimestamp
Время, когда ресурс был в последний раз применён в кластере.
- строкаstatus.deckhouse.synced
Указывает, была ли последняя обнаруженная версия ресурса успешно применена в кластере.
- целочисленныйstatus.desired
Желаемое количество машин в группе.
- строкаstatus.engine
Фактический механизм управления узлами в этой группе.
Значение поля определяет, каким компонентом управляются узлы:
None— узлы группы не управляются через Machine Controller Manager или CAPI;MCM— узлы группы управляются через Machine Controller Manager;CAPI— узлы группы управляются через Cluster API.
Допустимые значения:
None,MCM,CAPI - строкаstatus.error
Сообщение об ошибке при обработке группы узлов.
- целочисленныйstatus.instances
Количество инстансов в группе в любом состоянии.
- строкаstatus.kubernetesVersion
Текущая версия Kubernetes на узлах или версия, до которой узлы будут обновлены.
- массив объектовstatus.lastMachineFailures
- объектstatus.lastMachineFailures.lastOperation
- строкаstatus.lastMachineFailures.lastOperation.description
Описание последней операции.
- строкаstatus.lastMachineFailures.lastOperation.lastUpdateTime
Время последнего обновления статуса операции.
- строкаstatus.lastMachineFailures.lastOperation.state
Состояние операции с машиной.
- строкаstatus.lastMachineFailures.lastOperation.type
Тип операции.
- строкаstatus.lastMachineFailures.name
Имя машины.
- строкаstatus.lastMachineFailures.ownerRef
Имя владельца машины.
- строкаstatus.lastMachineFailures.providerID
ProviderID машины.
- целочисленныйstatus.max
Максимальное количество инстансов в группе.
- целочисленныйstatus.min
Минимальное количество инстансов в группе.
- целочисленныйstatus.nodes
Количество Kubernetes-узлов в группе в любом состоянии.
- целочисленныйstatus.ready
Количество готовых Kubernetes-узлов в группе.
- целочисленныйstatus.standby
Количество резервных инстансов в группе.
- целочисленныйstatus.upToDate
Количество узлов в актуальном состоянии.
Описывает runtime-параметры группы узлов.
- объектmetadata
- строкаmetadata.name
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$Максимальная длина:
42
- объектspec
Обязательный параметр
- объектspec.chaos
Настройки Chaos Monkey.
Пример:
chaos: mode: DrainAndDelete period: 24h- строкаspec.chaos.mode
Режим работы Chaos Monkey:
DrainAndDelete— при срабатывании делает узлу drain, затем удаляет его.Disabled— не трогает данную NodeGroup.
По умолчанию:
DisabledДопустимые значения:
Disabled,DrainAndDelete - строкаspec.chaos.period
Интервал времени срабатывания Chaos Monkey.
Задается в виде строки с указанием часов и минут: 30m, 1h, 2h30m, 24h.
По умолчанию:
6hШаблон:
^[0-9]+[mh]{1}$
- объектspec.cloudInstances
Параметры заказа облачных виртуальных машин.
Внимание. Допустимо использовать только совместно с
nodeType: CloudEphemeral.- объектspec.cloudInstances.classReference
Обязательный параметр
Ссылка на объект
InstanceClass. Уникален для каждого модуляcloud-provider-*.- строкаspec.cloudInstances.classReference.kind
Тип объекта
InstanceClass(например,OpenStackInstanceClass). Поддерживаемые типы определяются установленными модулями облачных провайдеров и указаны в их документации. - строкаspec.cloudInstances.classReference.name
Имя нужного
InstanceClass-объекта (например,finland-medium).
- целочисленныйspec.cloudInstances.maxPerZone
Обязательный параметр
Максимальное количество инстансов в зоне.
Проставляется как верхняя граница в cluster-autoscaler.
Допустимые значения:
0 <= X - целочисленныйspec.cloudInstances.maxSurgePerZone
Максимальное количество инстансов, которые платформа создаёт в каждой зоне сверх желаемого количества, пока заменяет инстансы группы.
Замена происходит при изменении параметров, требующих пересоздания виртуальной машины, например в InstanceClass. Количество инстансов, которые cluster autoscaler заказывает при масштабировании группы, параметр не ограничивает. Подробнее о том, на что влияют параметры NodeGroup, в разделе «На что влияют параметры NodeGroup?».
Значение
0равнозначно незаданному параметру, в этом случае применяется значение по умолчанию.По умолчанию:
1Допустимые значения:
0 <= X - целочисленный
Недоступное количество инстансов при RollingUpdate’е.
По умолчанию:
0Допустимые значения:
0 <= X - целочисленныйspec.cloudInstances.minPerZone
Обязательный параметр
Минимальное количество инстансов в зоне.
Проставляется в объект
MachineDeploymentи в качестве нижней границы в cluster autoscaler.При значении 0 для некоторых
InstanceClassнужно задавать capacity. Более подробно можно узнать в описании нужныхInstanceClass.Допустимые значения:
0 <= X - строка или числоspec.cloudInstances.standby
Количество резервных (подогретых) узлов в этой
NodeGroupво всех зонах.Резервный узел — это узел кластера, на котором резервируются ресурсы, доступные в любой момент для масштабирования. Наличие такого узла позволяет cluster autoscaler’у не ждать инициализации узла (которая может занимать несколько минут), а сразу размещать на нем нагрузку.
Значение может быть абсолютным (например,
2) или процентом желаемых узлов (например,10%). Если указан процент, абсолютное значение рассчитывается исходя из процента от максимального количества узлов (параметр maxPerZone), округленного в меньшую сторону, но не менее одного.Шаблон:
^[0-9]+%?$ - объектspec.cloudInstances.standbyHolder
Объем резервируемых ресурсов.
Используется для определения необходимости заказа резервных узлов.
- объектspec.cloudInstances.standbyHolder.notHeldResources
Резервируемые ресурсы.
- строка или числоspec.cloudInstances.standbyHolder.notHeldResources.cpu
Количество CPU.
Значение может быть абсолютным (например,
1) или в millicore-формате (например,1500m).Шаблон:
^[0-9]+m?$ - строка или числоspec.cloudInstances.standbyHolder.notHeldResources.memory
Количество памяти.
Значение может быть абсолютным в байтах (например,
128974848) или в Kubernetes-формате с суффиксами:G,Gi,M,Mi(например,750Mi).Шаблон:
^[0-9]+(\.[0-9]+)?(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$
- массив строкspec.cloudInstances.zones
Переопределение перечня зон, в которых создаются инстансы.
Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.
Пример:
zones: - Helsinki - Espoo - Tampere
- объектspec.cri
Параметры container runtime.
- объектspec.cri.containerd
Параметры работы containerd.
При настройке этих параметров
cri.typeдолжен бытьContainerd.- целочисленныйspec.cri.containerd.maxConcurrentDownloads
Максимальное количество параллельных потоков загрузки для каждой операции pull.
По умолчанию:
3
- объектspec.cri.docker
Параметры настройки Docker.
Внимание.
Dockerсчитается устаревшим, не используйте его.- булевыйspec.cri.docker.manage
Автоматическое управление версией и параметрами Docker.
По умолчанию:
true - целочисленныйspec.cri.docker.maxConcurrentDownloads
Максимальное количество потоков одновременного скачивания Docker-образов.
По умолчанию:
3
- объектspec.cri.notManaged
Настройки для CRI, установленных на узлах вручную.
- строкаspec.cri.notManaged.criSocketPath
Путь к сокету CRI.
- строкаspec.cri.type
Тип container runtime.
Если не указан, используется значение параметра
defaultCRIобщих параметров кластера (ClusterConfiguration).Внимание. Поддержка Docker считается устаревшей.
Допустимые значения:
Docker,Containerd,NotManaged
- объектspec.disruptions
Параметры обновлений, приводящих к возможному простою.
Пример:
disruptions: approvalMode: Automatic automatic: drainBeforeApproval: false windows: - from: '06:00' to: '08:00' days: - Tue - Sun- строкаspec.disruptions.approvalMode
Режим выдачи разрешения на disruptive-обновление (обновление, требующее прерывание работы узла):
Manual— отключить автоматическую выдачу разрешений на disruptive-обновление. Если потребуется disruptive-обновление, загорится специальный алерт. Внимание. Для группы узловmasterрежим выдачи разрешения всегда должен бытьManual, чтобы избежать проблем при выполнении drain узла.Automatic— автоматически выдавать разрешения на disruptive-обновление.RollingUpdate— в этом режиме будет создан новый узел с обновленными настройками, а старый узел будет удален. Разрешено только для облачных узлов.
Когда не используется режим
RollingUpdate, при обновлении узел освобождается от нагрузки (drain), после чего обновляется (перезагружается) и вводится в работу. Обратите внимание, что в этом случае в кластере должно быть место для размещения нагрузки на время, пока обновляемый узел недоступен. В режимеRollingUpdateузел заменяется на обновленный, то есть на время обновления в кластере появляется дополнительный узел. В облачной инфраструктуре режимRollingUpdateудобен, например, если в кластере нет ресурсов для временного размещения нагрузки с обновляемого узла.По умолчанию:
AutomaticДопустимые значения:
Manual,Automatic,RollingUpdate - объектspec.disruptions.automatic
Дополнительные параметры для режима
Automatic.- булевыйspec.disruptions.automatic.drainBeforeApproval
Выполнение drain подов с узла перед выдачей разрешения на disruption.
Внимание. Данная настройка игнорируется (узлам будет выдано разрешение без предварительного выполнения drain подов с узлов):
- для nodeGroup
masterс единственным узлом; - для выделенного под запуск Deckhouse Platform узла, если этот узел в группе узлов единственно рабочий (Ready).
По умолчанию:
true - для nodeGroup
- массив объектовspec.disruptions.automatic.windows
Список окон disruption-обновлений узлов.
- массив строкspec.disruptions.automatic.windows.days
Дни недели, в которые применяется окно обновлений.
Примеры:
days: Mondays: Wed- строкаЭлемент массива
День недели.
Допустимые значения:
Mon,Tue,Wed,Thu,Fri,Sat,Sun
- строкаspec.disruptions.automatic.windows.from
Обязательный параметр
Время начала окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
from: '13:00' - строкаspec.disruptions.automatic.windows.to
Обязательный параметр
Время окончания окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
to: '18:30'
- объектspec.disruptions.rollingUpdate
Additional parameters for the
RollingUpdatemode.- массив объектовspec.disruptions.rollingUpdate.windows
Time windows for node disruptive updates.
- массив строкspec.disruptions.rollingUpdate.windows.days
Days of the week when node could be updated.
Примеры:
days: Mondays: Wed- строкаЭлемент массива
Day of the week.
Допустимые значения:
Mon,Tue,Wed,Thu,Fri,Sat,Sun
- строкаspec.disruptions.rollingUpdate.windows.from
Обязательный параметр
Start time of disruptive update window (UTC timezone).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
from: '13:00' - строкаspec.disruptions.rollingUpdate.windows.to
Обязательный параметр
End time of disruptive update window (UTC timezone).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
to: '18:30'
- объектspec.kubelet
Параметры настройки kubelet.
- целочисленныйspec.kubelet.containerLogMaxFiles
Максимальное количество файлов журналов с учетом ротации.
Параметр не влияет на работу, если тип CRI —
Docker.Внимание.
Dockerсчитается устаревшим, не используйте его.По умолчанию:
4Допустимые значения:
2 <= X <= 20 - строкаspec.kubelet.containerLogMaxSize
Максимальный размер файла журнала до того, как он будет ротирован.
Внимание! Параметр не влияет на работу, если тип CRI —
Docker.Внимание.
Dockerсчитается устаревшим, не используйте его.По умолчанию:
50MiШаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m] - целочисленныйspec.kubelet.maxPods
Максимальное количество подов на узлах данной NodeGroup. Если явно не задан, по умолчанию задается в зависимости от значения параметра
podSubnetNodeCIDRPrefixмодуляcontrol-plane-manager:120подов дляpodSubnetNodeCIDRPrefix≥24;250подов дляpodSubnetNodeCIDRPrefix=23;500подов дляpodSubnetNodeCIDRPrefix=22;1000подов дляpodSubnetNodeCIDRPrefix≤21.
- строкаspec.kubelet.rootDir
Путь к каталогу для файлов kubelet (volume mounts и т. д.).
По умолчанию:
/var/lib/kubelet - булевыйspec.kubelet.seccompDefault
Использовать seccomp-профиль
RuntimeDefaultдля workload’ов, где seccomp-профиль не задан явно.
- объектspec.nodeTemplate
Настройки
Node-объектов в Kubernetes, которые будут добавлены после регистрации узла.Пример:
nodeTemplate: labels: environment: production app: warp-drive-ai annotations: ai.fleet.com/discombobulate: 'true' taints: - effect: NoExecute key: ship-class value: frigate- объектspec.nodeTemplate.annotations
Аналогично стандартному полю
metadata.annotations.Пример:
annotations: ai.fleet.com/discombobulate: 'true' - объектspec.nodeTemplate.labels
Аналогично стандартному полю
metadata.labels.Пример:
labels: environment: production app: warp-drive-ai - массив объектовspec.nodeTemplate.taints
Аналогично полю
.spec.taintsиз объекта Node.Доступны только поля
effect,key,value.Пример:
taints: - effect: NoExecute key: ship-class value: frigate- строкаspec.nodeTemplate.taints.effect
Допустимые значения:
NoSchedule,PreferNoSchedule,NoExecute - строкаspec.nodeTemplate.taints.key
- строкаspec.nodeTemplate.taints.value
- строкаspec.nodeType
Обязательный параметр
Тип узлов, которые представляет эта группа:
Cloud— узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере;Static— статический узел, размещенный на железном сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров;Hybrid— статический узел (созданный вручную или любыми внешними инструментами), размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров. На таком узле работает CSI и такой узел управляется cloud-controller-manager’ом: объектNodeавтоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака соответствующий ему объектNodeбудет удален в Kubernetes.
Допустимые значения:
Cloud,Static,Hybrid - объектspec.operatingSystem
Параметры операционной системы.
- булевыйspec.operatingSystem.manageKernel
Этот параметр не используется. Раньше он включал автоматическое управление ядром операционной системы.
По умолчанию:
true
- строкаspec.providerType
Тип облачного провайдера группы узлов.
Noneили пустое значение — для статической группы узлов. - строкаspec.systemType
Способ управления узлами группы.
GenericOS— узлы Generic OS, которые bashible настраивает «на лету». Незаполненное поле означает то же самое.DeckhouseEngine— узлы Deckhouse Engine. Агент узла приводит узел в состояние, описанное в объекте NodeConfig, без bashible. Машина должна загружаться с образа Deckhouse Engine.
DeckhouseEngineподдерживается для групп:Static— машины должны добавляться командойd8 node add;Cloud— машины должен создавать облачный провайдер через Cluster API (CAPI);Hybrid— машины должен создавать dhctl (CloudPermanentвdeckhouse.io/v1).
Остальные группы
Hybrid(CloudStaticвdeckhouse.io/v1) значениеDeckhouseEngineне поддерживают.Значение
DeckhouseEngineможно указать, только пока в группе нет узлов, настроенных bashible.DeckhouseEngineнельзя удалить или изменить наGenericOS.Допустимые значения:
GenericOS,DeckhouseEngine
- объектstatus
- объектstatus.conditionSummary
- строкаstatus.conditionSummary.ready
Готовность группы узлов по сводному состоянию.
Допустимые значения:
True,False - строкаstatus.conditionSummary.statusMessage
Сообщение о состоянии обработки группы узлов.
- целочисленныйstatus.desired
Желаемое количество машин в группе.
- строкаstatus.engine
Фактический механизм управления узлами в этой группе.
Значение поля определяет, каким компонентом управляются узлы:
None— узлы группы не управляются через MCM или CAPI;MCM— узлы группы управляются через machine-controller-manager;CAPI— узлы группы управляются через Cluster API.
Допустимые значения:
None,MCM,CAPI - строкаstatus.error
Сообщение об ошибке при обработке группы узлов.
- целочисленныйstatus.instances
Количество инстансов в группе в любом состоянии.
- строкаstatus.kubernetesVersion
Текущая версия Kubernetes на узлах или версия, до которой узлы будут обновлены.
- массив объектовstatus.lastMachineFailures
- объектstatus.lastMachineFailures.lastOperation
- строкаstatus.lastMachineFailures.lastOperation.description
Описание последней операции.
- строкаstatus.lastMachineFailures.lastOperation.lastUpdateTime
Время последнего обновления статуса операции.
- строкаstatus.lastMachineFailures.lastOperation.state
Состояние операции с машиной.
- строкаstatus.lastMachineFailures.lastOperation.type
Тип операции.
- строкаstatus.lastMachineFailures.name
Имя машины.
- строкаstatus.lastMachineFailures.ownerRef
Имя владельца машины.
- строкаstatus.lastMachineFailures.providerID
ProviderID машины.
- целочисленныйstatus.max
Максимальное количество инстансов в группе.
- целочисленныйstatus.min
Минимальное количество инстансов в группе.
- целочисленныйstatus.nodes
Количество Kubernetes-узлов в группе в любом состоянии.
- целочисленныйstatus.ready
Количество готовых Kubernetes-узлов в группе.
- целочисленныйstatus.standby
Количество резервных инстансов в группе.
- целочисленныйstatus.upToDate
Количество узлов в актуальном состоянии.
Описывает runtime-параметры группы узлов.
- объектmetadata
- строкаmetadata.name
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$Максимальная длина:
42
- объектspec
Обязательный параметр
- объектspec.chaos
Настройки Chaos Monkey.
Пример:
chaos: mode: DrainAndDelete period: 24h- строкаspec.chaos.mode
Режим работы Chaos Monkey:
DrainAndDelete— при срабатывании делает узлу drain, затем удаляет его.Disabled— не трогает данную NodeGroup.
По умолчанию:
DisabledДопустимые значения:
Disabled,DrainAndDelete - строкаspec.chaos.period
Интервал времени срабатывания Chaos Monkey.
Задается в виде строки с указанием часов и минут: 30m, 1h, 2h30m, 24h.
По умолчанию:
6hШаблон:
^[0-9]+[mh]{1}$
- объектspec.cloudInstances
Параметры заказа облачных виртуальных машин.
Внимание. Допустимо использовать только совместно с
nodeType: CloudEphemeral.- объектspec.cloudInstances.classReference
Обязательный параметр
Ссылка на объект
InstanceClass. Уникален для каждого модуляcloud-provider-*.- строкаspec.cloudInstances.classReference.kind
Тип объекта
InstanceClass(например,OpenStackInstanceClass). Поддерживаемые типы определяются установленными модулями облачных провайдеров и указаны в их документации. - строкаspec.cloudInstances.classReference.name
Имя нужного
InstanceClass-объекта (например,finland-medium).
- целочисленныйspec.cloudInstances.maxPerZone
Обязательный параметр
Максимальное количество инстансов в зоне.
Проставляется как верхняя граница в
cluster-autoscaler.Допустимые значения:
0 <= X - целочисленныйspec.cloudInstances.maxSurgePerZone
Максимальное количество инстансов, которые платформа создаёт в каждой зоне сверх желаемого количества, пока заменяет инстансы группы.
Замена происходит при изменении параметров, требующих пересоздания виртуальной машины, например в InstanceClass. Количество инстансов, которые cluster autoscaler заказывает при масштабировании группы, параметр не ограничивает. Подробнее о том, на что влияют параметры NodeGroup, в разделе «На что влияют параметры NodeGroup?».
Значение
0равнозначно незаданному параметру, в этом случае применяется значение по умолчанию.По умолчанию:
1Допустимые значения:
0 <= X - целочисленный
Максимальное количество недоступных инстансов в группе в каждой зоне во время последовательного обновления.
По умолчанию:
0Допустимые значения:
0 <= X - целочисленныйspec.cloudInstances.minPerZone
Обязательный параметр
Минимальное количество инстансов в зоне.
Проставляется в объект
MachineDeploymentи в качестве нижней границы в cluster autoscaler.При значении 0 для некоторых
InstanceClassнужно задавать capacity. Более подробно можно узнать в описании нужныхInstanceClass.Допустимые значения:
0 <= X - строка или числоspec.cloudInstances.standby
Количество резервных (подогретых) узлов в этой
NodeGroupво всех зонах.Резервный узел — это узел кластера, на котором резервируются ресурсы, доступные в любой момент для масштабирования. Наличие такого узла позволяет cluster autoscaler’у не ждать инициализации узла (которая может занимать несколько минут), а сразу размещать на нем нагрузку.
Значение может быть абсолютным (например,
2) или процентом желаемых узлов (например,10%). Если указан процент, абсолютное значение рассчитывается исходя из процента от максимального количества узлов (параметрmaxPerZone), округленного в меньшую сторону, но не менее одного.Шаблон:
^[0-9]+%?$ - объектspec.cloudInstances.standbyHolder
Объем резервируемых ресурсов.
Используется для определения необходимости заказа резервных узлов.
- объектspec.cloudInstances.standbyHolder.notHeldResources
Резервируемые ресурсы.
- строка или числоspec.cloudInstances.standbyHolder.notHeldResources.cpu
Количество CPU.
Значение может быть абсолютным (например,
1) или в millicore-формате (например,1500m).Шаблон:
^[0-9]+m?$ - строка или числоspec.cloudInstances.standbyHolder.notHeldResources.memory
Количество памяти.
Значение может быть абсолютным в байтах (например,
128974848) или в Kubernetes-формате с суффиксами:G,Gi,M,Mi(например,750Mi).Шаблон:
^[0-9]+(\.[0-9]+)?(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$
- массив строкspec.cloudInstances.zones
Переопределение перечня зон, в которых создаются инстансы.
Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.
Пример:
zones: - Helsinki - Espoo - Tampere
- объектspec.cri
Параметры container runtime.
- объектspec.cri.containerd
Параметры работы containerd.
При настройке этих параметров
cri.typeдолжен бытьContainerd.- целочисленныйspec.cri.containerd.maxConcurrentDownloads
Максимальное количество параллельных потоков загрузки для каждой операции pull.
По умолчанию:
3
- строкаspec.cri.type
Container runtime type.
If not specified, the
defaultCRIparameter value of ClusterConfiguration is used.Note. Docker support is deprecated.
Допустимые значения:
Docker,Containerd,NotManaged
- объектspec.disruptions
Параметры обновлений, приводящих к возможному простою.
Пример:
disruptions: approvalMode: Automatic automatic: drainBeforeApproval: false windows: - from: '06:00' to: '08:00' days: - Tue - Sun- строкаspec.disruptions.approvalMode
Режим выдачи разрешения на disruptive-обновление (обновление, требующее прерывания работы узла):
Manual— отключить автоматическую выдачу разрешений на disruptive-обновление. Если потребуется disruptive-обновление, загорится специальный алерт. Внимание. Для группы узловmasterрежим выдачи разрешения всегда должен бытьManual, чтобы избежать проблем при выполнении drain узла.Automatic— автоматически выдавать разрешения на disruptive-обновление.RollingUpdate— в этом режиме будет создан новый узел с обновленными настройками, а старый узел будет удален. Разрешено только для облачных узлов.
Когда не используется режим
RollingUpdate, при обновлении узел освобождается от нагрузки (drain), после чего обновляется (перезагружается) и вводится в работу. Обратите внимание, что в этом случае в кластере должно быть место для размещения нагрузки на время, пока обновляемый узел недоступен. В режимеRollingUpdateузел заменяется на обновленный, то есть на время обновления в кластере появляется дополнительный узел. В облачной инфраструктуре режимRollingUpdateудобен, например, если в кластере нет ресурсов для временного размещения нагрузки с обновляемого узла.По умолчанию:
AutomaticДопустимые значения:
Manual,Automatic,RollingUpdate - объектspec.disruptions.automatic
Дополнительные параметры для режима
Automatic.- булевыйspec.disruptions.automatic.drainBeforeApproval
Выполнение drain подов с узла перед выдачей разрешения на disruption.
Внимание. Данная настройка игнорируется (узлам будет выдано разрешение без предварительного выполнения drain подов с узлов):
- для nodeGroup
masterс единственным узлом; - для выделенного под запуск Deckhouse Platform узла, если этот узел в группе узлов единственно рабочий (Ready).
По умолчанию:
true - для nodeGroup
- массив объектовspec.disruptions.automatic.windows
Список окон disruption-обновлений узлов.
- массив строкspec.disruptions.automatic.windows.days
Дни недели, в которые применяется окно обновлений.
Примеры:
days: Mondays: Wed- строкаЭлемент массива
День недели.
Допустимые значения:
Mon,Tue,Wed,Thu,Fri,Sat,Sun
- строкаspec.disruptions.automatic.windows.from
Обязательный параметр
Время начала окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
from: '13:00' - строкаspec.disruptions.automatic.windows.to
Обязательный параметр
Время окончания окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
to: '18:30'
- объектspec.disruptions.rollingUpdate
Additional parameters for the
RollingUpdatemode.- массив объектовspec.disruptions.rollingUpdate.windows
Time windows for node disruptive updates.
- массив строкspec.disruptions.rollingUpdate.windows.days
Days of the week when node could be updated.
Примеры:
days: Mondays: Wed- строкаЭлемент массива
Day of the week.
Допустимые значения:
Mon,Tue,Wed,Thu,Fri,Sat,Sun
- строкаspec.disruptions.rollingUpdate.windows.from
Обязательный параметр
Start time of disruptive update window (UTC timezone).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
from: '13:00' - строкаspec.disruptions.rollingUpdate.windows.to
Обязательный параметр
End time of disruptive update window (UTC timezone).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$Пример:
to: '18:30'
- объектspec.docker
Параметры настройки Docker.
При настройке этих параметров
cri.typeдолжен бытьDocker.Внимание.
Dockerсчитается устаревшим, не используйте его.- булевыйspec.docker.manage
Автоматическое управление версией и параметрами Docker.
По умолчанию:
true - целочисленныйspec.docker.maxConcurrentDownloads
Максимальное количество потоков одновременного скачивания Docker-образов.
По умолчанию:
3
- объектspec.kubelet
Параметры настройки kubelet.
- целочисленныйspec.kubelet.containerLogMaxFiles
Максимальное количество файлов журналов с учетом ротации.
Параметр не влияет на работу, если тип CRI —
Docker.Внимание.
Dockerсчитается устаревшим, не используйте его.По умолчанию:
4Допустимые значения:
2 <= X <= 20 - строкаspec.kubelet.containerLogMaxSize
Максимальный размер файла журнала до того, как он будет ротирован.
Параметр не влияет на работу, если тип CRI —
Docker.Внимание.
Dockerсчитается устаревшим, не используйте его.По умолчанию:
50MiШаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m] - целочисленныйspec.kubelet.maxPods
Максимальное количество подов на узлах данной NodeGroup. Если явно не задан, по умолчанию задается в зависимости от значения параметра
podSubnetNodeCIDRPrefixмодуляcontrol-plane-manager:120подов дляpodSubnetNodeCIDRPrefix≥24;250подов дляpodSubnetNodeCIDRPrefix=23;500подов дляpodSubnetNodeCIDRPrefix=22;1000подов дляpodSubnetNodeCIDRPrefix≤21.
- строкаspec.kubelet.rootDir
Путь к каталогу для файлов kubelet (volume mounts и т. д.).
По умолчанию:
/var/lib/kubelet - булевыйspec.kubelet.seccompDefault
Использовать seccomp-профиль
RuntimeDefaultдля workload’ов, где seccomp-профиль не задан явно.
- строкаspec.kubernetesVersion
Желаемая минорная версия Kubernetes.
По умолчанию соответствует глобально выбранной для кластера версии (см. документацию по установке) или, если таковая не определена, текущей версии
control plane.Допустимые значения:
1.33,1.34,1.35,1.36,1.37Пример:
kubernetesVersion: '1.33' - объектspec.nodeTemplate
Настройки
Node-объектов в Kubernetes, которые будут добавлены после регистрации узла.Пример:
nodeTemplate: labels: environment: production app: warp-drive-ai annotations: ai.fleet.com/discombobulate: 'true' taints: - effect: NoExecute key: ship-class value: frigate- объектspec.nodeTemplate.annotations
Аналогично стандартному полю
metadata.annotations.Пример:
annotations: ai.fleet.com/discombobulate: 'true' - объектspec.nodeTemplate.labels
Аналогично стандартному полю
metadata.labels.Пример:
labels: environment: production app: warp-drive-ai - массив объектовspec.nodeTemplate.taints
Аналогично полю
.spec.taintsиз объекта Node.Доступны только поля
effect,key,value.Пример:
taints: - effect: NoExecute key: ship-class value: frigate- строкаspec.nodeTemplate.taints.effect
Допустимые значения:
NoSchedule,PreferNoSchedule,NoExecute - строкаspec.nodeTemplate.taints.key
- строкаspec.nodeTemplate.taints.value
- строкаspec.nodeType
Обязательный параметр
Тип узлов, которые представляет эта группа:
Cloud— узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере;Static— статический узел, размещенный на железном сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров;Hybrid— статический узел (созданный вручную или любыми внешними инструментами), размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров. На таком узле работает CSI и такой узел управляется cloud-controller-manager’ом: объектNodeавтоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака соответствующий ему объектNodeбудет удален в Kubernetes.
Допустимые значения:
Cloud,Static,Hybrid - объектspec.operatingSystemПараметр устарел
Параметры операционной системы.
- булевыйspec.operatingSystem.manageKernelПараметр устарел
Этот параметр не используется. Раньше он включал автоматическое управление ядром операционной системы.
По умолчанию:
true
- строкаspec.providerType
Тип облачного провайдера группы узлов.
Noneили пустое значение — для статической группы узлов. - объектspec.static
Параметры статического узла.
- массив строкspec.static.internalNetworkCIDRs
CIDR подсети.
- строкаspec.systemType
Способ управления узлами группы.
GenericOS— узлы Generic OS, которые bashible настраивает «на лету». Незаполненное поле означает то же самое.DeckhouseEngine— узлы Deckhouse Engine. Агент узла приводит узел в состояние, описанное в объекте NodeConfig, без bashible. Машина должна загружаться с образа Deckhouse Engine.
DeckhouseEngineподдерживается для групп:Static— машины должны добавляться командойd8 node add;Cloud— машины должен создавать облачный провайдер через Cluster API (CAPI);Hybrid— машины должен создавать dhctl (CloudPermanentвdeckhouse.io/v1).
Остальные группы
Hybrid(CloudStaticвdeckhouse.io/v1) значениеDeckhouseEngineне поддерживают.Значение
DeckhouseEngineможно указать, только пока в группе нет узлов, настроенных bashible.DeckhouseEngineнельзя удалить или изменить наGenericOS.Допустимые значения:
GenericOS,DeckhouseEngine
- объектstatus
- объектstatus.conditionSummary
- строкаstatus.conditionSummary.ready
Готовность группы узлов по сводному состоянию.
Допустимые значения:
True,False - строкаstatus.conditionSummary.statusMessage
Сообщение о состоянии обработки группы узлов.
- целочисленныйstatus.desired
Желаемое количество машин в группе.
- строкаstatus.engine
Фактический механизм управления узлами в этой группе.
Значение поля определяет, каким компонентом управляются узлы:
None— узлы группы не управляются через Machine Controller Manager или CAPI;MCM— узлы группы управляются через Machine Controller Manager;CAPI— узлы группы управляются через Cluster API.
Допустимые значения:
None,MCM,CAPI - строкаstatus.error
Сообщение об ошибке при обработке группы узлов.
- целочисленныйstatus.instances
Количество инстансов в группе в любом состоянии.
- строкаstatus.kubernetesVersion
Текущая версия Kubernetes на узлах или версия, до которой узлы будут обновлены.
- массив объектовstatus.lastMachineFailures
- объектstatus.lastMachineFailures.lastOperation
- строкаstatus.lastMachineFailures.lastOperation.description
Описание последней операции.
- строкаstatus.lastMachineFailures.lastOperation.lastUpdateTime
Время последнего обновления статуса операции.
- строкаstatus.lastMachineFailures.lastOperation.state
Состояние операции с машиной.
- строкаstatus.lastMachineFailures.lastOperation.type
Тип операции.
- строкаstatus.lastMachineFailures.name
Имя машины.
- строкаstatus.lastMachineFailures.ownerRef
Имя владельца машины.
- строкаstatus.lastMachineFailures.providerID
ProviderID машины.
- целочисленныйstatus.max
Максимальное количество инстансов в группе.
- целочисленныйstatus.min
Минимальное количество инстансов в группе.
- целочисленныйstatus.nodes
Количество Kubernetes-узлов в группе в любом состоянии.
- целочисленныйstatus.ready
Количество готовых Kubernetes-узлов в группе.
- целочисленныйstatus.standby
Количество резервных инстансов в группе.
- целочисленныйstatus.upToDate
Количество узлов в актуальном состоянии.
NodeConfig
Short names: nc
Scope: Cluster
Version: v1alpha1
Желаемое состояние одного узла и отчёт агента узла о нём.
Агент узла (nodelet) применяет spec.
- строкаapiVersion
Версионированная схема этого представления объекта. Серверы должны преобразовывать распознанные схемы в последнее внутреннее значение и могут отклонять нераспознанные значения.
Подробнее — в соглашениях об API Kubernetes.
- строкаkind
Строка, которая обозначает REST-ресурс, представленный этим объектом. Серверы могут определить её по адресу, на который клиент отправляет запросы.
Изменить значение нельзя. Записывается в CamelCase.
Подробнее — в соглашениях об API Kubernetes.
- объектmetadata
- объектspec
Обязательный параметр
Желаемое состояние узла.
- массив строкspec.apiServerEndpoints
Адреса API-серверов Kubernetes со схемой и портом, например
https://10.0.0.1:6443.- строкаЭлемент массива
Шаблон:
^https://(\[[0-9A-Fa-f:]+\]|[A-Za-z0-9]([-A-Za-z0-9]*[A-Za-z0-9])?([.][A-Za-z0-9]([-A-Za-z0-9]*[A-Za-z0-9])?)*):(6553[0-5]|655[0-2][0-9]|65[0-4][0-9]{2}|6[0-4][0-9]{3}|[1-5][0-9]{4}|[1-9][0-9]{0,3})/?$Максимальная длина:
253
- объектspec.containerRuntime
Параметры containerd.
- целочисленныйspec.containerRuntime.maxConcurrentDownloads
Максимальное количество одновременно скачиваемых слоёв образов.
Значение
0снимает ограничение. По умолчанию8.Допустимые значения:
0 <= X - строкаspec.containerRuntime.registryConfigOwner
Компонент, который записывает директорию
registry.dcontainerd.Nodelet— агент узла записывает в директорию конфигурацию изspec.registryи удаляет всё остальное, кроме каталогов маршрутов изspec.registry.upstreams.RegistryAgent— директорией владеет статический под registry-агента. Агент узла ничего в неё не записывает и только удаляет каталоги, которые записал раньше.
По умолчанию
Nodelet. Значение задаётnode-manager.Допустимые значения:
Nodelet,RegistryAgent - строкаspec.containerRuntime.sandboxImage
Образ
pause, используемый для песочниц подов.Если параметр не задан, используется образ
pause, импортированный системным расширением containerd.Шаблон:
^[^[:space:]]+$Максимальная длина:
1024
- массив объектовspec.extensions
Расширения, которые устанавливает узел. Каждое закреплено дайджестом.
На узле Deckhouse Engine запись — подписанный образ системного расширения с dm-verity. На узле Generic OS запись — registry-пакет: агент узла запускает скрипт
installиз пакета с правамиroot.Запись с именем
nodeletобновляет сам агент узла.Подписанный образ systemd-sysext с verity, собранный из канала обновлений.
Загружается из registry-packages-proxy по дайджесту.
Необязательное поле
repository(хост registry, напримерcr.flant.com) выбирает конфигурацию клиента прокси для конкретного хранилища образов контейнеров. Если поле пустое, берётся конфигурация прокси по умолчанию. Необязательное полеpath(например,deckhouse/sysext/containerd) передаётся прокси в параметре запросаpathи указывает, где искать артефакт внутри репозитория.- строкаspec.extensions.digest
Обязательный параметр
Дайджест образа sysext в формате
sha256:.Шаблон:
^sha256:[a-f0-9]{64}$ - строкаspec.extensions.name
Обязательный параметр
Имя расширения (оно же — базовое имя образа sysext).
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$Длина:
1..63 - строкаspec.extensions.path
Путь к артефакту внутри хранилища образов контейнеров.
Максимальная длина:
512 - строкаspec.extensions.repository
Выбирает конфигурацию клиента прокси для конкретного registry.
Шаблон:
^[^[:space:]]+$Максимальная длина:
1024 - объектspec.extensions.requestedBy
Объект, который запросил расширение.
У расширений самой платформы поле не задано.
- строкаspec.extensions.requestedBy.kind
Обязательный параметр
Вид объекта.
Допустимые значения:
NodeExtensionRequest,NodeStaticPodRequest,RegistryUpstream,ModuleSource - строкаspec.extensions.requestedBy.name
Обязательный параметр
Имя объекта.
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$Длина:
1..253
- объектspec.featureGates
Функции агента узла, которые нужно включить или выключить. Ключ — имя функции.
Функция, которой нет в списке, на узле Deckhouse Engine включена, если тип узла её поддерживает. На узле Generic OS такая функция выключена: узел выполняет только функции, включённые в этом списке.
Узел отклоняет конфигурацию, если в ней указана неизвестная функция или включена функция, которую тип узла не поддерживает.
Значение задаёт node-controller.
- массив строкspec.internalNetworkCIDRs
Внутренние сети кластера — подсети, в которых узлы адресуют друг друга и control-plane.
Узел выбирает интерфейс, адрес которого попадает в одну из этих сетей, и регистрируется с этим адресом. Узлу с единственным интерфейсом поле не нужно. Значение кластерное: контроллер публикует его на каждом проходе, беря из
StaticClusterConfigurationстатического кластера и из конфигурации облачного провайдера. Допускаются только адреса IPv4.- строкаЭлемент массива
Шаблон:
^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$Максимальная длина:
43
- объектspec.kernel
Параметры sysctl и модули ядра, которые нужно загрузить.
- массив объектовspec.kernel.modules
Модули ядра, которые нужно загрузить, в указанном порядке.
Зависимости автоматически не загружаются, поэтому указывайте каждый модуль после модулей, от которых он зависит. Не указывайте драйвер, встроенный в ядро: условие
KernelModulesLoadedполучит статусFalse.Модуль, добавленный в список, загружается только после одобрения прерывания.
Модуль ядра, загружаемый с необязательными параметрами.
- строкаspec.kernel.modules.name
Обязательный параметр
Имя модуля в том виде, в каком его показывает
lsmod. Символы-и_в имени равнозначны.Длина:
1..64 - массив строкspec.kernel.modules.params
Параметры модуля, передаются
insmodв указанном порядке, напримерdebug=1.Изменённый список применяется при следующей загрузке модуля: уже загруженный модуль не перезагружается.
- строкаЭлемент массива
Максимальная длина:
256
- объектspec.kernel.sysctl
Параметры ядра, которые узел задаёт во время работы. Ключ — имя параметра через точку, например
net.ipv4.ip_forward.Ключ, которого в ядре нет, пропускается. Для ключей, которые нужны агенту узла, остаются значения агента, а
vm.overcommit_memoryможет быть только1. Размер таблицы отслеживания соединений, который узел рассчитывает по числу ядер, уступает значению, заданному здесь.
- объектspec.kubelet
Параметры kubelet.
- строкаspec.kubelet.bootstrapToken
Bootstrap-токен, с помощью которого kubelet получает свой клиентский сертификат при первой загрузке.
Максимальная длина:
4096 - строкаspec.kubelet.clusterCABundle
Набор сертификатов центра сертификации кластера в формате PEM.
Максимальная длина:
65536 - массив строкspec.kubelet.clusterDNS
Список IP-адресов DNS-серверов кластера.
- строкаЭлемент массива
Максимальная длина:
45
- строкаspec.kubelet.clusterDomain
DNS-домен кластера (например,
cluster.local).Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$Максимальная длина:
253 - целочисленныйspec.kubelet.containerLogMaxFiles
Количество файлов журнала с учётом ротации, которые сохраняются для каждого контейнера.
По умолчанию
4.Допустимые значения:
2 <= X <= 1000 - строкаspec.kubelet.containerLogMaxSize
Размер файла журнала контейнера, при достижении которого выполняется ротация.
По умолчанию
50Mi.Максимальная длина:
64 - булевыйspec.kubelet.externalCloudProvider
Включает
--cloud-provider=external, чтобы узлом (зона, регион, providerID) управлял cloud-controller-manager. - строкаspec.kubelet.kubernetesVersion
Минорная версия Kubernetes в кластере, например
1.34.От неё зависит, с какими feature gates запускается kubelet: bashible включает feature gates для DRA в зависимости от версии, и узел, которому версию не сообщили, сделать то же самое не сможет. Если версию не передать, DRA-нагрузка будет работать во всём кластере, кроме узлов Deckhouse Engine.
Шаблон:
^[0-9]+\.[0-9]+$Максимальная длина:
16 - целочисленныйspec.kubelet.maxPods
Максимальное количество подов на узле.
По умолчанию
120.Допустимые значения:
1 <= X <= 1000 - объектspec.kubelet.nodeLabels
Лейблы, добавляемые к объекту Node при регистрации kubelet.
- массив объектовspec.kubelet.registerWithTaints
Список taint’ов, добавляемых к объекту Node при регистрации kubelet. Применяется только при первичной регистрации.
Taint Kubernetes, добавляемый узлу при регистрации.
- строкаspec.kubelet.registerWithTaints.effect
Эффект taint’а. Taint без эффекта пропускается: kubelet регистрирует taint только с одним из этих эффектов.
Допустимые значения:
NoSchedule,PreferNoSchedule,NoExecute - строкаspec.kubelet.registerWithTaints.key
Обязательный параметр
Ключ taint’а. Taint, который kubelet не может зарегистрировать, например с ключом, не являющимся квалифицированным именем, пропускается, остальные регистрируются.
- строкаspec.kubelet.registerWithTaints.value
Значение taint’а.
- объектspec.kubelet.resourceReservation
Определяет, сколько процессорного времени, памяти и дискового пространства резервируется под нужды самой системы и не отдаётся подам (systemReserved).
- строкаspec.kubelet.resourceReservation.mode
Режим резервирования.
Auto— резерв рассчитывается по ёмкости узла.Off— ничего не резервируется.
По умолчанию
Auto.Допустимые значения:
Auto,Off
- булевыйspec.kubelet.serverTLSBootstrap
Заставляет kubelet запрашивать серверный сертификат у кластера вместо того, чтобы подписывать его самому.
По умолчанию
true. На первом разворачиваемом master-узле в кластере значениеfalse: пока DP не установлена, подписывать серверные CSR некому, а kubelet, который ждёт такой сертификат, так и не сообщит, что узел готов.
- объектspec.network
Имя хоста, DNS, NTP, сетевые интерфейсы и маршруты.
- объектspec.network.dns
Параметры DNS-резолвера.
- массив строкspec.network.dns.search
Домены поиска для неполных имён хостов, перебираются в указанном порядке.
- строкаЭлемент массива
Максимальная длина:
253
- массив строкspec.network.dns.servers
IP-адреса DNS-серверов.
- строкаЭлемент массива
Максимальная длина:
45
- строкаspec.network.hostname
Имя хоста узла.
Максимальная длина:
253 - массив объектовspec.network.interfaces
Сетевые интерфейсы. Ключ элемента списка — имя интерфейса.
Описание одного сетевого интерфейса.
- массив строкspec.network.interfaces.addresses
Статические адреса в формате CIDR. Используются, если
dhcpравноfalse.- строкаЭлемент массива
Максимальная длина:
43
- булевыйspec.network.interfaces.cluster
Помечает интерфейс как кластерный — тот, по которому идёт трафик кластера.
Нужно машине, адресацию которой не получается различить по
spec.internalNetworkCIDRs: например, когда несколько интерфейсов попадают в одну и ту же внутреннюю сеть. Пометить так можно не более одного интерфейса. - булевыйspec.network.interfaces.dhcp
Обязательный параметр
Включает DHCPv4 на интерфейсе.
- строкаspec.network.interfaces.gateway
IP-адрес шлюза по умолчанию.
Максимальная длина:
45 - строкаspec.network.interfaces.name
Обязательный параметр
Имя интерфейса, например
eth0.Длина:
1..253
- объектspec.network.ntp
Параметры синхронизации времени по NTP.
- массив строкspec.network.ntp.servers
NTP-серверы: имена хостов или адреса IPv4. На узлах Deckhouse Engine их один раз за загрузку, до запуска kubelet, проверяет функция синхронизации времени и ждёт пригодный ответ не дольше 30 секунд. Дальше точность часов поддерживает модуль
chrony.- строкаЭлемент массива
Максимальная длина:
253
- массив объектовspec.network.routes
Статические маршруты. Добавляются на каждом интерфейсе из списка
interfaces.Статический маршрут.
- строкаspec.network.routes.gateway
IP-адрес шлюза.
Максимальная длина:
45 - строкаspec.network.routes.name
Метка маршрута. На применение маршрута не влияет.
Максимальная длина:
253 - массив строкspec.network.routes.networks
Сети назначения в формате CIDR.
- строкаЭлемент массива
Максимальная длина:
43
- строкаspec.nodeName
Обязательный параметр
Имя узла Kubernetes, к которому относится конфигурация.
Совпадает с
metadata.name, изменить его нельзя.Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$Длина:
1..253 - объектspec.osImage
Образ операционной системы, который должен использоваться на узле.
Узел сравнивает значение
digestсо значением, сохранённым при установке в/config/os-digest. Дайджест идентифицирует конкретную публикацию образа и может измениться при повторной публикации того же содержимого.Обязателен, если
systemTypeравенDeckhouseEngineили устаревшему значениюImmutable.- строкаspec.osImage.digest
Обязательный параметр
Дайджест образа операционной системы.
Идентифицирует конкретный образ и используется узлом для определения необходимости обновления. При установке узел сохраняет дайджест и при последующих проверках сравнивает его с указанным значением.
Шаблон:
^sha256:[a-f0-9]{64}$ - строкаspec.osImage.path
Путь к образу внутри хранилища образов контейнеров.
Максимальная длина:
512 - строкаspec.osImage.repository
Адрес хранилища образов контейнеров, из которого загружается образ операционной системы.
Значение передаётся в
registry-packages-proxyв параметреrepository.Если параметр не указан,
repositoryне передаётся иregistry-packages-proxyиспользует адрес хранилища, назначенный по умолчанию.Шаблон:
^[^[:space:]]+$Максимальная длина:
1024 - строкаspec.osImage.rootHash
Корневой хеш dm-verity файловой системы внутри образа в шестнадцатеричном формате ASCII.
Используется для определения фактического изменения содержимого образа. В отличие от
digest, значение которого может измениться при повторной публикации образа,rootHashостаётся прежним, если содержимое корневой файловой системы не изменилось.Deckhouse Platform заполняет это поле на основе лейбла образа. Если получить значение из лейбла не удалось, узел определяет корневой хеш после скачивания образа.
Шаблон:
^[a-f0-9]{64}$
- объектspec.registry
Хранилище образов контейнеров, к которому узел обращается напрямую, минуя кластерный registry-packages-proxy.
Узлу, который разворачивает control-plane, обращаться к прокси бессмысленно: прокси ещё нет, кластер готовит как раз этот узел. Образы control-plane и собственные системные расширения ему при этом всё равно нужно скачать, поэтому адрес и учётные данные он должен знать сам. Остальные узлы оставляют поле пустым и работают через прокси. В
upstreamsперечислены дополнительные хранилища, в которые containerd направляет загрузки.На узле Generic OS containerd для основного хранилища настраивает bashible, а агент узла при включённой функции
registry-routesзаписывает только маршруты изupstreams. Из остальных полей он читает толькоaddress— этот хост не может забрать ни один маршрут — и никогда не скачивает из хранилища напрямую.- строкаspec.registry.address
Обязательный параметр
Хост хранилища образов контейнеров, при необходимости с портом, например
registry.deckhouse.ioилиregistry.example.com:5000.Шаблон:
^[^[:space:]]+$Длина:
1..1024 - строкаspec.registry.auth
Пара
user:passwordв кодировке Base64 — в том же виде, в каком она хранится в полеauthфайла docker config.Максимальная длина:
4096 - строкаspec.registry.caBundle
Набор сертификатов центров сертификации в формате PEM, по которому проверяется хранилище образов контейнеров.
Максимальная длина:
65536 - строкаspec.registry.path
Путь к репозиторию внутри хранилища образов контейнеров, например
/deckhouse/ce.Максимальная длина:
1024 - строкаspec.registry.scheme
Протокол, по которому узел подключается к хранилищу образов контейнеров.
По умолчанию
HTTPS.Допустимые значения:
HTTPS,HTTP - массив объектовspec.registry.upstreams
Дополнительные хранилища образов контейнеров, в которые узел направляет загрузки: каждая запись перенаправляет загрузки из хоста
matchвupstreamи его зеркала.Узел создаёт для каждой записи каталог хоста containerd с именем из
matchв нижнем регистре и удаляет каталоги записей, которых больше нет. Изменение маршрутов не перезапускает containerd. Запись, которую узел не может применить, пропускается, и узел сообщает о ней в условииRegistryRoutesReady. Остальные записи применяются.Список применяет функция
registry-routes. На узле Deckhouse Engine она включена по умолчанию, а узел Generic OS применяет список, только если функцию включаетfeatureGates. Когда функция выключена, узел оставляет записанные ранее каталоги как есть.Список заполняет node-controller из принятых объектов RegistryUpstream и сертификатов центров сертификации объектов ModuleSource. На узле Deckhouse Engine список пуст, пока containerd настраивает агент модуля
registry. На узле Generic OS список задан всегда, но записей ModuleSource в нём нет — эти сертификаты bashible записывает сам, а узел не записывает ни одного маршрута, пока в файле bashibledeckhouse_hosts_state.jsonуказан каталог агента_default.Один маршрут из
spec.registry.upstreams.- строкаspec.registry.upstreams.match
Обязательный параметр
Хост, загрузки из которого перенаправляет узел. Это же имя каталога хоста containerd.
Шаблон:
^[a-zA-Z0-9]([-a-zA-Z0-9]*[a-zA-Z0-9])?(\.[a-zA-Z0-9]([-a-zA-Z0-9]*[a-zA-Z0-9])?)*(:[0-9]{1,5})?$Длина:
1..255 - объектspec.registry.upstreams.requestedBy
Обязательный параметр
Объект, из которого получена запись:
RegistryUpstreamилиModuleSource, для которого запись передаёт сертификат центра сертификации его хранилища.- строкаspec.registry.upstreams.requestedBy.kind
Обязательный параметр
Вид объекта.
Допустимые значения:
NodeExtensionRequest,NodeStaticPodRequest,RegistryUpstream,ModuleSource - строкаspec.registry.upstreams.requestedBy.name
Обязательный параметр
Имя объекта.
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$Длина:
1..253
- объектspec.registry.upstreams.upstream
Обязательный параметр
Хранилище, в которое уходят загрузки, и его зеркала.
- объектspec.registry.upstreams.upstream.auth
Учётные данные хранилища. Поле
auth(username:passwordв кодировке Base64) имеет приоритет надusernameиpassword.- строкаspec.registry.upstreams.upstream.auth.auth
Пара
username:passwordв кодировке Base64.Максимальная длина:
4096 - строкаspec.registry.upstreams.upstream.auth.password
Пароль.
Максимальная длина:
4096 - строкаspec.registry.upstreams.upstream.auth.username
Имя пользователя.
Максимальная длина:
1024
- строкаspec.registry.upstreams.upstream.ca
Набор сертификатов центров сертификации в формате PEM, по которому проверяется хранилище. Узел пропускает маршрут, если в наборе есть что-то кроме блоков
CERTIFICATEили хотя бы один из них не разбирается.Максимальная длина:
65536 - строкаspec.registry.upstreams.upstream.host
Обязательный параметр
Хост хранилища, при необходимости с портом.
Длина:
1..255 - массив объектовspec.registry.upstreams.upstream.mirrors
Зеркала с тем же содержимым. Узел обращается к ним по порядку после основного хранилища.
Один из адресов маршрута.
- объектspec.registry.upstreams.upstream.mirrors.auth
Учётные данные зеркала. Поле
authимеет приоритет надusernameиpassword.- строкаspec.registry.upstreams.upstream.mirrors.auth.auth
Пара
username:passwordв кодировке Base64.Максимальная длина:
4096 - строкаspec.registry.upstreams.upstream.mirrors.auth.password
Пароль.
Максимальная длина:
4096 - строкаspec.registry.upstreams.upstream.mirrors.auth.username
Имя пользователя.
Максимальная длина:
1024
- строкаspec.registry.upstreams.upstream.mirrors.ca
Набор сертификатов центров сертификации в формате PEM, по которому проверяется зеркало. Узел пропускает маршрут, если в наборе есть что-то кроме блоков
CERTIFICATEили хотя бы один из них не разбирается.Максимальная длина:
65536 - строкаspec.registry.upstreams.upstream.mirrors.host
Обязательный параметр
Хост зеркала, при необходимости с портом.
Длина:
1..255 - строкаspec.registry.upstreams.upstream.mirrors.path
Префикс репозиториев в зеркале.
Максимальная длина:
1024 - строкаspec.registry.upstreams.upstream.mirrors.scheme
Протокол подключения к зеркалу:
HTTPилиHTTPS. По умолчаниюHTTPS.Допустимые значения:
HTTP,HTTPS
- строкаspec.registry.upstreams.upstream.path
Префикс репозиториев в хранилище, например
/virtualization.Максимальная длина:
1024 - строкаspec.registry.upstreams.upstream.scheme
Протокол подключения к хранилищу:
HTTPилиHTTPS. По умолчаниюHTTPS.Допустимые значения:
HTTP,HTTPS
- объектspec.registryPackagesProxy
Параметры подключения узла к
registry-packages-proxy, который отдаёт узлу расширения и образы операционной системы.- строкаspec.registryPackagesProxy.accessToken
Bearer-токен, который узел предъявляет прокси.
В объекте хранится в кодировке Base64.
Максимальная длина:
4096 - массив строкspec.registryPackagesProxy.endpoints
Адреса
registry-packages-proxyсо схемой и портом.Если поле не задано, узел использует порт
4219на хостах изapiServerEndpoints. Задаётся только в начальной конфигурации первого master-узла.- строкаЭлемент массива
Шаблон:
^https?://(\[[0-9A-Fa-f:]+\]|[A-Za-z0-9]([-A-Za-z0-9]*[A-Za-z0-9])?([.][A-Za-z0-9]([-A-Za-z0-9]*[A-Za-z0-9])?)*):(6553[0-5]|655[0-2][0-9]|65[0-4][0-9]{2}|6[0-4][0-9]{3}|[1-5][0-9]{4}|[1-9][0-9]{0,3})/?$Максимальная длина:
253
- массив объектовspec.staticPods
Манифесты статических подов, которые kubelet запускает без участия планировщика Kubernetes.
Узел записывает манифесты в каталог
/etc/kubernetes/manifests. Остальные необходимые ресурсы статический под должен получать самостоятельно. Например, под может выпускать собственные сертификаты, использовать kubeconfig узла и монтировать каталоги для хранения состояния черезhostPathс типомDirectoryOrCreate.Манифесты компонентов control plane, которые агент узла создаёт самостоятельно, в
spec.staticPodsне включаются и при обработке этого параметра не изменяются.Статический под.
- строкаspec.staticPods.manifest
Обязательный параметр
Полный манифест пода.
При записи манифеста на диск подстрока
$MY_IPзаменяется IP-адресом узла аналогично манифестам компонентов control plane.Длина:
1..32768 - строкаspec.staticPods.name
Обязательный параметр
Имя файла манифеста без расширения.
Используется как ключ элемента списка и не связано с
metadata.nameпода в манифесте. Имя зеркального пода kubelet определяет по манифесту, а не по имени файла.Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$Длина:
1..63 - объектspec.staticPods.requestedBy
Объект, который запросил статический под.
У статических подов самой платформы поле не задано.
- строкаspec.staticPods.requestedBy.kind
Обязательный параметр
Вид объекта.
Допустимые значения:
NodeExtensionRequest,NodeStaticPodRequest,RegistryUpstream,ModuleSource - строкаspec.staticPods.requestedBy.name
Обязательный параметр
Имя объекта.
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$Длина:
1..253
- строкаspec.statusToken
Токен для аутентификации запроса статуса у порта
:50000узла.Токен генерирует тот, кто пишет документ: dhctl при бутстрапе или рендер NodeConfigTemplate для машины, которую ставят руками; кластер переносит значение из уже существующего NodeConfig как есть, потому что сообщить узлу новый токен ему нечем. В NodeConfigTemplate токен генерируется заново на каждое чтение — машине, которую ставят руками, брать его неоткуда.
В отличие от
status.maintenanceToken, поле намеренно НЕ помеченоx-kubernetes-sensitive-data: API отвечал бы<omitted>, и перенос значения записал бы эту строку обратно, уничтожив токен. Токен даёт право только читать статус, но не отправлять конфигурацию.Максимальная длина:
4096 - объектspec.storage
Диск, на который установлена операционная система, и дополнительные файловые системы.
Заданный диск для установки изменить нельзя.
- строкаspec.storage.device
Блочное устройство диска целиком, на которое выполняется установка.
Например
/dev/sda,/dev/nvme0n1или стабильный путь вида/dev/disk/by-id/.... Игнорируется, если заданdiskSelector.Шаблон:
^/dev/[A-Za-z0-9._/-]+$Максимальная длина:
1024 - объектspec.storage.diskSelector
Выбор диска для установки по атрибутам вместо фиксированного пути.
Должны совпасть все заданные поля.
- строкаspec.storage.diskSelector.busPath
Соответствие пути аппаратной шины (glob).
Максимальная длина:
253 - строкаspec.storage.diskSelector.model
Соответствие модели устройства (glob), например
Samsung*.Максимальная длина:
253 - строкаspec.storage.diskSelector.name
Соответствие имени устройства в ядре (glob), например
nvme0n1.Максимальная длина:
253 - булевыйspec.storage.diskSelector.rotational
Соответствие типу накопителя:
true— диск с вращающимися пластинами,false— твердотельный. - строкаspec.storage.diskSelector.serial
Соответствие серийному номеру диска (glob).
Максимальная длина:
253 - строкаspec.storage.diskSelector.size
Соответствие объёму диска, опционально с оператором сравнения, например
>=100Gi,>1Ti,512Gi.Максимальная длина:
253 - строкаspec.storage.diskSelector.type
Соответствие типу диска.
Допустимые значения:
SSD,HDD,NVMe,SD - строкаspec.storage.diskSelector.wwid
Соответствие World Wide Identifier (glob).
Максимальная длина:
253
- массив объектовspec.storage.mounts
Mounts are additional filesystems the node makes available, at /mnt/
or wherever bindTo names. Nothing here is partitioned: only existing partitions and blank whole disks are formatted (when empty) and mounted. Mount is one additional filesystem, at /mnt/
unless bindTo says otherwise. Exactly one of device or partitionSelector names the partition; an empty one is formatted (label = name), an existing filesystem mounted as is. - строкаspec.storage.mounts.bindTo
BindTo mounts the filesystem at this path instead of /mnt/
, for a directory something else knows by name (/var/lib/etcd). The directory must be empty: mounting over files hides them, and hidden etcd data is lost data. Шаблон:
^/[A-Za-z0-9._/-]+$Максимальная длина:
1024 - строкаspec.storage.mounts.device
Device is the partition to use, e.g. “/dev/sdb1” or a stable “/dev/disk/by-id/…-part1” path.
Шаблон:
^/dev/[A-Za-z0-9._/-]+$Максимальная длина:
1024 - строкаspec.storage.mounts.filesystem
Файловая система, которая создаётся на пустом разделе.
По умолчанию
Ext4.Допустимые значения:
Ext4 - строкаspec.storage.mounts.mode
Mode is the mode of the filesystem root after mounting, as an octal string, e.g. “0700”. Left alone when unset. A freshly made ext4 has its root at 0755, which is a mode etcd refuses to start on.
Шаблон:
^0[0-7]{3}$ - строкаspec.storage.mounts.name
Обязательный параметр
Name identifies the mount, and is both the mount point (/mnt/
) and the filesystem label written when this node formats the partition. Capped at 16 characters because that is the size of the ext4 volume label field. Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$Длина:
1..16 - объектspec.storage.mounts.partitionSelector
PartitionSelector picks the partition by attributes instead of a fixed path.
- булевыйspec.storage.mounts.partitionSelector.blank
Blank makes whole disks selectable, and only ones that carry nothing: no partition table, no filesystem — a cloud disk never touched. Without it a selector sees partitions only; a whole disk is where somebody’s layout lives.
- строкаspec.storage.mounts.partitionSelector.fsType
FSType matches the type of the filesystem already present (glob).
Максимальная длина:
253 - строкаspec.storage.mounts.partitionSelector.label
Label matches the filesystem label (glob).
Максимальная длина:
253 - строкаspec.storage.mounts.partitionSelector.name
Name matches the kernel device name (glob), e.g. “sdb1” or “nvme0n1p*”.
Максимальная длина:
253 - строкаspec.storage.mounts.partitionSelector.partLabel
PartLabel matches the GPT partition name (glob).
Максимальная длина:
253 - строкаspec.storage.mounts.partitionSelector.partUUID
PartUUID matches the GPT partition UUID exactly, ignoring case.
Максимальная длина:
253 - строкаspec.storage.mounts.partitionSelector.size
Size matches the size, optionally with a comparison operator, e.g. “>=100Gi”, “>1Ti”, “512Gi”. Without an operator the comparison is “>=”; “=” allows 1%, since a disk rarely reports an exact round size.
Максимальная длина:
253 - строкаspec.storage.mounts.partitionSelector.uuid
UUID matches the filesystem UUID exactly, ignoring case.
Максимальная длина:
253
- булевыйspec.storage.wipe
Определяет, будет ли уже размеченный диск очищен и размечен заново.
По умолчанию
false: настраивается только неразмеченный (или не соответствующий ожидаемой разметке) диск, поэтому корректная существующая разметка остаётся нетронутой, а перезагрузка никогда не приводит к потере данных.
- строкаspec.systemType
Обязательный параметр
Способ управления узлом.
DeckhouseEngine— узел Deckhouse Engine. Агент узла настраивает весь узел.GenericOS— узел Generic OS, который настраивает bashible. Агент узла управляет только тем, что включено вfeatureGates.
На переходный период по-прежнему принимаются устаревшие значения
ImmutableиMutable.Immutableозначает то же, чтоDeckhouseEngine,Mutable— то же, чтоGenericOS.Тип узла изменить нельзя. Устаревшее значение можно заменить новым значением того же типа и обратно.
Допустимые значения:
Immutable,Mutable,DeckhouseEngine,GenericOS - объектspec.updatePolicy
Определяет, как и когда обновляется узел.
- строкаspec.updatePolicy.mode
Режим обновления.
Узел проверяет значение, но не руководствуется им: в любом режиме он обновляется в пределах
windows.Допустимые значения:
Manual,Automatic - массив объектовspec.updatePolicy.windows
Временные окна в UTC, когда узел может скачивать и применять обновления.
Обновление разрешено, если подходит любое из окон. Если окон нет, обновление разрешено в любое время.
Одно окно обновления в UTC.
- массив строкspec.updatePolicy.windows.days
Дни недели, в которые действует окно, как календарные дни в UTC.
Время подходит, если в списке есть его собственный день, в том числе в той части окна, которая переходит через полночь. Если список пуст, окно действует каждый день.
- строкаЭлемент массива
Допустимые значения:
Mon,Tue,Wed,Thu,Fri,Sat,Sun
- строкаspec.updatePolicy.windows.from
Обязательный параметр
Время начала окна в UTC в формате
H:MMилиHH:MM(24-часовой формат).Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$ - строкаspec.updatePolicy.windows.to
Обязательный параметр
Время окончания окна в том же формате, что и
from.Если время окончания раньше времени начала, окно переходит через полночь. Часть после полуночи относится к своему календарному дню: при
days: [Sat]окно с22:00до04:00разрешает субботу с 00:00 до 04:00 и субботу с 22:00 до полуночи, но не воскресенье в 01:00.Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
- объектstatus
Состояние, публикуемое агентом на узле после каждого цикла согласования.
- объектstatus.agent
Сборка агента узла, которая записала этот статус.
- строкаstatus.agent.version
Версия сборки агента узла.
- целочисленныйstatus.appliedGeneration
Поколение
spec, которое применил узел.Узел применил текущую
spec, когдаappliedGenerationравноmetadata.generationи условиеConfigurationAppliedравноTrueдля этого поколения. Значение отстаёт, пока прерывающее изменение ожидает одобрения и пока новая сборка агента, установленная для этого поколения, ещё не применила его. - массив объектовstatus.conditions
Условия узла.
Условие со значением
False, причина которого оканчивается наPending, означает ожидание. Любая другая причина приFalse, а также значениеUnknownозначают ошибку. УсловиеAddressResolvedне влияет наphase.В условиях
Ready,ConfigurationAppliedиDisruptionApprovedполеobservedGenerationсодержит поколение, которое обработал узел. В остальных условиях — поколение, которое работает на узле.Типы условий:
Ready—Trueс причинойReconcileSucceeded, когдаphaseравноReady. В остальных случаяхFalse, причиной служит значениеphase, аmessageназывает условие, которое определило фазу.-
ConfigurationApplied—True, когда на узле работает опубликованная конфигурация.При
Trueпричина —ReconcileSucceededилиUnknownFields, если в объекте есть поля, неизвестные этой сборке агента. Такие поля перечислены вmessage.Причины при
False, которые означают ожидание:DisruptionApprovalPending;Pending;RestartPending.
Причины при
False, которые означают ошибку:Rejected;RolledBackToLastKnownGood;RollbackFailed;PartiallyApplied;FieldsNotApplicable.
-
DisruptionApproved— одобрено ли прерывание работы, которого требует конфигурация узла.Причины:
ApprovalPending(False) — конфигурация, которая прерывает работу узла, ждёт одобрения;AttemptsExhausted(False) — попыткиnode-managerпрервать работу узла не удались, и новых он пока не делает;Approved(True) — прерывание одобрено;NoDisruptionPending(True) — ничего не ждёт одобрения.
-
AddressResolved— определил ли узел адрес, с которым он регистрируется.Причины при
False:NoneInCIDR,Ambiguous— узел не может выбрать адрес;AddressDrift— узел сохраняет адрес, с которым зарегистрирован, но этого адреса больше нет на машине или конфигурация теперь выбирает другой.
-
Условия подсистем — по одному на каждую подсистему, которую проход запустил или пропустил:
BootTimeSyncConfigured;APIEndpointsReachable;SysctlApplied;KernelModulesLoaded;MountsReady;ExtensionsReady;ContainerdReady;KubeletReady;StaticPodsReady;RegistryRoutesReady;UnitsRunning;OSImageUpToDate;ControlPlaneBootstrapped.
Значения условия подсистемы:
Trueс причинойReconcileSucceededили с собственной причиной подсистемы из списка ниже;Falseс причинойPending, пока подсистема ждёт чего-то вне узла, или с причинойReconcileFailedлибо собственной причиной подсистемы в остальных случаях, описание причины — вmessage;Unknownс причинойReconcileSkipped, если подсистема не запускалась в этом проходе.
Собственные причины подсистем при
True:OwnedByRegistryAgent(RegistryRoutesReady) — на этом узле Generic OS хосты хранилищ containerd настраивает registry-агент. Узел не записывает маршруты и удалил те, что записал раньше.
Собственные причины подсистем при
False, которые означают ошибку:StaticPodFailed(StaticPodsReady) — манифест статического пода не записан или не удалён. Причину называет запись вstaticPods;OSImageRolledBack(OSImageUpToDate) — узел откатился с образа или уже отказывался от него. Повторно образ не применяется;OSImageRejected(OSImageUpToDate) — ядро отклонило подпись корневого хеша образа. Повторно образ не применяется;OSImageRootHashMismatch(OSImageUpToDate) — корневой хеш образа не совпадает с указанным в конфигурации. Повторно образ не применяется;OSImageDownloadFailed(OSImageUpToDate) — узел не смог скачать образ. Узел повторит попытку;OSImageStaged(OSImageUpToDate) — образ подготовлен к следующей загрузке, но узел не смог запросить перезагрузку;OSImageOnTrial(OSImageUpToDate) — узел вовремя не подтвердил новый образ и не смог запросить перезагрузку для повторной попытки.
Ожидание в условии
OSImageUpToDateпубликуется с причинойPending, а различает случаи полеmessage:OSImageBaselineUnknown— на узле нет записи о работающем образе, и обновить его можно только после переустановки;OSImageUpdateDeferred— обновление ждёт окна обновления;OSImageStaged,OSImageOnTrial— узел перезагружается в новый образ или ждёт свои подсистемы, прежде чем подтвердить образ.
Условие описывает одну сторону текущего состояния ресурса.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
Момент последнего перехода условия из одного состояния в другое.
Это должен быть момент, когда изменилось само условие. Если он неизвестен, допустимо указать момент изменения поля API.
- строкаstatus.conditions.message
Обязательный параметр
Человекочитаемое описание перехода.
Может быть пустой строкой.
Максимальная длина:
32768 - целочисленныйstatus.conditions.observedGeneration
Поколение
.metadata.generation, на основании которого установлено условие.Если значение этого параметра меньше значения
.metadata.generation, условие устарело относительно текущего состояния объекта.Допустимые значения:
0 <= X - строкаstatus.conditions.reason
Обязательный параметр
Программный идентификатор причины последнего перехода условия.
Значение — строка в формате CamelCase. Поле не может быть пустым.
Шаблон:
^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$Длина:
1..1024 - строкаstatus.conditions.status
Обязательный параметр
Статус условия:
True,FalseилиUnknown.Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
Тип условия в формате CamelCase или
foo.example.com/CamelCase.Шаблон:
^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$Максимальная длина:
316
- массив объектовstatus.extensions
Результат по каждому настроенному системному расширению (sysext) — по одной записи на расширение, чтобы было видно, какое именно расширение отказало, а не единый агрегированный статус.
Публикуется заново на каждом проходе и остаётся пустым, если проход ничего не проверял. Пустой список означает именно это и никогда не означает, что «прежний результат ещё в силе».
Результат согласования одного системного расширения.
- строкаstatus.extensions.digest
Зависит от
state.Ready— дайджест, установленный на узле.Pending— устанавливаемый дайджест. Для записи самого агента — установленный дайджест, сборка с которым ещё не запущена.Failed— дайджест, который узел отклонил или не смог установить.
- строкаstatus.extensions.message
Причина, когда
stateравноFailed. - строкаstatus.extensions.name
Обязательный параметр
Имя расширения:
spec.extensions[].nameили имя расширения, которое убрано изspec, но удалить его с узла Generic OS не удалось. - строкаstatus.extensions.state
Обязательный параметр
Состояние расширения.
Ready— расширение установлено (на узле Deckhouse Engine ещё и подключено).Pending— расширение загружается или ожидает окна обновления, либо агент перезапускается с новой сборкой самого себя (причинаRestartPending).Failed— установка не удалась, причина указана вmessage.
Допустимые значения:
Ready,Pending,Failed
- массив строкstatus.features
Функции, которые работали на узле в последнем цикле согласования, по алфавиту: функции, включённые в
spec.featureGates, и функции, включённые по умолчанию для типа узла.На узле Deckhouse Engine поле
spec.featureGatesобычно пустое: функции, которых в нём нет, там включены. Какие функции на самом деле работают на узле, показывает этот список. - строкаstatus.lastReconcileTime
Момент, когда узел в последний раз завершил проход согласования.
Больше ничто в статусе не устаревает: у условий есть
lastTransitionTime, но он сдвигается только при смене состояния. Поэтому узел, агент которого отказал в 02:00, так и остаётся с последним записанным статусом — и ни оператор, ни механизм выката (который сочтёт такой узел сошедшимся и освободит слот под следующий) не отличат этот узел от работающего.Значение обновляется не на каждом проходе, а не чаще раза в несколько минут: ежеминутная запись на каждый узел не даёт ничего по сравнению с более редким heartbeat. Поэтому об устаревании стоит судить в масштабе десятков минут, а не секунд.
- строкаstatus.maintenanceToken
Токен для аутентификации отправки конфигурации в maintenance-эндпоинт узла.
Агент на узле генерирует его при старте и переопубликовывает здесь на каждом проходе, пока доступен API кластера. Когда узел теряет доступ к API и открывает порт
:50000, оператор читает этот токен из последнего опубликованного статуса и передаёт его какAuthorization: Bearer <токен>при отправке конфигурации.Токен даёт право отправить узлу произвольную конфигурацию, поэтому поле помечено как чувствительное: API вырезает его из ответов на
get,listиwatchдля всех, у кого нет прав на субресурсnodeconfigs/sensitive. Узлы читают NodeConfig’и всего кластера (RBAC не умеет ограничить cluster-scoped ресурс собственным объектом узла) и этих прав намеренно НЕ получают — иначе один узел смог бы прочитать токен другого и отправить ему конфигурацию, как только тот потеряет доступ к API. - объектstatus.network
Адрес, с которым узел вошёл в кластер, и интерфейс, с которого этот адрес взят.
Пишет узел: он выбирает интерфейс по
spec.internalNetworkCIDRsили по меткеclusterи сообщает, чем закончился выбор. Кластер это значение только читает.- строкаstatus.network.address
Адрес, с которым kubelet зарегистрировал узел.
- строкаstatus.network.clusterInterface
Интерфейс, с которого взят адрес.
- целочисленныйstatus.observedGeneration
Последнее поколение
spec, которое узел обработал — обнаружил и принял решение.Достигает нового поколения, как только узел его обнаружил, даже если оно ещё удерживается до одобрения и не исполняется (Подробнее — в параметре
appliedGeneration). - объектstatus.osImage
Состояние образа операционной системы на узле. Заполняется узлом.
- целочисленныйstatus.osImage.attemptsLeft
Количество оставшихся попыток загрузки с проверяемым образом до автоматического отката initramfs к предыдущему образу.
- строкаstatus.osImage.digest
Дайджест образа операционной системы, который в данный момент используется узлом. Значение считывается из конфигурационного раздела узла.
Может отсутствовать на узлах, установленных до появления механизма сохранения дайджеста.
- строкаstatus.osImage.failedDigest
Дайджест образа, после загрузки которого узел выполнил откат. Повторные попытки загрузки этого образа не выполняются.
Поскольку дайджест однозначно идентифицирует неизменяемое содержимое образа, исправленная версия образа будет иметь другой дайджест.
- строкаstatus.osImage.rootHash
Корневой хеш dm-verity образа, который в данный момент используется узлом. Значение считывается из активного A/B-раздела.
Позволяет определить фактическое содержимое корневой файловой системы независимо от дайджеста образа. Например, дайджесты требуемого и используемого образов могут различаться после повторной публикации, при этом одинаковые значения
rootHashозначают, что содержимое корневой файловой системы не изменилось. - строкаstatus.osImage.slot
A/B-раздел (
aилиb), содержащий образ, который в данный момент используется узлом. - строкаstatus.osImage.trialDigest
Дайджест образа, подготовленного для следующей загрузки или проверяемого во время текущей загрузки.
Параметр устанавливается только во время обновления, пока
digestсодержит дайджест предыдущего образа.
- строкаstatus.phase
Сводка по узлу.
Ready— на узле работает опубликованная конфигурация, и все подсистемы исправны.Pending— узел исправен, но опубликованная конфигурация на нём ещё не работает.Degraded— хотя бы одно условие, кромеAddressResolved, сообщает об ошибке.
Допустимые значения:
Ready,Pending,Degraded - массив объектовstatus.staticPods
Результаты обработки статических подов. Для каждого пода создаётся отдельная запись.
Значение формируется заново при каждом проходе и остаётся пустым, если статические поды во время прохода не проверялись.
Результат обработки одного статического пода.
- строкаstatus.staticPods.manifestDigest
sha256 манифеста в том виде, в каком он опубликован в
spec, в форматеsha256:<hex>.Заполняется при
state: Written. - строкаstatus.staticPods.message
Подробная информация об ошибке, если
stateимеет значениеFailed. - строкаstatus.staticPods.name
Обязательный параметр
Имя статического пода, соответствующее
spec.staticPods[].name. - строкаstatus.staticPods.reason
Причина состояния
Failed.Возможные значения:
ManifestRejected— узел отклонил манифест. Необходимо исправить манифест в ресурсе;WriteFailed— не удалось записать файл манифеста на узел. Необходимо проверить состояние узла;RemoveFailed— статический под удалён изspec, но соответствующий файл манифеста не удалось удалить с узла. Под продолжает работать.
Допустимые значения:
ManifestRejected,WriteFailed,RemoveFailed - строкаstatus.staticPods.state
Обязательный параметр
Состояние обработки манифеста.
Возможные значения:
Written— файл на диске соответствует манифесту изspec;Failed— файл не соответствует манифесту изspec. Причина указывается в полеreason.
Допустимые значения:
Written,Failed
- массив объектовstatus.units
Результат по каждому управляемому systemd-юниту (containerd, kubelet и каждый юнит, поставляемый расширением) — по одной записи на юнит.
Результат согласования одного управляемого systemd-юнита.
- строкаstatus.units.message
Причина, когда
stateравноFailed. - строкаstatus.units.name
Обязательный параметр
Имя systemd-юнита (например,
containerd.service). - строкаstatus.units.state
Обязательный параметр
Active— юнит запущен.Pending— юнит поставлен в очередь на запуск позже в этом цикле.Failed— отказ, причина вmessage.Допустимые значения:
Active,Pending,Failed
NodeExtensionRequest
Short names: ner
Scope: Cluster
Version: v1alpha1
Запрос на установку расширения на выбранные узлы: системного расширения (образа sysext, при необходимости с модулями ядра) или registry-пакета.
Вид расширения автор запроса указывает в spec.extension.kind. Registry-пакет (Package) устанавливается на выбранные узлы под управлением bashible, системное расширение (SystemExtension) — на выбранные узлы Deckhouse Engine. По образу вид не определяется. Если ни одна из выбранных групп не устанавливает расширения такого вида, в состоянии Accepted указывается причина NotDeliverable.
Образ задаётся так же, как любой пакет в registry-packages-proxy: имя, дайджест и необязательные репозиторий и путь. node-controller без изменений переносит эти поля в spec.extensions объекта NodeConfig, и агент узла устанавливает расширение. Образ по модулю или ModuleSource не ищется.
Пример:
# A system extension with kernel modules, fetched from the registry of a ModuleSource.
apiVersion: deckhouse.io/v1alpha1
kind: NodeExtensionRequest
metadata:
name: drbd
spec:
extension:
name: drbd
digest: sha256:4f53cda18c2baa0c0354bb5f9a3ecbe5ed12ab4d8e11ba873c2f11161202b945
kind: SystemExtension
repository: registry.example.com/deckhouse/modules
path: drbd/extensions
kernelModules:
- name: drbd
params:
- usermode_helper=disabled
- name: drbd_transport_tcp
nodeGroupSelector:
matchNames:
- worker
---
# A registry package from the cluster's main registry, on the nodes of every
# group bashible configures that carry the label.
apiVersion: deckhouse.io/v1alpha1
kind: NodeExtensionRequest
metadata:
name: nvme-cli
spec:
extension:
name: nvme-cli
digest: sha256:9b2a6f2bb7e3c5f6d1a0e4c8b7d6e5f4a3b2c1d0e9f8a7b6c5d4e3f2a1b0c9d8
kind: Package
nodeSelector:
matchLabels:
storage.example.com/nvme: "true"
- строкаapiVersion
- строкаkind
- объектmetadata
- объектspec
Обязательный параметр
- объектspec.extension
Обязательный параметр
Образ для установки и его вид. Образ задаётся так же, как любой пакет в registry-packages-proxy.
- строкаspec.extension.digest
Обязательный параметр
Дайджест манифеста образа.
Шаблон:
^sha256:[a-f0-9]{64}$ - массив объектовspec.extension.kernelModules
Модули ядра, которые агент узла загружает после подключения системного расширения, в указанном порядке. Допускаются только при виде
SystemExtension. Каждый модуль указывается один раз.Зависимости автоматически не загружаются, поэтому перечислите все модули, которые нужны расширению, и укажите каждый модуль после модулей, от которых он зависит.
Добавление модуля прерывает работу каждого выбранного узла, поэтому узел ждёт одобренной операции NodeOperation типа
Disruption.- строкаspec.extension.kernelModules.name
Обязательный параметр
Имя модуля ядра.
Шаблон:
^[a-zA-Z0-9][a-zA-Z0-9_-]*$Длина:
1..64 - массив строкspec.extension.kernelModules.params
Параметры модуля, передаваемые строками вида
key=value.- строкаЭлемент массива
Максимальная длина:
256
- строкаspec.extension.kind
Обязательный параметр
Вид образа.
Package— registry-пакет. Агент узла устанавливает его на выбранных узлах под управлением bashible.SystemExtension— системное расширение. Агент узла подключает его на выбранных узлах Deckhouse Engine.
Узлы групп другого типа образ не получают. Если ни одна из выбранных групп не устанавливает расширения такого вида, в состоянии
Acceptedуказывается причинаNotDeliverable.Поле нельзя изменить после создания. Чтобы сменить вид, удалите запрос и создайте его заново.
Допустимые значения:
Package,SystemExtension - строкаspec.extension.name
Обязательный параметр
Имя расширения.
Образ системного расширения должен содержать файл extension-release для этого имени.
Имена
containerd,kubelet,kubernetes-cni,nodeletиqemu-guest-agentпринадлежат расширениям платформы и не принимаются.Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$Длина:
1..63 - строкаspec.extension.path
Путь к образу внутри репозитория (
--rpp-pathпрокси). Если поле пустое, используется корень репозитория.Максимальная длина:
512 - строкаspec.extension.repository
Ключ, по которому registry-packages-proxy подбирает учётные данные (его
--rpp-repository), напримерspec.registry.repoобъекта ModuleSource. Если поле пустое, образ скачивается из основного registry кластера.Шаблон:
^[^[:space:]]+$Максимальная длина:
1024
- объектspec.nodeGroupSelector
Ограничивает расширение узлами перечисленных NodeGroup.
- массив строкspec.nodeGroupSelector.matchNames
Набор имён NodeGroup, к которым применяется расширение.
- строкаЭлемент массива
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$Максимальная длина:
63
- объектspec.nodeSelector
Ограничивает расширение узлами с указанными лейблами.
- объектspec.nodeSelector.matchLabels
Набор лейблов, которые должен нести узел, чтобы попасть под выбор.
- объектstatus
- целочисленныйstatus.appliedNodes
Количество выбранных узлов, которые сообщили, что расширение установлено с дайджестом этого запроса.
Допустимые значения:
0 <= X - массив объектовstatus.conditions
Условия запроса:
AcceptedиReady.Acceptedпоказывает, принял лиnode-managerзапрос. Условие равноTrueс причинойAcceptedилиFalseс одной из причин:InvalidExtension— у расширения не указано имя или дайджест.ReservedName— имя принадлежит расширению платформы.Conflict— более ранний запрос того же вида уже использует это имя или дайджест, либо платформа устанавливает на те же узлы registry-пакет с этим именем или дайджестом.KernelModuleConflict— более ранний запрос уже загружает один из модулей ядра с другими параметрами.NotDeliverable— ни одна из выбранных NodeGroup не устанавливает расширения такого вида.
Readyпоказывает, работают ли выбранные узлы с дайджестом запроса:Trueс причинойAllNodesApplied— работают все выбранные узлы.Trueс причинойNoNodesSelected— запрос не выбирает ни одного узла. Выбранные NodeGroup не существуют, в них нет узлов или нет узлов, подходящих подnodeSelector.Falseс причинойRolloutInProgress— часть выбранных узлов ещё не перешла на дайджест запроса.Falseс причинойRefusedByNodes— хотя бы один узел отклонил расширение.Falseс причинойNotAccepted— условиеAcceptedравноFalse.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
- строкаstatus.conditions.message
Обязательный параметр
Максимальная длина:
32768 - целочисленныйstatus.conditions.observedGeneration
Допустимые значения:
0 <= X - строкаstatus.conditions.reason
Обязательный параметр
Шаблон:
^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$Длина:
1..1024 - строкаstatus.conditions.status
Обязательный параметр
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
Шаблон:
^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$Максимальная длина:
316
- целочисленныйstatus.failedNodes
Количество выбранных узлов, которые отклонили расширение с дайджестом запроса.
Допустимые значения:
0 <= X - массив строкstatus.matchedNodeGroups
Выбранные NodeGroup, узлы которых устанавливают такой образ: группы Deckhouse Engine для системного расширения, группы под управлением bashible для registry-пакета.
- целочисленныйstatus.matchedNodes
Количество узлов в группах из
matchedNodeGroups, которые выбраны селекторами.Допустимые значения:
0 <= X - массив объектовstatus.nodes
Выбранные узлы, которые ещё не применили запрос, не больше 32.
- строкаstatus.nodes.message
Причина отказа или то, чего ждёт узел.
Максимальная длина:
4096 - строкаstatus.nodes.name
Обязательный параметр
Имя узла.
- строкаstatus.nodes.state
Обязательный параметр
Failed, если узел отклонил запрос, илиPending, если узел ещё не ответил.Допустимые значения:
Pending,Failed
- целочисленныйstatus.observedGeneration
Поколение spec, которому соответствует текущий status.
Допустимые значения:
0 <= X - целочисленныйstatus.pendingNodes
Количество выбранных узлов, которые ещё не сообщили ни об установке расширения с дайджестом запроса, ни об отказе.
Допустимые значения:
0 <= X - строкаstatus.phase
Сводка по условиям.
Pending— выбранные узлы ещё устанавливают расширение (у условияReadyпричинаRolloutInProgress).Ready— условиеReadyравноTrue.Degraded—node-managerне принял запрос (условиеAcceptedравноFalse) или узлы отклонили расширение (у условияReadyпричинаRefusedByNodes).
Допустимые значения:
Pending,Ready,Degraded
NodeGroupConfiguration
Short names: ngc
Scope: Cluster
Version: v1alpha1
Ресурс для выполнения bash-скриптов на узлах.
Подробнее в документации модуля.
- объектspec
Обязательный параметр
- массив строкspec.bundles
Обязательный параметр
Список bundle’ов, для которых будет выполняться скрипт. Для выбора всех bundle’ов нужно указать
'*'.Примеры:
bundles: - ubuntu-lts - centos-7bundles: - ubuntu-ltsbundles: - "*"- строкаЭлемент массива
Допустимые значения:
ubuntu-lts,centos,debian,redos,rosa,astra,altlinux,opensuse,*
- строкаspec.content
Обязательный параметр
Содержимое шага конфигурации в виде bash-скрипта.
Для генерации скрипта возможно использовать Go Template.
Получить список параметров, доступных для использования в шаблонах, можно из секрета
bashible-apiserver-context:d8 k -n d8-cloud-instance-manager get secrets bashible-apiserver-context -o jsonpath='{.data.input\.yaml}'| base64 -dПример:
{{- range .nodeUsers }} echo 'Tuning environment for user {{ .name }}' # Some code for tuning user environment {{- end }}Также в скрипте допустимо использовать подготовленные команды bashbooster. Например:
bb-event-on 'bb-package-installed' 'post-install' post-install() { bb-log-info "Setting reboot flag due to kernel was updated" bb-flag-set reboot }Пример использования параметров proxy, указанных в ресурсе ClusterConfiguration:
bb-set-proxy curl -I https://google.com bb-unset-proxytest-function-with-proxy() { bb-set-proxy trap bb-unset-proxy RETURN curl -I https://google.com } test-function-with-proxy - массив строкspec.nodeGroups
Обязательный параметр
Список NodeGroup, к которым нужно применять шаг конфигурации. Для выбора всех NodeGroups нужно указать ‘*’.
Примеры:
nodeGroups: - master - workernodeGroups: - workernodeGroups: - "*" - целочисленныйspec.weight
Очередность выполнения шага конфигурации.
По умолчанию:
100
NodeOperation
Short names: nop
Scope: Cluster
Version: v1alpha1
Описывает операцию над узлом, которая прерывает его работу.
spec существующей операции изменить нельзя, кроме .spec.approved. Чтобы одобрить операцию Disruption, выполните:
d8 k patch nodeoperation <OPERATION_NAME> --type=merge -p '{"spec":{"approved":true}}'
В команде замените <OPERATION_NAME> на имя операции.
Операции для удаляемой машины Cluster API несут метку node-manager.deckhouse.io/machine-uid. Ставить её может только node-manager.
Пример:
# Reboot a node.
apiVersion: deckhouse.io/v1alpha1
kind: NodeOperation
metadata:
name: reboot-worker-1
spec:
type: Reboot
nodeName: worker-1
- строкаapiVersion
- строкаkind
- объектmetadata
- объектspec
Обязательный параметр
- булевыйspec.approved
Можно ли прервать работу узла. Если поле не задано, операция не одобрена.
Имеет смысл только для
Disruption.RebootиDrainполе не читают.В режиме одобрения
Manualгруппы узлов (spec.disruptions.approvalMode)node-managerставитfalse, аtrueставит оператор. В остальных режимахnode-managerставитtrueпри создании. Отозвать одобрение нельзя. - строкаspec.cause
Причина, по которой прерывается работа узла.
Для
Disruptionполе заполняетnode-managerпри создании операции. ДляRebootиDrainполе может задать оператор.Максимальная длина:
1024 - целочисленныйspec.configGeneration
Ревизия NodeConfig узла, ради которой прерывается его работа (
.metadata.generationобъекта NodeConfig).Допускается только для
Disruption. Для остальных типов API-сервер отклоняет это поле. Если NodeConfig перешёл на более новое поколение до одобрения операции,node-managerудаляет операцию.Допустимые значения:
1 <= X - объектspec.drain
Как вытеснять рабочую нагрузку с узла перед тем, как прервать его работу.
Допускается для
RebootиDisruption. ДляDrainAPI-сервер отклоняет это поле.- булевыйspec.drain.skip
Прервать работу узла, не вытесняя с него рабочую нагрузку.
Создавая операцию
Disruption,node-managerставит значениеtrueдля следующих узлов:- единственного узла группы
master; - узла с подом Deckhouse, пока в его группе меньше двух узлов в статусе
Ready; - каждого узла NodeGroup с
spec.disruptions.automatic.drainBeforeApproval: false.
По умолчанию:
false - единственного узла группы
- строкаspec.nodeConfigUID
Объект NodeConfig, ради которого прерывается работа узла (
.metadata.uidобъекта NodeConfig узла).Имеет смысл только для
Disruption. Остальные типы поле не читают.Максимальная длина:
36 - строкаspec.nodeName
Обязательный параметр
Имя узла, к которому относится операция.
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$Длина:
1..253 - строкаspec.type
Обязательный параметр
Операция, выполняемая над узлом.
Reboot— перезагрузить узел. Эту операцию выполняют только узлы NodeGroup сsystemType: DeckhouseEngine. Узел, которым управляет bashible, отказывается её выполнять, и операция завершается неудачей с причинойNodeRefused.-
Drain— вытеснить рабочую нагрузку с узла. Узел остаётся недоступным для планировщика, пока оператор снова не сделает его доступным.node-managerтакже создаётDrainдля узла удаляемой машины Cluster API. Имя машины указано в.spec.cause.Чтобы отменить выполняющийся
Drain, удалите его.node-managerснимает с узла запрос на вытеснение до того, как объект будет удалён. Если вытеснение уже сделало узел недоступным для планировщика, таким он и останется: верните его в планировщик сами. Disruption— прервать работу узла, чтобы он мог применить новую конфигурацию.
Операции
Disruptionсоздаётnode-manager. Запрос на ручное создание такой операции отклоняется. ОперацииRebootиDrainпредназначены для оператора.Допустимые значения:
Reboot,Drain,Disruption
- объектstatus
- строкаstatus.bootID
Идентификатор загрузки узла (
status.nodeInfo.bootIDобъекта Node) в момент начала перезагрузки.Максимальная длина:
64 - массив объектовstatus.conditions
Подробности о ходе выполнения операции:
Drained— пишетnode-manager. Пока нагрузку вытесняют с узла, условие имеет статусFalseс причинойDraining. Когда нагрузка покинула узел, условие получает статусTrueс причинойDrained. Если операция пропускает вытеснение, условие получает статусTrueс причинойDrainSkipped.EvictionBlocked— пишетnode-manager, пока вытеснение нагрузки отклоняется, например из-за PodDisruptionBudget. Условие имеет статусTrueс причинойEvictionRefused, а в егоmessageперечислены отказы в том виде, в каком их возвращает вытеснение, по одному на под. Тот же текст попадает вmessageоперации. Условие снимается, когда отказы прекращаются или вытеснение завершается. Завершённая операция сохраняет отказы, на которых закончилась.NodeReported— пишет узел. Условие получает статусTrueс причинойSucceeded,Released,Failed,RefusedилиRebootStarted.Retry— пишетnode-managerв операциюDisruption, завершившуюся ошибкой. Условие показывает, будет лиnode-managerпробовать ещё раз для той же ревизии NodeConfig.
Причины условия
Retry:Created(True) — следующая попытка уже создана, её имя указано вmessage.Scheduled(True) —node-managerсоздаст следующую попытку в момент, указанный вmessage.AttemptsExhausted(False) — 3 попытки для той же ревизии завершились ошибкой.node-managerне создаёт новых попыток, пока не изменится NodeConfig или не будет удалена самая старая неудачная попытка.Superseded(False) — NodeConfig перешёл на другое поколение или был пересоздан.NotRequested(False) — узел больше не просит прервать его работу для этой ревизии.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
- строкаstatus.conditions.message
Обязательный параметр
Максимальная длина:
32768 - целочисленныйstatus.conditions.observedGeneration
Допустимые значения:
0 <= X - строкаstatus.conditions.reason
Обязательный параметр
Шаблон:
^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$Длина:
1..1024 - строкаstatus.conditions.status
Обязательный параметр
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
Шаблон:
^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$Максимальная длина:
316
- строкаstatus.deadline
Момент, когда истекает текущий этап операции и она завершается неудачей.
Узлу даётся 30 минут с момента
startedAt, чтобы сообщить результат или вернуться после перезагрузки. На вытеснение даётся время из параметраnodeDrainTimeoutSecondгруппы узлов плюс 30 минут. - строкаstatus.drainDeadline
Момент, к которому должен завершиться drain, запрошенный этой операцией.
У операции
Drainудаляемой машины в этот момент операция завершается с причинойPreparationTimedOut, и машина удаляется вместе с подами, которые не покинули узел. Для NodeGroup типаStaticилиCloudStaticбезnodeDrainTimeoutSecondполе не задаётся, и время такой операции не ограничено.Значение фиксируется в момент запроса: берётся
nodeDrainTimeoutSecondгруппы, каким он был тогда, — именно с этой границей начал работать контроллер drain. Если вычислять границу заново, изменение NodeGroup оборвёт уже идущий drain. - объектstatus.eviction
Ход вытеснения, запрошенного этой операцией. Пишет
node-manager, пока вытеснение идёт.Поле появляется, когда составлен список подов для вытеснения, и обновляется раз в несколько секунд. Когда вытеснение завершается, поле удаляется. Операция, завершившаяся ошибкой, сохраняет значение, на котором остановилась.
- целочисленныйstatus.eviction.remainingPods
Обязательный параметр
Сколько подов из списка вытеснения ещё остаётся на узле, включая завершающиеся. Поды DaemonSet, статические и завершившиеся поды вытеснение оставляет на узле, они не учитываются.
Допустимые значения:
0 <= X - массив строкstatus.eviction.terminatingPods
Поды, которые уже вытеснены, но ещё не остановились, в виде
<namespace>/<name>.
- строкаstatus.finishedAt
Момент перехода операции в финальную фазу.
Завершённая операция хранится как запись о том, что было сделано с узлом, и удаляется через сутки после завершения.
- строкаstatus.message
Пояснение к
reasonдля человека.Максимальная длина:
32768 - булевыйstatus.nodeWasUnschedulable
Был ли узел уже недоступен для планировщика в момент, когда операция до него дошла.
По завершении операции узлу возвращается именно это значение, а не «доступен» — чтобы операция без уведомления не отменила cordon, установленный оператором вручную.
- строкаstatus.phase
Текущая фаза операции. Фазу ставит
node-manager.Pending— операция стоит в очереди или ждёт одобрения.Approved— операцию можно выполнять. С узла вытесняется нагрузка, и только после этого узел получит операцию.InProgress— для операцииDrainс узла вытесняется нагрузка. Для остальных типов узел подготовлен и может выполнять операцию.Completed— операция прошла успешно.Failed— операция завершилась неудачно.
Допустимые значения:
Pending,Approved,InProgress,Completed,Failed - строкаstatus.reason
Причина текущей фазы операции.
Pending—Queued(ещё ничего не сделано),WaitingForApproval.Approved—Draining(с узла вытесняется нагрузка),WaitingForOperation(с узла уже идёт другое вытеснение, и вmessageуказано, кто его запросил).InProgress—DrainingиWaitingForOperation(дляDrain),WaitingForNode(операция передана узлу, и он ещё не сообщил результат),Rebooting(узел перезагружается и ещё не вернулся).Completed—Succeeded,Released(узел отказался от ревизии NodeConfig, для которой создана операцияDisruption),Drained(дляDrain).Failed—NodeFailedиNodeRefused(сообщает узел),PreparationTimedOut(нагрузка не покинула узел вовремя),NodeTimedOut(узел не отчитался или не вернулся после перезагрузки вовремя),NodeNotFound,NodeGroupMissing,MachineDeleted(машина узла удаляется).
Шаблон:
^[A-Za-z][A-Za-z0-9]*$Максимальная длина:
128 - строкаstatus.startedAt
Момент передачи операции узлу.
От него отсчитывается ожидание ответа узла.
NodeStaticPodRequest
Short names: nspr
Scope: Cluster
Version: v1alpha1
Запрос на запуск статического пода на выбранных узлах без участия планировщика.
node-manager добавляет манифест в spec.staticPods объекта NodeConfig каждого выбранного узла. Узел записывает манифест на диск, а kubelet запускает по нему под. Запрос сообщает, записали ли узлы манифест, но не сообщает, работает ли под.
Пользователь с правами на создание NodeStaticPodRequest может запускать произвольные манифесты с правами root на всех выбранных узлах.
Пример:
# A node-local agent on the nodes of the worker NodeGroup.
apiVersion: deckhouse.io/v1alpha1
kind: NodeStaticPodRequest
metadata:
name: node-local-agent
spec:
nodeGroupSelector:
matchNames:
- worker
manifest: |
apiVersion: v1
kind: Pod
metadata:
name: node-local-agent
namespace: kube-system
spec:
hostNetwork: true
priorityClassName: system-node-critical
containers:
- name: agent
image: deckhouse.local/images:node-local-agent
args:
- --listen-address=$MY_IP:5002
env:
- name: NODE_NAME
valueFrom:
fieldRef:
fieldPath: spec.nodeName
volumeMounts:
- name: state
mountPath: /var/lib/node-local-agent
volumes:
- name: state
hostPath:
path: /var/lib/node-local-agent
type: DirectoryOrCreate
- строкаapiVersion
- строкаkind
- объектmetadata
- объектspec
Обязательный параметр
- строкаspec.manifest
Обязательный параметр
Полный манифест пода.
Требования к манифесту:
metadata.name— DNS-поддомен (RFC 1123),metadata.namespace— DNS-метка (RFC 1123).- Неймспейс —
kube-systemили начинается сd8-. - Поле
spec.nodeNameне задано. - Под не ссылается на объекты API. Не допускаются
spec.serviceAccountName, тома типовsecret,configMap,persistentVolumeClaimиprojected, а такжеenvFromиenv[].valueFromсsecretKeyRefилиconfigMapKeyRefв контейнерах и init-контейнерах.
Манифест, который не отвечает этим требованиям, отклоняется при создании и изменении запроса.
При записи манифеста на диск подстрока
$MY_IPзаменяется на IP-адрес узла.Максимальный размер манифеста — 32 КиБ. На одном узле может быть запущено не более 16 статических подов, определённых с помощью NodeStaticPodRequest.
Длина:
1..32768 - объектspec.nodeGroupSelector
Ограничивает под узлами перечисленных NodeGroup.
Если не указана ни одна группа, выбираются все NodeGroup. Агент узла записывает манифест из NodeConfig каждого выбранного узла. На узлах, которыми управляет bashible, ресурс с именем
registry-agentили с подомkube-system/registry-agentне применяется: этот манифест записывает сам bashible. Если ресурс не попадает ни на один другой узел, в состоянииReadyуказывается причинаServedByBashible.- массив строкspec.nodeGroupSelector.matchNames
Набор имён NodeGroup, на которых запускается под.
- строкаЭлемент массива
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$Максимальная длина:
63
- объектstatus
- целочисленныйstatus.appliedNodes
Количество выбранных узлов, которые сообщили о записи текущего манифеста.
Допустимые значения:
0 <= X - массив объектовstatus.conditions
Условия запроса:
AcceptedиReady.Acceptedпоказывает, принял лиnode-managerзапрос. Условие равноTrueс причинойAcceptedилиFalseс одной из причин:InvalidName— имя запроса не является DNS-меткой (RFC 1123) длиной не более 63 символов.ReservedName— имя запроса или сочетаниеmetadata.namespaceиmetadata.nameпода уже занято статическим подом платформы.InvalidManifest— манифест не отвечает требованиям из описанияspec.manifest.Conflict— более ранний запрос уже определяет под с теми жеmetadata.namespaceиmetadata.name.LimitExceeded— хотя бы у одной выбранной NodeGroup уже есть 16 статических подов из более ранних запросов. Манифест получают только узлы остальных выбранных NodeGroup.
Readyпоказывает, записали ли выбранные узлы текущий манифест:Trueс причинойAllNodesApplied— записали все выбранные узлы.Trueс причинойNoNodesSelected— селектор не выбирает ни одной существующей NodeGroup или в выбранных NodeGroup нет узлов.Trueс причинойServedByBashible— выбранными NodeGroup управляет bashible, и манифестregistry-agentна их узлах он записывает сам.Falseс причинойRolloutInProgress— часть выбранных узлов ещё не записала текущий манифест.Falseс причинойRefusedByNodes— хотя бы один узел отклонил манифест.Falseс причинойNotAccepted— условиеAcceptedравноFalse.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
- строкаstatus.conditions.message
Обязательный параметр
Максимальная длина:
32768 - целочисленныйstatus.conditions.observedGeneration
Допустимые значения:
0 <= X - строкаstatus.conditions.reason
Обязательный параметр
Шаблон:
^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$Длина:
1..1024 - строкаstatus.conditions.status
Обязательный параметр
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
Шаблон:
^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$Максимальная длина:
316
- целочисленныйstatus.failedNodes
Количество выбранных узлов, которые отклонили манифест.
Допустимые значения:
0 <= X - массив строкstatus.matchedNodeGroups
NodeGroup, соответствующие текущему селектору.
- целочисленныйstatus.matchedNodes
Количество узлов в выбранных группах, на которые манифест записывает агент узла. Узлы NodeGroup, на которых манифест записывает сам bashible, не учитываются.
Допустимые значения:
0 <= X - массив объектовstatus.nodes
Выбранные узлы, которые ещё не записали текущий манифест, не больше 32.
- строкаstatus.nodes.message
Причина отказа или то, чего ждёт узел.
Максимальная длина:
4096 - строкаstatus.nodes.name
Обязательный параметр
Имя узла.
- строкаstatus.nodes.state
Обязательный параметр
Failed, если узел отклонил манифест, илиPending, если узел ещё не ответил.Допустимые значения:
Pending,Failed
- целочисленныйstatus.observedGeneration
Поколение
spec, которому соответствует текущийstatus.Допустимые значения:
0 <= X - целочисленныйstatus.pendingNodes
Количество выбранных узлов, которые ещё не сообщили ни о записи текущего манифеста, ни об отказе.
Допустимые значения:
0 <= X - строкаstatus.phase
Сводка по условиям.
Pending— выбранные узлы ещё записывают манифест (у условияReadyпричинаRolloutInProgress).Ready— условиеReadyравноTrue.Degraded—node-managerне принял запрос (условиеAcceptedравноFalse) или узлы отклонили манифест (у условияReadyпричинаRefusedByNodes).
Допустимые значения:
Pending,Ready,Degraded
NodeUser
Scope: Cluster
- v1
- v1alpha1
Описывает Linux-пользователей, которые будут созданы на всех узлах.
Домашний каталог пользователя создается в директории /home/deckhouse/.
- объектspec
Обязательный параметр
- массив строкspec.extraGroups
Список дополнительных групп, в которые должен быть включен пользователь.
Примеры:
extraGroups: - dockerextraGroups: - docker - ftp - булевыйspec.isSudoer
Определяет, будет ли пользователю разрешено sudo.
По умолчанию:
falseПример:
isSudoer: true - массив строкspec.nodeGroups
Список NodeGroup, к которым будет применяться настройка пользователя.
По умолчанию:
["*"]Примеры:
nodeGroups: - master - workernodeGroups: - workernodeGroups: - "*" - строкаspec.passwordHash
Хеш пароля пользователя.
Формат соответствует хешам паролей, содержащихся в
/etc/shadow. Его можно получить с помощью командыopenssl passwd -6.Если у вызывающей стороны нет прав на подресурс
nodeusers/sensitive, API возвращает<omitted>вместо значения.Пример:
passwordHash: "$2a$10$F9ey7zW.sVliT224RFxpWeMsgzO.D9YRG54a8T36/K2MCiT41nzmC" - строкаspec.sshPublicKeyПараметр устарел
Публичный SSH-ключ пользователя.
Обязательно должен быть указан либо
sshPublicKey, либоsshPublicKeys.Пример:
sshPublicKey: ssh-rsa AAABBB - массив строкspec.sshPublicKeys
Массив публичных SSH-ключей пользователя.
Обязательно должен быть указан либо
sshPublicKey, либоsshPublicKeys.Пример:
sshPublicKeys: - ssh-rsa AAABBB - cert-authority,principals="name" ssh-rsa BBBCCC - числоspec.uid
Обязательный параметр
User ID пользователя на узлах.
Рекомендуем использовать значения
>= 1100во избежание возможных конфликтов с пользователями, созданными вручную.Неизменяемый в течение жизни ресурса параметр.
Допустимые значения:
1001 <= XПример:
uid: 1100
- объектstatus
Информация о статусе создания пользователя
- объектstatus.errors
Список ошибок создания пользователя на каждом узле
Устаревший ресурс. Поддержка ресурса может быть исключена в следующих версиях.
Описывает Linux-пользователей, которые будут созданы на всех узлах.
Домашний каталог пользователя создается в директории /home/deckhouse/.
- объектspec
Обязательный параметр
- массив строкspec.extraGroups
Список дополнительных групп, в которые должен быть включен пользователь.
Примеры:
extraGroups: - dockerextraGroups: - docker - ftp - булевыйspec.isSudoer
Определяет, будет ли пользователю разрешено sudo.
По умолчанию:
falseПример:
isSudoer: true - массив строкspec.nodeGroups
Список NodeGroup, к которым будет применяться настройка пользователя.
По умолчанию:
["*"]Примеры:
nodeGroups: - master - workernodeGroups: - workernodeGroups: - "*" - строкаspec.passwordHash
Хеш пароля пользователя.
Формат соответствует хешам паролей, содержащихся в
/etc/shadow. Его можно получить с помощью командыopenssl passwd -6.Если у вызывающей стороны нет прав на подресурс
nodeusers/sensitive, API возвращает<omitted>вместо значения.Пример:
passwordHash: "$2a$10$F9ey7zW.sVliT224RFxpWeMsgzO.D9YRG54a8T36/K2MCiT41nzmC" - строкаspec.sshPublicKeyПараметр устарел
Публичный SSH-ключ пользователя.
Обязательно должен быть указан либо
sshPublicKey, либоsshPublicKeys.Пример:
sshPublicKey: ssh-rsa AAABBB - массив строкspec.sshPublicKeys
Массив публичных SSH-ключей пользователя.
Обязательно должен быть указан либо
sshPublicKey, либоsshPublicKeys.Пример:
sshPublicKeys: - ssh-rsa AAABBB - cert-authority,principals="name" ssh-rsa BBBCCC - числоspec.uid
Обязательный параметр
User ID пользователя на узлах.
Рекомендуем использовать значения
>= 1100во избежание возможных конфликтов с пользователями, созданными вручную.Неизменяемый в течение жизни ресурса параметр.
Допустимые значения:
1001 <= XПример:
uid: 1100
SSHCredentials
Scope: Cluster
- v1alpha2
- v1alpha1
Содержит данные, необходимые Cluster API Provider Static (CAPS) для подключения по протоколу SSH. CAPS подключается к серверу (виртуальной машине), описанному в ресурсе StaticInstance для управления его состоянием.
Ссылка на этот ресурс указывается в параметре credentialsRef ресурса StaticInstance.
- строкаapiVersion
Версия API объекта.
- строкаkind
Тип объекта.
- объектmetadata
- объектspec
Желаемое состояние объекта SSHCredentials.
- строкаspec.privateSSHKey
Закрытый ключ SSH в формате PEM, закодированный в Base64.
Если у пользователя нет прав на просмотр конфиденциальных данных SSHCredentials, API возвращает
<omitted>вместо фактического значения. - строкаspec.sshExtraArgs
Список дополнительных параметров для SSH-клиента (
openssh).Примеры:
sshExtraArgs: "-vvv"sshExtraArgs: "-c chacha20-poly1305@openssh.com"sshExtraArgs: "-c aes256-gcm@openssh.com"sshExtraArgs: "-m umac-64-etm@openssh.com"sshExtraArgs: "-m hmac-sha2-512-etm@openssh.com" - целочисленныйspec.sshPort
Порт для подключения по SSH.
По умолчанию:
22Допустимые значения:
1 <= X <= 65535 - строкаspec.sudoPasswordEncoded
Пароль пользователя для использования
sudo, закодированный в Base64.Если у пользователя нет прав на просмотр конфиденциальных данных SSHCredentials, API возвращает
<omitted>вместо фактического значения. - строкаspec.user
Обязательный параметр
Имя пользователя для подключения по SSH.
Содержит данные, необходимые Cluster API Provider Static (CAPS) для подключения по протоколу SSH. CAPS подключается к серверу (виртуальной машине), описанному в ресурсе StaticInstance для управления его состоянием.
Ссылка на этот ресурс указывается в параметре credentialsRef ресурса StaticInstance.
- строкаapiVersion
Версия API объекта.
- строкаkind
Тип объекта.
- объектmetadata
- объектspec
Желаемое состояние объекта SSHCredentials.
- строкаspec.privateSSHKey
Закрытый ключ SSH в формате PEM, закодированный в Base64.
Если у пользователя нет прав на просмотр конфиденциальных данных SSHCredentials, API возвращает
<omitted>вместо фактического значения. - строкаspec.sshExtraArgs
Список дополнительных параметров для SSH-клиента (
openssh).Примеры:
sshExtraArgs: "-vvv"sshExtraArgs: "-c chacha20-poly1305@openssh.com"sshExtraArgs: "-c aes256-gcm@openssh.com"sshExtraArgs: "-m umac-64-etm@openssh.com"sshExtraArgs: "-m hmac-sha2-512-etm@openssh.com" - целочисленныйspec.sshPort
Порт для подключения по SSH.
По умолчанию:
22Допустимые значения:
1 <= X <= 65535 - строкаspec.sudoPassword
Пароль пользователя для использования
sudo.Если у пользователя нет прав на просмотр конфиденциальных данных SSHCredentials, API возвращает
<omitted>вместо фактического значения. - строкаspec.user
Обязательный параметр
Имя пользователя для подключения по SSH.
StaticInstance
Scope: Cluster
- v1alpha2
- v1alpha1
Описывает объект машины для Cluster API Provider Static.
- строкаapiVersion
Версия API объекта.
- строкаkind
Тип объекта.
- объектmetadata
- объектspec
Желаемое состояние объекта StaticInstance.
- строкаspec.address
Обязательный параметр
IP-адрес сервера (виртуальной машины) для подключения.
Шаблон:
^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$ - строкаspec.credentialsRef.apiVersion
Версия API ресурса.
- строкаspec.credentialsRef.fieldPath
Если речь идет о части объекта, а не о целом объекте, эта строка должна содержать действительное выражение для доступа к полю JSON/Go, например
desiredState.manifest.containers[2].Например, если ссылка на объект относится к контейнеру внутри пода, этот параметр будет иметь значение вида:
spec.containers{name}(гдеname— имя контейнера, который вызвал событие) или, если имя контейнера не указано, —spec.containers[2](контейнер с индексом 2 в этом поде). Этот синтаксис выбран только для того, чтобы иметь четко определенный способ ссылки на часть объекта. - строкаspec.credentialsRef.kind
Kind ресурса.
- строкаspec.credentialsRef.name
Имя ресурса.
- строкаspec.credentialsRef.namespace
Неймспейс ресурса.
Подробнее: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/
- строкаspec.credentialsRef.resourceVersion
Конкретная версия ресурса, на которую ссылается данная ссылка, если таковая имеется.
- строкаspec.credentialsRef.uid
UID ресурса.
Подробнее: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids
- объектstatus
StaticInstanceStatus defines the observed state of StaticInstance.
- массив объектовstatus.conditions
Conditions defines current service state of the StaticInstance.
Condition contains details for one aspect of the current state of this API Resource.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
lastTransitionTime is the last time the condition transitioned from one status to another. This should be when the underlying condition changed. If that is not known, then using the time when the API field changed is acceptable.
- строкаstatus.conditions.message
Обязательный параметр
message is a human readable message indicating details about the transition. This may be an empty string.
Максимальная длина:
32768 - целочисленныйstatus.conditions.observedGeneration
observedGeneration represents the .metadata.generation that the condition was set based upon. For instance, if .metadata.generation is currently 12, but the .status.conditions[x].observedGeneration is 9, the condition is out of date with respect to the current state of the instance.
Допустимые значения:
0 <= X - строкаstatus.conditions.reason
Обязательный параметр
reason contains a programmatic identifier indicating the reason for the condition’s last transition. Producers of specific condition types may define expected values and meanings for this field, and whether the values are considered a guaranteed API. The value should be a CamelCase string. This field may not be empty.
Шаблон:
^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$Длина:
1..1024 - строкаstatus.conditions.status
Обязательный параметр
status of the condition, one of True, False, Unknown.
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
type of condition in CamelCase or in foo.example.com/CamelCase.
Шаблон:
^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$Максимальная длина:
316
- объектstatus.currentStatus
- строкаstatus.currentStatus.lastUpdateTime
- строкаstatus.currentStatus.phase
Допустимые значения:
Error,Pending,Bootstrapping,Running,Cleaning
- объектstatus.machineRef
The reference to the
StaticMachineobject.- строкаstatus.machineRef.apiVersion
API version of the referent.
- строкаstatus.machineRef.fieldPath
If referring to a piece of an object instead of an entire object, this string should contain a valid JSON/Go field access statement, such as desiredState.manifest.containers[2]. For example, if the object reference is to a container within a pod, this would take on a value like: “spec.containers{name}” (where “name” refers to the name of the container that triggered the event) or if no container name is specified “spec.containers[2]” (container with index 2 in this pod). This syntax is chosen only to have some well-defined way of referencing a part of an object.
- строкаstatus.machineRef.kind
Kind of the referent. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds
- строкаstatus.machineRef.name
Name of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#names
- строкаstatus.machineRef.namespace
Namespace of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/
- строкаstatus.machineRef.resourceVersion
Specific resourceVersion to which this reference is made, if any. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency
- строкаstatus.machineRef.uid
UID of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids
- объектstatus.nodeRef
The reference to the
Nodeobject.- строкаstatus.nodeRef.apiVersion
API version of the referent.
- строкаstatus.nodeRef.fieldPath
If referring to a piece of an object instead of an entire object, this string should contain a valid JSON/Go field access statement, such as desiredState.manifest.containers[2]. For example, if the object reference is to a container within a pod, this would take on a value like: “spec.containers{name}” (where “name” refers to the name of the container that triggered the event) or if no container name is specified “spec.containers[2]” (container with index 2 in this pod). This syntax is chosen only to have some well-defined way of referencing a part of an object.
- строкаstatus.nodeRef.kind
Kind of the referent. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds
- строкаstatus.nodeRef.name
Name of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#names
- строкаstatus.nodeRef.namespace
Namespace of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/
- строкаstatus.nodeRef.resourceVersion
Specific resourceVersion to which this reference is made, if any. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency
- строкаstatus.nodeRef.uid
UID of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids
Описывает объект машины для Cluster API Provider Static.
- строкаapiVersion
Версия API объекта.
- строкаkind
Тип объекта.
- объектmetadata
- объектspec
Желаемое состояние объекта StaticInstance.
- строкаspec.address
Обязательный параметр
IP-адрес сервера (виртуальной машины) для подключения.
Шаблон:
^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$ - строкаspec.credentialsRef.apiVersion
Версия API ресурса.
- строкаspec.credentialsRef.fieldPath
Если речь идет о части объекта, а не о целом объекте, эта строка должна содержать действительное выражение для доступа к полю JSON/Go, например
desiredState.manifest.containers[2].Например, если ссылка на объект относится к контейнеру внутри пода, этот параметр будет иметь значение вида:
spec.containers{name}(гдеname— имя контейнера, который вызвал событие) или, если имя контейнера не указано, —spec.containers[2](контейнер с индексом 2 в этом поде). Этот синтаксис выбран только для того, чтобы иметь четко определенный способ ссылки на часть объекта. - строкаspec.credentialsRef.kind
Kind ресурса.
- строкаspec.credentialsRef.name
Имя ресурса.
- строкаspec.credentialsRef.namespace
Неймспейс ресурса.
Подробнее: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/
- строкаspec.credentialsRef.resourceVersion
Конкретная версия ресурса, на которую ссылается данная ссылка, если таковая имеется.
- строкаspec.credentialsRef.uid
UID ресурса.
Подробнее: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids
- объектstatus
StaticInstanceStatus defines the observed state of StaticInstance.
- массив объектовstatus.conditions
Conditions defines current service state of the StaticInstance.
Condition contains details for one aspect of the current state of this API Resource.
- строкаstatus.conditions.lastTransitionTime
Обязательный параметр
lastTransitionTime is the last time the condition transitioned from one status to another. This should be when the underlying condition changed. If that is not known, then using the time when the API field changed is acceptable.
- строкаstatus.conditions.message
Обязательный параметр
message is a human readable message indicating details about the transition. This may be an empty string.
Максимальная длина:
32768 - целочисленныйstatus.conditions.observedGeneration
observedGeneration represents the .metadata.generation that the condition was set based upon. For instance, if .metadata.generation is currently 12, but the .status.conditions[x].observedGeneration is 9, the condition is out of date with respect to the current state of the instance.
Допустимые значения:
0 <= X - строкаstatus.conditions.reason
Обязательный параметр
reason contains a programmatic identifier indicating the reason for the condition’s last transition. Producers of specific condition types may define expected values and meanings for this field, and whether the values are considered a guaranteed API. The value should be a CamelCase string. This field may not be empty.
Шаблон:
^[A-Za-z]([A-Za-z0-9_,:]*[A-Za-z0-9_])?$Длина:
1..1024 - строкаstatus.conditions.status
Обязательный параметр
status of the condition, one of True, False, Unknown.
Допустимые значения:
True,False,Unknown - строкаstatus.conditions.type
Обязательный параметр
type of condition in CamelCase or in foo.example.com/CamelCase.
Шаблон:
^([a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*/)?(([A-Za-z0-9][-A-Za-z0-9_.]*)?[A-Za-z0-9])$Максимальная длина:
316
- объектstatus.currentStatus
- строкаstatus.currentStatus.lastUpdateTime
- строкаstatus.currentStatus.phase
Допустимые значения:
Error,Pending,Bootstrapping,Running,Cleaning
- объектstatus.machineRef
The reference to the
StaticMachineobject.- строкаstatus.machineRef.apiVersion
API version of the referent.
- строкаstatus.machineRef.fieldPath
If referring to a piece of an object instead of an entire object, this string should contain a valid JSON/Go field access statement, such as desiredState.manifest.containers[2]. For example, if the object reference is to a container within a pod, this would take on a value like: “spec.containers{name}” (where “name” refers to the name of the container that triggered the event) or if no container name is specified “spec.containers[2]” (container with index 2 in this pod). This syntax is chosen only to have some well-defined way of referencing a part of an object.
- строкаstatus.machineRef.kind
Kind of the referent. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds
- строкаstatus.machineRef.name
Name of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#names
- строкаstatus.machineRef.namespace
Namespace of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/
- строкаstatus.machineRef.resourceVersion
Specific resourceVersion to which this reference is made, if any. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency
- строкаstatus.machineRef.uid
UID of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids
- объектstatus.nodeRef
The reference to the
Nodeobject.- строкаstatus.nodeRef.apiVersion
API version of the referent.
- строкаstatus.nodeRef.fieldPath
If referring to a piece of an object instead of an entire object, this string should contain a valid JSON/Go field access statement, such as desiredState.manifest.containers[2]. For example, if the object reference is to a container within a pod, this would take on a value like: “spec.containers{name}” (where “name” refers to the name of the container that triggered the event) or if no container name is specified “spec.containers[2]” (container with index 2 in this pod). This syntax is chosen only to have some well-defined way of referencing a part of an object.
- строкаstatus.nodeRef.kind
Kind of the referent. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds
- строкаstatus.nodeRef.name
Name of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#names
- строкаstatus.nodeRef.namespace
Namespace of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/namespaces/
- строкаstatus.nodeRef.resourceVersion
Specific resourceVersion to which this reference is made, if any. More info: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#concurrency-control-and-consistency
- строкаstatus.nodeRef.uid
UID of the referent. More info: https://kubernetes.io/docs/concepts/overview/working-with-objects/names/#uids