NodeGroup
Scope: Cluster
Описывает runtime-параметры группы узлов.
Пример:
# NodeGroup for cloud nodes in AWS.
apiVersion: deckhouse.io/v1
kind: NodeGroup
metadata:
name: test
spec:
nodeType: CloudEphemeral
cloudInstances:
zones:
- eu-west-1a
- eu-west-1b
minPerZone: 1
maxPerZone: 2
classReference:
kind: AWSInstanceClass
name: test
nodeTemplate:
labels:
tier: test
---
# NodeGroup for static nodes on bare metal servers (or VMs).
apiVersion: deckhouse.io/v1
kind: NodeGroup
metadata:
name: worker
spec:
nodeType: Static
- metadata
- metadata.name
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$
Максимальная длина:
42
- spec
Обязательный параметр
- spec.chaos
Настройки Chaos Monkey.
Пример:
chaos: mode: DrainAndDelete period: 24h
- spec.chaos.mode
Режим работы Chaos Monkey:
DrainAndDelete
— при срабатывании делает узлу drain, затем удаляет его.Disabled
— не трогает данную NodeGroup.
По умолчанию:
"Disabled"
Допустимые значения:
Disabled
,DrainAndDelete
- spec.chaos.period
Интервал времени срабатывания Chaos Monkey.
Задается в виде строки с указанием часов и минут: 30m, 1h, 2h30m, 24h.
По умолчанию:
"6h"
Шаблон:
^([0-9]+h([0-9]+m)?|[0-9]+m)$
- spec.cloudInstances
Параметры заказа облачных виртуальных машин.
Внимание! Допустимо использовать только совместно с
nodeType: CloudEphemeral
.- spec.cloudInstances.classReference
Обязательный параметр
Ссылка на объект
InstanceClass
. Уникален для каждого модуляcloud-provider-*
.- spec.cloudInstances.classReference.kind
Тип объекта (например,
OpenStackInstanceClass
). Тип объекта указан в документации соответствующего модуля облачного провайдера.Допустимые значения:
OpenStackInstanceClass
,GCPInstanceClass
,VsphereInstanceClass
,AWSInstanceClass
,YandexInstanceClass
,AzureInstanceClass
,VCDInstanceClass
,ZvirtInstanceClass
,DynamixInstanceClass
,HuaweiCloudInstanceClass
- spec.cloudInstances.classReference.name
Имя нужного
InstanceClass
-объекта (например,finland-medium
).
- spec.cloudInstances.maxPerZone
Обязательный параметр
Максимальное количество инстансов в зоне. Проставляется как верхняя граница в cluster-autoscaler.
Допустимые значения:
0 <= X
- spec.cloudInstances.maxSurgePerZone
Количество одновременно создаваемых инстансов при scale-up.
По умолчанию:
1
Допустимые значения:
0 <= X
- целочисленный
Недоступное количество инстансов при RollingUpdate’е.
По умолчанию:
0
Допустимые значения:
0 <= X
- spec.cloudInstances.minPerZone
Обязательный параметр
Минимальное количество инстансов в зоне.
Проставляется в объект
MachineDeployment
и в качестве нижней границы в cluster autoscaler.Допустимые значения:
0 <= X
- spec.cloudInstances.priority
Приоритет группы узлов.
При масштабировании кластера cluster autoscaler будет выбирать сначала группы узлов с установленным бОльшим приоритетом. Если существует несколько групп узлов с одинаковым приоритетом, группа будет выбрана из них случайным образом.
Использование приоритетов может быть удобно, например, для предпочтения заказа более дешевых узлов (например, spot-инстансов) перед более дорогими.
- spec.cloudInstances.quickShutdown
Снижает время drain’а CloudEphemeral-машин до 5 минут.
- spec.cloudInstances.standby
Количество резервных (подогретых) узлов в этой
NodeGroup
во всех зонах.Резервный узел — это узел кластера, на котором резервируются ресурсы, доступные в любой момент для масштабирования. Наличие такого узла позволяет cluster autoscaler’у не ждать инициализации узла (которая может занимать несколько минут), а сразу размещать на нем нагрузку.
Значение может быть абсолютным (например,
2
) или процентом желаемых узлов (например,10%
). Если указан процент, абсолютное значение рассчитывается исходя из процента от максимального количества узлов (параметр maxPerZone), округленного в меньшую сторону, но не менее одного.Шаблон:
^[0-9]+%?$
- spec.cloudInstances.standbyHolder
Объем резервируемых ресурсов.
Используется для определения необходимости заказа резервных узлов.
- spec.cloudInstances.standbyHolder.notHeldResourcesПараметр устарел
Устарело: параметр больше не используется. Используйте параметр overprovisioningRate.
Резервируемые ресурсы.
- spec.cloudInstances.standbyHolder.notHeldResources.cpu
Количество CPU.
Значение может быть абсолютным (например,
1
) или в millicore-формате (например,1500m
).Шаблон:
^[0-9]+m?$
- spec.cloudInstances.standbyHolder.notHeldResources.memory
Количество памяти.
Значение может быть абсолютным в байтах (например,
128974848
) или в Kubernetes-формате с суффиксами:G
,Gi
,M
,Mi
(например,750Mi
).Шаблон:
^[0-9]+(\.[0-9]+)?(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$
- spec.cloudInstances.standbyHolder.overprovisioningRate
Процент резервируемых ресурсов, рассчитываемый от ресурсов узла в
NodeGroup
.По умолчанию:
50
Допустимые значения:
1 <= X <= 80
- spec.cloudInstances.zones
Переопределение перечня зон, в которых создаются инстансы.
Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.
Пример:
zones: - Helsinki - Espoo - Tampere
- spec.cri
Параметры container runtime.
- spec.cri.containerd
Параметры работы containerd.
При настройке этих параметров
cri.type
должен бытьContainerd
.- spec.cri.containerd.maxConcurrentDownloads
Максимальное количество параллельных потоков загрузки для каждой операции pull.
По умолчанию:
3
- spec.cri.dockerПараметр устарел
Параметры настройки Docker.
- spec.cri.docker.manage
Автоматическое управление версией и параметрами Docker.
По умолчанию:
true
- spec.cri.docker.maxConcurrentDownloads
Максимальное количество потоков одновременного скачивания Docker-образов.
По умолчанию:
3
- spec.cri.notManaged
Настройки для CRI, установленных на узлах вручную.
- spec.cri.notManaged.criSocketPath
Путь к сокету CRI.
- spec.cri.type
Тип container runtime.
Если не указан, используется значение
defaultCRI
из первичной конфигурации кластера (параметрcluster-configuration.yaml
Secret’аd8-cluster-configuration
в пространстве именkube-system
), которая создается при установке.Допустимые значения:
Docker
,Containerd
,NotManaged
- spec.disruptions
Параметры обновлений, приводящих к возможному простою.
Пример:
disruptions: approvalMode: Automatic automatic: drainBeforeApproval: false windows: - from: '06:00' to: '08:00' days: - Tue - Sun
- spec.disruptions.approvalMode
Режим выдачи разрешения на disruptive-обновление (обновление, требующее прерывание работы узла):
Manual
— отключить автоматическую выдачу разрешений на disruptive-обновление. Если потребуется disruptive-обновление, загорится специальный алерт. Внимание! Для группы узловmaster
режим выдачи разрешения всегда должен бытьManual
, чтобы избежать проблем при drain’е узла.Automatic
— автоматически выдавать разрешения на disruptive-обновление.RollingUpdate
— в этом режиме будет создан новый узел с обновленными настройками, а старый узел будет удален. Разрешено только для облачных узлов.
Когда не используется режим
RollingUpdate
, при обновлении узел освобождается от нагрузки (drain), после чего обновляется (перезагружается) и вводится в работу. Обратите внимание, что в этом случае в кластере должно быть место для размещения нагрузки на время, пока обновляемый узел недоступен. В режимеRollingUpdate
узел заменяется на обновленный, то есть на время обновления в кластере появляется дополнительный узел. В облачной инфраструктуре режимRollingUpdate
удобен, например, если в кластере нет ресурсов для временного размещения нагрузки с обновляемого узла.По умолчанию:
"Automatic"
Допустимые значения:
Manual
,Automatic
,RollingUpdate
- spec.disruptions.automatic
Дополнительные параметры для режима
Automatic
.- spec.disruptions.automatic.drainBeforeApproval
Выгон (draining) подов с узла перед выдачей разрешения на disruption.
Внимание! Данная настройка игнорируется (узлам будет выдано разрешение без предварительного выгона подов с узлов):
- для nodeGroup
master
с единственным узлом; - для выделенного под запуск Deckhouse узла, если этот узел в группе узлов единственно рабочий (Ready).
По умолчанию:
true
- для nodeGroup
- spec.disruptions.automatic.windows
Список окон disruption-обновлений узлов.
- spec.disruptions.automatic.windows.days
Дни недели, в которые применяется окно обновлений.
Примеры:
days: Mon
days: Wed
- Элемент массива
День недели.
Допустимые значения:
Mon
,Tue
,Wed
,Thu
,Fri
,Sat
,Sun
- spec.disruptions.automatic.windows.from
Обязательный параметр
Время начала окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
from: '13:00'
- spec.disruptions.automatic.windows.to
Обязательный параметр
Время окончания окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
to: '18:30'
- spec.disruptions.rollingUpdate
Дополнительные параметры для режима
RollingUpdate
.- spec.disruptions.rollingUpdate.windows
Список окон disruption-обновлений узлов.
- spec.disruptions.rollingUpdate.windows.days
Дни недели, в которые применяется окно обновлений.
Примеры:
days: Mon
days: Wed
- Элемент массива
День недели.
Допустимые значения:
Mon
,Tue
,Wed
,Thu
,Fri
,Sat
,Sun
- spec.disruptions.rollingUpdate.windows.from
Обязательный параметр
Время начала окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
from: '13:00'
- spec.disruptions.rollingUpdate.windows.to
Обязательный параметр
Время окончания окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
to: '18:30'
- spec.fencing
Включить fencing для этой группы.
- spec.fencing.mode
Обязательный параметр
Поддерживаемые режимы работы fencing:
- Watchdog - использовать модуль ядра watchdog (сторожевой таймер).
Реализация Watchdog включает в себя два основных компонента:
-
Fencing-agent - это DaemonSet, который разворачивается на определенной группе узлов (nodegroup). После запуска агент активирует Watchdog и устанавливает специальную метку
node-manager.deckhouse.io/fencing-enabled
на узле, где он функционирует. Агент регулярно проверяет доступность Kubernetes API. Если API доступен, агент отправляет сигнал в Watchdog, что сбрасывает сторожевой таймер. Также агент отслеживает специальные метки обслуживания на узле и, в зависимости от их наличия, включает или отключает Watchdog. В качестве Watchdog используется модуль ядра softdog с определенными параметрами (soft_margin=60
иsoft_panic=1
). Это означает, что время таймаута сторожевого таймера составляет 60 секунд. По истечении этого времени происходит kernel-panic, и узел остается в этом состоянии до тех пор, пока пользователь не выполнит его перезагрузку. -
Fencing-controller - контроллер, который отслеживает все узлы с установленной меткой
node-manager.deckhouse.io/fencing-enabled
. Если какой-либо из узлов становится недоступным на протяжении более 60 секунд, контроллер удаляет все поды с этого узла и затем удаляет сам узел.
Допустимые значения:
Watchdog
- spec.kubelet
Параметры настройки kubelet.
- spec.kubelet.containerLogMaxFiles
Максимальное количество файлов журналов с учетом ротации.
По умолчанию:
4
Допустимые значения:
1 <= X <= 20
- spec.kubelet.containerLogMaxSize
Максимальный размер файла журнала до того, как он будет ротирован.
По умолчанию:
"50Mi"
Шаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]
- spec.kubelet.maxPods
Максимальное количество подов на узлах данной
NodeGroup
.По умолчанию:
110
- spec.kubelet.resourceReservation
Управление резервированием ресурсов для системных служб на узле.
Больше информации в документации Kubernetes.
- spec.kubelet.resourceReservation.mode
Выбор режима резервирования системных ресурсов:
Off
— отключение резервирования системных ресурсов.Auto
— автоматический подсчет резервирования через алгоритм, основанный на размере узла.Static
— указание статических значений через параметрstatic
.
Обратите внимание, что Deckhouse не использует выделенную
cgroup
для резервирования ресурсов (флаг-system-reserved-cgroup
не используется).По умолчанию:
"Auto"
- spec.kubelet.resourceReservation.static
Параметры резервирования ресурсов в режиме
Static
.- spec.kubelet.resourceReservation.static.cpu
Шаблон:
\d+[m]
- spec.kubelet.resourceReservation.static.ephemeralStorage
Шаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]
- spec.kubelet.resourceReservation.static.memory
Шаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]
- spec.kubelet.rootDir
Путь к каталогу для файлов kubelet (volume mounts и т. д.).
По умолчанию:
"/var/lib/kubelet"
- spec.kubelet.topologyManager
Управление менеджером топологии.
Менеджер топологии позволяет планировщику Kubernetes учитывать данные о топологии ресурсов при планировании подов.
В кластере с NUMA-узлами менеджер топологии может повысить производительность приложения, размещая контейнеры пода на том NUMA-узле, который эффективней работает с ресурсами.
Дополнительная информация в документации Kubernetes.
- spec.kubelet.topologyManager.enabled
Включение использования менеджера топологий.
По умолчанию:
false
- spec.kubelet.topologyManager.policy
Определение политики выравнивания ресурсов с учетом топологии узлов при планировании пода.
Поддерживаются четыре политики:
None
— выравнивание ресурсов не выполняется (используется по умолчанию).BestEffort
— для каждого контейнера определяется предпочтительный NUMA-узел. Если предпочтительные узлы для планирования пода отсутствуют, то новый под будет запланирован на узел без учета данных менеджера топологии, а уже запущенный под продолжит работу.Restricted
— для каждого контейнера пода определяется предпочтительный NUMA-узел. Если предпочтительные узлы для планирования пода отсутствуют, то новый под не будет запланирован на узел, а уже запущенный под будет остановлен.SingleNumaNode
— для каждого контейнера пода определяется предпочтительный NUMA-узел. Если нет NUMA-узла, предпочтительного для всех контейнеров пода, то новый под не будет запланирован, а уже запущенный под будет остановлен.
Больше информации читайте в документации Kubernetes.
По умолчанию:
"None"
Допустимые значения:
None
,BestEffort
,Restricted
,SingleNumaNode
- spec.kubelet.topologyManager.scope
Определение гранулярности выравнивания ресурсов:
Container
. Вычисление предпочтительных ресурсов выполняется для контейнера. При вычислении не учитывается, что несколько контейнеров относятся к одному поду.Pod
. Вычисление предпочтительных ресурсов выполняется для пода. Все контейнеры пода рассматриваются как единое целое при вычислении.
По умолчанию:
"Container"
Допустимые значения:
Container
,Pod
- spec.nodeTemplate
Настройки
Node
-объектов в Kubernetes, которые будут добавлены после регистрации узла.Пример:
nodeTemplate: labels: environment: production app: warp-drive-ai annotations: ai.fleet.com/discombobulate: 'true' taints: - effect: NoExecute key: ship-class value: frigate
- spec.nodeTemplate.annotations
Аналогично стандартному полю
metadata.annotations
.Пример:
annotations: ai.fleet.com/discombobulate: 'true'
- spec.nodeTemplate.labels
Аналогично стандартному полю
metadata.labels
.Пример:
labels: environment: production app: warp-drive-ai
- spec.nodeTemplate.taints
Аналогично полю
.spec.taints
из объекта Node.Внимание! Доступны только поля
effect
,key
,value
.Пример:
taints: - effect: NoExecute key: ship-class value: frigate
- spec.nodeTemplate.taints.effect
Допустимые значения:
NoSchedule
,PreferNoSchedule
,NoExecute
- spec.nodeTemplate.taints.key
- spec.nodeTemplate.taints.value
- spec.nodeType
Обязательный параметр
Тип узлов, которые представляет эта группа:
CloudEphemeral
— узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере;CloudPermanent
— узлы этой группы берутся изProviderClusterConfiguration
и создаются/удаляются через dhctl;CloudStatic
— узел, созданный вручную или любыми внешними инструментами, размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров. На таком узле работает CSI и такой узел управляется cloud-controller-manager’ом: объектNode
автоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака, соответствующий ему объектNode
будет удален в Kubernetes;Static
— статический узел, размещенный на физическом сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров.
Допустимые значения:
CloudEphemeral
,CloudPermanent
,CloudStatic
,Static
- spec.operatingSystem
Параметры операционной системы.
- spec.operatingSystem.manageKernelПараметр устарел
Этот параметр не используется. Раньше он включал автоматическое управление ядром операционной системы.
По умолчанию:
true
- spec.staticInstances
Параметры настройки машин статических узлов кластера.
- spec.staticInstances.count
Количество виртуальных машин, которые нужно создать.
По умолчанию:
0
Допустимые значения:
0 <= X
- spec.staticInstances.labelSelector
Настройка фильтра меток (label) по ресурсам.
Если указаны одновременно
matchExpressions
иmatchLabels
, учитываются оба фильтра (операцияИ
).Пустое значение
labelSelector
соответствует всем объектам. Нулевое — никаким.- spec.staticInstances.labelSelector.matchExpressions
Список фильтров на основе выражений.
Итоговый результат — результат пересечения множеств, определяемых всеми фильтрами в списке (операция
И
).A label selector requirement is a selector that contains values, a key, and an operator that relates the key and values.
- spec.staticInstances.labelSelector.matchExpressions.key
Имя метки.
- spec.staticInstances.labelSelector.matchExpressions.operator
Оператор сравнения.
- spec.staticInstances.labelSelector.matchExpressions.values
Значение метки.
- Элемент массива
Шаблон:
[a-z0-9]([-a-z0-9]*[a-z0-9])?
Длина:
1..63
- spec.staticInstances.labelSelector.matchLabels
Фильтр на основе совпадения/несовпадения меток.
- spec.update
- spec.update.maxConcurrent
Максимальное количество одновременно обновляемых узлов.
Можно указать число узлов или процент от общего количества узлов в данной группе.
По умолчанию:
1
Шаблон:
^[1-9][0-9]*%?$
Описывает runtime-параметры группы узлов.
- metadata
- metadata.name
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$
Максимальная длина:
42
- spec
Обязательный параметр
- spec.chaos
Настройки Chaos Monkey.
Пример:
chaos: mode: DrainAndDelete period: 24h
- spec.chaos.mode
Режим работы Chaos Monkey:
DrainAndDelete
— при срабатывании делает узлу drain, затем удаляет его.Disabled
— не трогает данную NodeGroup.
По умолчанию:
"Disabled"
Допустимые значения:
Disabled
,DrainAndDelete
- spec.chaos.period
Интервал времени срабатывания Chaos Monkey.
Задается в виде строки с указанием часов и минут: 30m, 1h, 2h30m, 24h.
По умолчанию:
"6h"
Шаблон:
^[0-9]+[mh]{1}$
- spec.cloudInstances
Параметры заказа облачных виртуальных машин.
Внимание! Допустимо использовать только совместно с
nodeType: CloudEphemeral
.- spec.cloudInstances.classReference
Обязательный параметр
Ссылка на объект
InstanceClass
. Уникален для каждого модуляcloud-provider-*
.- spec.cloudInstances.classReference.kind
Тип объекта (например,
OpenStackInstanceClass
). Тип объекта указан в документации соответствующего модуля облачного провайдера.Допустимые значения:
OpenStackInstanceClass
,GCPInstanceClass
,VsphereInstanceClass
,AWSInstanceClass
,YandexInstanceClass
,AzureInstanceClass
,VCDInstanceClass
,ZvirtInstanceClass
,DynamixInstanceClass
,HuaweiCloudInstanceClass
- spec.cloudInstances.classReference.name
Имя нужного
InstanceClass
-объекта (например,finland-medium
).
- spec.cloudInstances.maxPerZone
Обязательный параметр
Максимальное количество инстансов в зоне.
Проставляется как верхняя граница в cluster-autoscaler.
Допустимые значения:
0 <= X
- spec.cloudInstances.maxSurgePerZone
Количество одновременно создаваемых инстансов при scale-up.
По умолчанию:
1
Допустимые значения:
0 <= X
- целочисленный
Недоступное количество инстансов при RollingUpdate’е.
По умолчанию:
0
Допустимые значения:
0 <= X
- spec.cloudInstances.minPerZone
Обязательный параметр
Минимальное количество инстансов в зоне.
Проставляется в объект
MachineDeployment
и в качестве нижней границы в cluster autoscaler.При значении 0 для некоторых
InstanceClass
нужно задавать capacity. Более подробно можно узнать в описании нужныхInstanceClass
.Допустимые значения:
0 <= X
- spec.cloudInstances.standby
Количество резервных (подогретых) узлов в этой
NodeGroup
во всех зонах.Резервный узел — это узел кластера, на котором резервируются ресурсы, доступные в любой момент для масштабирования. Наличие такого узла позволяет cluster autoscaler’у не ждать инициализации узла (которая может занимать несколько минут), а сразу размещать на нем нагрузку.
Значение может быть абсолютным (например,
2
) или процентом желаемых узлов (например,10%
). Если указан процент, абсолютное значение рассчитывается исходя из процента от максимального количества узлов (параметр maxPerZone), округленного в меньшую сторону, но не менее одного.Шаблон:
^[0-9]+%?$
- spec.cloudInstances.standbyHolder
Объем резервируемых ресурсов.
Используется для определения необходимости заказа резервных узлов.
- spec.cloudInstances.standbyHolder.notHeldResources
Резервируемые ресурсы.
- spec.cloudInstances.standbyHolder.notHeldResources.cpu
Количество CPU.
Значение может быть абсолютным (например,
1
) или в millicore-формате (например,1500m
).Шаблон:
^[0-9]+m?$
- spec.cloudInstances.standbyHolder.notHeldResources.memory
Количество памяти.
Значение может быть абсолютным в байтах (например,
128974848
) или в Kubernetes-формате с суффиксами:G
,Gi
,M
,Mi
(например,750Mi
).Шаблон:
^[0-9]+(\.[0-9]+)?(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$
- spec.cloudInstances.zones
Переопределение перечня зон, в которых создаются инстансы.
Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.
Пример:
zones: - Helsinki - Espoo - Tampere
- spec.cri
Параметры container runtime.
- spec.cri.containerd
Параметры работы containerd.
При настройке этих параметров
cri.type
должен бытьContainerd
.- spec.cri.containerd.maxConcurrentDownloads
Максимальное количество параллельных потоков загрузки для каждой операции pull.
По умолчанию:
3
- spec.cri.docker
Параметры настройки Docker.
Внимание!
Docker
считается устаревшим, не используйте его.- spec.cri.docker.manage
Автоматическое управление версией и параметрами Docker.
По умолчанию:
true
- spec.cri.docker.maxConcurrentDownloads
Максимальное количество потоков одновременного скачивания Docker-образов.
По умолчанию:
3
- spec.cri.notManaged
Настройки для CRI, установленных на узлах вручную.
- spec.cri.notManaged.criSocketPath
Путь к сокету CRI.
- spec.cri.type
Тип container runtime.
Если не указан, используется значение
defaultCRI
из первичной конфигурации кластера (параметрcluster-configuration.yaml
Secret’аd8-cluster-configuration
в пространстве именkube-system
), которая создается при установке.Допустимые значения:
Docker
,Containerd
,NotManaged
- spec.disruptions
Параметры обновлений, приводящих к возможному простою.
Пример:
disruptions: approvalMode: Automatic automatic: drainBeforeApproval: false windows: - from: '06:00' to: '08:00' days: - Tue - Sun
- spec.disruptions.approvalMode
Режим выдачи разрешения на disruptive-обновление (обновление, требующее прерывание работы узла):
Manual
— отключить автоматическую выдачу разрешений на disruptive-обновление. Если потребуется disruptive-обновление, загорится специальный алерт. Внимание! Для группы узловmaster
режим выдачи разрешения всегда должен бытьManual
, чтобы избежать проблем при drain’е узла.Automatic
— автоматически выдавать разрешения на disruptive-обновление.RollingUpdate
— в этом режиме будет создан новый узел с обновленными настройками, а старый узел будет удален. Разрешено только для облачных узлов.
Когда не используется режим
RollingUpdate
, при обновлении узел освобождается от нагрузки (drain), после чего обновляется (перезагружается) и вводится в работу. Обратите внимание, что в этом случае в кластере должно быть место для размещения нагрузки на время, пока обновляемый узел недоступен. В режимеRollingUpdate
узел заменяется на обновленный, то есть на время обновления в кластере появляется дополнительный узел. В облачной инфраструктуре режимRollingUpdate
удобен, например, если в кластере нет ресурсов для временного размещения нагрузки с обновляемого узла.По умолчанию:
"Automatic"
Допустимые значения:
Manual
,Automatic
,RollingUpdate
- spec.disruptions.automatic
Дополнительные параметры для режима
Automatic
.- spec.disruptions.automatic.drainBeforeApproval
Выгон (draining) подов с узла перед выдачей разрешения на disruption.
Внимание! Данная настройка игнорируется (узлам будет выдано разрешение без предварительного выгона подов с узлов):
- для nodeGroup
master
с единственным узлом; - для выделенного под запуск Deckhouse узла, если этот узел в группе узлов единственно рабочий (Ready).
По умолчанию:
true
- для nodeGroup
- spec.disruptions.automatic.windows
Список окон disruption-обновлений узлов.
- spec.disruptions.automatic.windows.days
Дни недели, в которые применяется окно обновлений.
Примеры:
days: Mon
days: Wed
- Элемент массива
День недели.
Допустимые значения:
Mon
,Tue
,Wed
,Thu
,Fri
,Sat
,Sun
- spec.disruptions.automatic.windows.from
Обязательный параметр
Время начала окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
from: '13:00'
- spec.disruptions.automatic.windows.to
Обязательный параметр
Время окончания окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
to: '18:30'
- spec.disruptions.rollingUpdate
Additional parameters for the
RollingUpdate
mode.- spec.disruptions.rollingUpdate.windows
Time windows for node disruptive updates.
- spec.disruptions.rollingUpdate.windows.days
Days of the week when node could be updated.
Примеры:
days: Mon
days: Wed
- Элемент массива
Day of the week.
Допустимые значения:
Mon
,Tue
,Wed
,Thu
,Fri
,Sat
,Sun
- spec.disruptions.rollingUpdate.windows.from
Обязательный параметр
Start time of disruptive update window (UTC timezone).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
from: '13:00'
- spec.disruptions.rollingUpdate.windows.to
Обязательный параметр
End time of disruptive update window (UTC timezone).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
to: '18:30'
- spec.kubelet
Параметры настройки kubelet.
- spec.kubelet.containerLogMaxFiles
Максимальное количество файлов журналов с учетом ротации.
Внимание! Параметр не влияет на работу, если тип CRI —
Docker
.Внимание!
Docker
считается устаревшим, не используйте его.По умолчанию:
4
Допустимые значения:
1 <= X <= 20
- spec.kubelet.containerLogMaxSize
Максимальный размер файла журнала до того, как он будет ротирован.
Внимание! Параметр не влияет на работу, если тип CRI —
Docker
.Внимание!
Docker
считается устаревшим, не используйте его.По умолчанию:
"50Mi"
Шаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]
- spec.kubelet.maxPods
Максимальное количество подов на узлах данной
NodeGroup
.По умолчанию:
110
- spec.kubelet.rootDir
Путь к каталогу для файлов kubelet (volume mounts и т. д.).
По умолчанию:
"/var/lib/kubelet"
- spec.nodeTemplate
Настройки
Node
-объектов в Kubernetes, которые будут добавлены после регистрации узла.Пример:
nodeTemplate: labels: environment: production app: warp-drive-ai annotations: ai.fleet.com/discombobulate: 'true' taints: - effect: NoExecute key: ship-class value: frigate
- spec.nodeTemplate.annotations
Аналогично стандартному полю
metadata.annotations
.Пример:
annotations: ai.fleet.com/discombobulate: 'true'
- spec.nodeTemplate.labels
Аналогично стандартному полю
metadata.labels
.Пример:
labels: environment: production app: warp-drive-ai
- spec.nodeTemplate.taints
Аналогично полю
.spec.taints
из объекта Node.Внимание! Доступны только поля
effect
,key
,value
.Пример:
taints: - effect: NoExecute key: ship-class value: frigate
- spec.nodeTemplate.taints.effect
Допустимые значения:
NoSchedule
,PreferNoSchedule
,NoExecute
- spec.nodeTemplate.taints.key
- spec.nodeTemplate.taints.value
- spec.nodeType
Обязательный параметр
Тип узлов, которые представляет эта группа:
Cloud
— узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере;Static
— статический узел, размещенный на железном сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров;Hybrid
— статический узел (созданный вручную или любыми внешними инструментами), размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров. На таком узле работает CSI и такой узел управляется cloud-controller-manager’ом: объектNode
автоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака соответствующий ему объектNode
будет удален в Kubernetes.
Допустимые значения:
Cloud
,Static
,Hybrid
- spec.operatingSystem
Параметры операционной системы.
- spec.operatingSystem.manageKernel
Этот параметр не используется. Раньше он включал автоматическое управление ядром операционной системы.
По умолчанию:
true
Описывает runtime-параметры группы узлов.
- metadata
- metadata.name
Шаблон:
^[a-z0-9]([-a-z0-9]*[a-z0-9])?$
Максимальная длина:
42
- spec
Обязательный параметр
- spec.chaos
Настройки Chaos Monkey.
Пример:
chaos: mode: DrainAndDelete period: 24h
- spec.chaos.mode
Режим работы Chaos Monkey:
DrainAndDelete
— при срабатывании делает узлу drain, затем удаляет его.Disabled
— не трогает данную NodeGroup.
По умолчанию:
"Disabled"
Допустимые значения:
Disabled
,DrainAndDelete
- spec.chaos.period
Интервал времени срабатывания Chaos Monkey.
Задается в виде строки с указанием часов и минут: 30m, 1h, 2h30m, 24h.
По умолчанию:
"6h"
Шаблон:
^[0-9]+[mh]{1}$
- spec.cloudInstances
Параметры заказа облачных виртуальных машин.
Внимание! Допустимо использовать только совместно с
nodeType: CloudEphemeral
.- spec.cloudInstances.classReference
Обязательный параметр
Ссылка на объект
InstanceClass
. Уникален для каждого модуляcloud-provider-*
.- spec.cloudInstances.classReference.kind
Тип объекта (например,
OpenStackInstanceClass
). Тип объекта указан в документации соответствующего модуля облачного провайдера.Допустимые значения:
OpenStackInstanceClass
,GCPInstanceClass
,VsphereInstanceClass
,AWSInstanceClass
,YandexInstanceClass
,AzureInstanceClass
,VCDInstanceClass
,ZvirtInstanceClass
,DynamixInstanceClass
,HuaweiCloudInstanceClass
- spec.cloudInstances.classReference.name
Имя нужного
InstanceClass
-объекта (например,finland-medium
).
- spec.cloudInstances.maxPerZone
Обязательный параметр
Максимальное количество инстансов в зоне.
Проставляется как верхняя граница в
cluster-autoscaler
.Допустимые значения:
0 <= X
- spec.cloudInstances.maxSurgePerZone
Количество одновременно создаваемых инстансов при scale-up.
По умолчанию:
1
Допустимые значения:
0 <= X
- целочисленный
Недоступное количество инстансов при RollingUpdate’е.
По умолчанию:
0
Допустимые значения:
0 <= X
- spec.cloudInstances.minPerZone
Обязательный параметр
Минимальное количество инстансов в зоне.
Проставляется в объект
MachineDeployment
и в качестве нижней границы в cluster autoscaler.При значении 0 для некоторых
InstanceClass
нужно задавать capacity. Более подробно можно узнать в описании нужныхInstanceClass
.Допустимые значения:
0 <= X
- spec.cloudInstances.standby
Количество резервных (подогретых) узлов в этой
NodeGroup
во всех зонах.Резервный узел — это узел кластера, на котором резервируются ресурсы, доступные в любой момент для масштабирования. Наличие такого узла позволяет cluster autoscaler’у не ждать инициализации узла (которая может занимать несколько минут), а сразу размещать на нем нагрузку.
Значение может быть абсолютным (например,
2
) или процентом желаемых узлов (например,10%
). Если указан процент, абсолютное значение рассчитывается исходя из процента от максимального количества узлов (параметрmaxPerZone
), округленного в меньшую сторону, но не менее одного.Шаблон:
^[0-9]+%?$
- spec.cloudInstances.standbyHolder
Объем резервируемых ресурсов.
Используется для определения необходимости заказа резервных узлов.
- spec.cloudInstances.standbyHolder.notHeldResources
Резервируемые ресурсы.
- spec.cloudInstances.standbyHolder.notHeldResources.cpu
Количество CPU.
Значение может быть абсолютным (например,
1
) или в millicore-формате (например,1500m
).Шаблон:
^[0-9]+m?$
- spec.cloudInstances.standbyHolder.notHeldResources.memory
Количество памяти.
Значение может быть абсолютным в байтах (например,
128974848
) или в Kubernetes-формате с суффиксами:G
,Gi
,M
,Mi
(например,750Mi
).Шаблон:
^[0-9]+(\.[0-9]+)?(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$
- spec.cloudInstances.zones
Переопределение перечня зон, в которых создаются инстансы.
Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.
Пример:
zones: - Helsinki - Espoo - Tampere
- spec.cri
Параметры container runtime.
- spec.cri.containerd
Параметры работы containerd.
При настройке этих параметров
cri.type
должен бытьContainerd
.- spec.cri.containerd.maxConcurrentDownloads
Максимальное количество параллельных потоков загрузки для каждой операции pull.
По умолчанию:
3
- spec.cri.type
Container runtime type.
Value
defaultCRI
from the initial cluster configration (cluster-configuration.yaml
parameter from thed8-cluster-configuration
secret in thekube-system
namespace) is used if not specified.Note! the
Docker
is deprecated.Допустимые значения:
Docker
,Containerd
,NotManaged
- spec.disruptions
Параметры обновлений, приводящих к возможному простою.
Пример:
disruptions: approvalMode: Automatic automatic: drainBeforeApproval: false windows: - from: '06:00' to: '08:00' days: - Tue - Sun
- spec.disruptions.approvalMode
Режим выдачи разрешения на disruptive-обновление (обновление, требующее прерывания работы узла):
Manual
— отключить автоматическую выдачу разрешений на disruptive-обновление. Если потребуется disruptive-обновление, загорится специальный алерт. Внимание! Для группы узловmaster
режим выдачи разрешения всегда должен бытьManual
, чтобы избежать проблем при drain’е узла.Automatic
— автоматически выдавать разрешения на disruptive-обновление.RollingUpdate
— в этом режиме будет создан новый узел с обновленными настройками, а старый узел будет удален. Разрешено только для облачных узлов.
Когда не используется режим
RollingUpdate
, при обновлении узел освобождается от нагрузки (drain), после чего обновляется (перезагружается) и вводится в работу. Обратите внимание, что в этом случае в кластере должно быть место для размещения нагрузки на время, пока обновляемый узел недоступен. В режимеRollingUpdate
узел заменяется на обновленный, то есть на время обновления в кластере появляется дополнительный узел. В облачной инфраструктуре режимRollingUpdate
удобен, например, если в кластере нет ресурсов для временного размещения нагрузки с обновляемого узла.По умолчанию:
"Automatic"
Допустимые значения:
Manual
,Automatic
,RollingUpdate
- spec.disruptions.automatic
Дополнительные параметры для режима
Automatic
.- spec.disruptions.automatic.drainBeforeApproval
Выгон (draining) подов с узла перед выдачей разрешения на disruption.
Внимание! Данная настройка игнорируется (узлам будет выдано разрешение без предварительного выгона подов с узлов):
- для nodeGroup
master
с единственным узлом; - для выделенного под запуск Deckhouse узла, если этот узел в группе узлов единственно рабочий (Ready).
По умолчанию:
true
- для nodeGroup
- spec.disruptions.automatic.windows
Список окон disruption-обновлений узлов.
- spec.disruptions.automatic.windows.days
Дни недели, в которые применяется окно обновлений.
Примеры:
days: Mon
days: Wed
- Элемент массива
День недели.
Допустимые значения:
Mon
,Tue
,Wed
,Thu
,Fri
,Sat
,Sun
- spec.disruptions.automatic.windows.from
Обязательный параметр
Время начала окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
from: '13:00'
- spec.disruptions.automatic.windows.to
Обязательный параметр
Время окончания окна обновления (в часовом поясе UTC).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
to: '18:30'
- spec.disruptions.rollingUpdate
Additional parameters for the
RollingUpdate
mode.- spec.disruptions.rollingUpdate.windows
Time windows for node disruptive updates.
- spec.disruptions.rollingUpdate.windows.days
Days of the week when node could be updated.
Примеры:
days: Mon
days: Wed
- Элемент массива
Day of the week.
Допустимые значения:
Mon
,Tue
,Wed
,Thu
,Fri
,Sat
,Sun
- spec.disruptions.rollingUpdate.windows.from
Обязательный параметр
Start time of disruptive update window (UTC timezone).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
from: '13:00'
- spec.disruptions.rollingUpdate.windows.to
Обязательный параметр
End time of disruptive update window (UTC timezone).
Шаблон:
^(?:\d|[01]\d|2[0-3]):[0-5]\d$
Пример:
to: '18:30'
- spec.docker
Параметры настройки Docker.
При настройке этих параметров
cri.type
должен бытьDocker
.Внимание!
Docker
считается устаревшим, не используйте его.- spec.docker.manage
Автоматическое управление версией и параметрами Docker.
По умолчанию:
true
- spec.docker.maxConcurrentDownloads
Максимальное количество потоков одновременного скачивания Docker-образов.
По умолчанию:
3
- spec.kubelet
Параметры настройки kubelet.
- spec.kubelet.containerLogMaxFiles
Максимальное количество файлов журналов с учетом ротации.
Внимание! Параметр не влияет на работу, если тип CRI —
Docker
.Внимание!
Docker
считается устаревшим, не используйте его.По умолчанию:
4
Допустимые значения:
1 <= X <= 20
- spec.kubelet.containerLogMaxSize
Максимальный размер файла журнала до того, как он будет ротирован.
Внимание! Параметр не влияет на работу, если тип CRI —
Docker
.Внимание!
Docker
считается устаревшим, не используйте его.По умолчанию:
"50Mi"
Шаблон:
\d+[Ei|Pi|Ti|Gi|Mi|Ki|E|P|T|G|M|k|m]
- spec.kubelet.maxPods
Максимальное количество подов на узлах данной
NodeGroup
.По умолчанию:
110
- spec.kubelet.rootDir
Путь к каталогу для файлов kubelet (volume mounts и т. д.).
По умолчанию:
"/var/lib/kubelet"
- spec.kubernetesVersion
Желаемая минорная версия Kubernetes.
По умолчанию соответствует глобально выбранной для кластера версии (см. документацию по установке) или, если таковая не определена, текущей версии
control plane
.Допустимые значения:
1.27
,1.28
,1.29
,1.30
,1.31
Пример:
kubernetesVersion: '1.29'
- spec.nodeTemplate
Настройки
Node
-объектов в Kubernetes, которые будут добавлены после регистрации узла.Пример:
nodeTemplate: labels: environment: production app: warp-drive-ai annotations: ai.fleet.com/discombobulate: 'true' taints: - effect: NoExecute key: ship-class value: frigate
- spec.nodeTemplate.annotations
Аналогично стандартному полю
metadata.annotations
.Пример:
annotations: ai.fleet.com/discombobulate: 'true'
- spec.nodeTemplate.labels
Аналогично стандартному полю
metadata.labels
.Пример:
labels: environment: production app: warp-drive-ai
- spec.nodeTemplate.taints
Аналогично полю
.spec.taints
из объекта Node.Внимание! Доступны только поля
effect
,key
,value
.Пример:
taints: - effect: NoExecute key: ship-class value: frigate
- spec.nodeTemplate.taints.effect
Допустимые значения:
NoSchedule
,PreferNoSchedule
,NoExecute
- spec.nodeTemplate.taints.key
- spec.nodeTemplate.taints.value
- spec.nodeType
Обязательный параметр
Тип узлов, которые представляет эта группа:
Cloud
— узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере;Static
— статический узел, размещенный на железном сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров;Hybrid
— статический узел (созданный вручную или любыми внешними инструментами), размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров. На таком узле работает CSI и такой узел управляется cloud-controller-manager’ом: объектNode
автоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака соответствующий ему объектNode
будет удален в Kubernetes.
Допустимые значения:
Cloud
,Static
,Hybrid
- spec.operatingSystemПараметр устарел
Параметры операционной системы.
- spec.operatingSystem.manageKernelПараметр устарел
Этот параметр не используется. Раньше он включал автоматическое управление ядром операционной системы.
По умолчанию:
true
- spec.static
Параметры статического узла.
- spec.static.internalNetworkCIDRs
CIDR подсети.