Доступно в редакциях: Open/CE, BE, SE, SE+, Ultimate/EE, Core
Стадия жизненного цикла модуля: General Availability
Учётные данные для доступа к API Yandex Cloud Deckhouse Platform читает из секрета d8-credentials, формат которого описан в разделе «Секрет с учётными данными».
При изменении настроек модуля существующие объекты Machine не пересоздаются, с новыми параметрами создаются только новые объекты. Узлы пересоздаются при изменении параметров NodeGroup и YandexInstanceClass. Как пересоздать узлы вручную, описано в разделе «Как пересоздать эфемерные машины в облаке с новой конфигурацией?».
В модуле реализовано 4 алерта.
Конверсии
Модуль настраивается с помощью ресурса ModuleConfig, схема которого содержит номер версии. При применении в кластере старой версии схемы ModuleConfig выполняются автоматические преобразования. Чтобы обновить версию схемы ModuleConfig вручную, необходимо последовательно для каждой версии выполнить следующие действия :
- Обновление из версии 1 в 2:
Настройки сгруппированы по параметрам
provider,nodes,storageиccm. Конверсия выполняет следующее:- Параметры
cloudID,folderID,layout,nodeNetworkCIDRиsshPublicKeyнужно заполнить вручную. - Параметр
storageClass.excludeпереименован вexcludedStorageClasses, аstorageClass.provisionвprovisionedStorageClasses. - Параметр
storageClass.defaultудалён. Задайте StorageClass по умолчанию глобальным параметромdefaultClusterStorageClass. - Параметр
additionalExternalNetworkIDsперенесён вccm.parameters.additionalExternalNetworkIDs.
- Параметры
Конфигурация модуля
Все настройки провайдера, кроме учётных данных, задаются в ресурсе ModuleConfig модуля. Платформа применяет их и при создании кластера, и в работающем кластере.
Настройки сгруппированы по четырём параметрам верхнего уровня:
providerзадаёт идентификаторы облака и каталога Yandex Cloud, параметр обязателен;nodesзадаёт схему размещения, параметры сети и создаваемых узлов, параметр обязателен;storageзадаёт StorageClass, которые создаёт модуль;ccmзадаёт работу cloud controller manager.
Подсистемы узлов, хранения данных и cloud controller manager отключаются вложенным параметром disabled.
Пример конфигурации модуля с настройками провайдера, узлов, хранилища и cloud controller manager:
apiVersion: deckhouse.io/v1alpha1
kind: ModuleConfig
metadata:
name: cloud-provider-yandex
spec:
version: 2
enabled: true
settings:
provider:
parameters:
cloudID: <CLOUD_ID>
folderID: <FOLDER_ID>
nodes:
parameters:
layout: Standard
nodeNetworkCIDR: 10.241.32.0/20
sshPublicKey: <SSH_PUBLIC_KEY>
storage:
parameters:
excludedStorageClasses:
- network-hdd
ccm:
parameters:
additionalExternalNetworkIDs:
- enp6t4snovl2ko4p15em
Где:
CLOUD_IDиFOLDER_ID— идентификаторы облака и каталога Yandex Cloud;SSH_PUBLIC_KEY— публичный SSH-ключ для доступа к узлам.
Параметры виртуальных машин задаются в ресурсе YandexInstanceClass, на который ссылается NodeGroup.
Storage
Модуль автоматически создаёт StorageClass для всех типов дисков Yandex Cloud:
| Тип | Имя StorageClass | Примечание |
|---|---|---|
| network-hdd | network-hdd | |
| network-ssd | network-ssd | |
| network-ssd-nonreplicated | network-ssd-nonreplicated | Размер дисков должен быть кратен 93 ГБ |
| network-ssd-io-m3 | network-ssd-io-m3 | Размер дисков должен быть кратен 93 ГБ |
Вы можете отфильтровать ненужные StorageClass с помощью параметра excludedStorageClasses.
Параметр provisionedStorageClasses позволяет создавать дополнительные StorageClass или переопределять параметры StorageClass, создаваемых модулем по умолчанию.
С помощью параметра blockSize можно задать размер блока для создаваемых дисков. От размера блока зависит максимальный размер диска. Для значения 4Ki он составляет 8Ti и удваивается с каждым следующим размером блока, вплоть до 256Ti при 128Ki.
Пример конфигурации модуля cloud-provider-yandex с дополнительным StorageClass, для которого задан размер блока 64Ki:
apiVersion: deckhouse.io/v1alpha1
kind: ModuleConfig
metadata:
name: cloud-provider-yandex
spec:
version: 2
enabled: true
settings:
provider:
parameters:
cloudID: <CLOUD_ID>
folderID: <FOLDER_ID>
nodes:
parameters:
layout: Standard
nodeNetworkCIDR: 192.168.12.0/24
sshPublicKey: <SSH_PUBLIC_KEY>
storage:
parameters:
provisionedStorageClasses:
- name: network-ssd-64k
type: network-ssd
blockSize: 64Ki
После создания диска изменить размер его блока нельзя. Изменение параметра blockSize приводит к пересозданию StorageClass, но не изменяет размер блока у ранее созданных томов.
LoadBalancer
Модуль отслеживает объекты Service с типом LoadBalancer и создаёт для них сетевой балансировщик и целевую группу в Yandex Cloud. Аннотации, которыми настраивается балансировщик, перечислены в разделе «Аннотации объекта Service».
Больше информации в документации Kubernetes Cloud Controller Manager for Yandex Cloud.
Параметры
Версия схемы: 2
- объектsettings
- объектsettings.ccm
Настройки подсистемы Cloud Controller Manager (CCM).
CCM создаёт Network Load Balancer и целевые группы для Service с типом
LoadBalancer, поддерживает маршруты до подсетей подов в таблице маршрутизации и обновляет метаданные узлов.- булевыйsettings.ccm.disabled
Отключает Cloud Controller Manager.
При значении
trueкластер не управляет балансировщиками нагрузки и маршрутами в Yandex Cloud.По умолчанию:
false - объектsettings.ccm.parameters
Обязательный параметр
Параметры подсистемы Cloud Controller Manager.
- массив строкsettings.ccm.parameters.additionalExternalNetworkIDs
Дополнительные ID внешних сетей, которые будут распознаваться CCM как внешние сети.
- массив строкsettings.ccm.parameters.additionalInternalNetworkIDs
Дополнительные ID внутренних сетей, которые будут распознаваться CCM как внутренние сети.
- объектsettings.nodes
Обязательный параметр
Настройки подсистемы узлов.
Подсистема описывает инфраструктуру, в которой создаются узлы кластера, включая схему размещения, сети, зоны и публичный SSH-ключ.
- булевыйsettings.nodes.disabled
Отключает подсистему узлов.
При значении
trueкластер не создаёт узлы в Yandex Cloud, а cloud controller manager не запускается.По умолчанию:
false - объектsettings.nodes.parameters
Обязательный параметр
Параметры подсистемы узлов.
- объектsettings.nodes.parameters.dhcpOptions
Список DHCP-опций, которые будут установлены на все подсети.
Параметр может нарушить разрешение имён на узлах. Признаки и способы решения описаны в разделе «Проблемы DHCPOptions и пути их решения».
- строкаsettings.nodes.parameters.dhcpOptions.domainName
Домен, который узел добавляет к неполному имени хоста при разрешении имён.
- массив строкsettings.nodes.parameters.dhcpOptions.domainNameServers
Список адресов рекурсивных DNS.
- строкаsettings.nodes.parameters.existingNetworkID
ID существующей VPC Network.
- строкаsettings.nodes.parameters.existingRouteTableID
ID существующей таблицы маршрутизации, привязанной к подсетям.
Обычно значение формируется, когда DP создаёт инфраструктуру. Задайте параметр явно в кластере, где DP инфраструктуру не создаёт, например в кластере со статичными master-узлами, в который добавляются эфемерные узлы в Yandex Cloud.
- объектsettings.nodes.parameters.existingZoneToSubnetIDMap
Одна или несколько ранее существовавших подсетей, сопоставленных с соответствующей зоной.
Внимание. С модулем
cni-simple-bridgeDP создаёт таблицу маршрутизации, которую нужно вручную привязать к перечисленным подсетям. К подсети привязывается только одна таблица маршрутизации, поэтому два кластера сcni-simple-bridgeне могут использовать одни и те же подсети. Начиная с DP 1.76 новые кластеры в Yandex Cloud используют модульcni-ciliumв режиме VXLAN, в котором маршрутизация трафика подов не зависит от таблиц маршрутизации Yandex Cloud. - объектsettings.nodes.parameters.externalIPAddresses
Внешние IP-адреса для каждой группы узлов.
Ключ — имя группы узлов (например,
system,master,worker), значение — список внешних IP-адресов для узлов этой группы, перечисленных в порядке зон, в которых будут создаваться узлы.В списке можно указывать следующие значения:
- IP-адрес из дополнительной внешней сети для соответствующей зоны, перечисленной в параметре
externalSubnetIDs; - зарезервированный публичный IP-адрес, если параметр
externalSubnetIDsне задан; Auto— для заказа публичного IP-адреса в соответствующей зоне.
- IP-адрес из дополнительной внешней сети для соответствующей зоны, перечисленной в параметре
- объектsettings.nodes.parameters.externalSubnetIDs
ID дополнительных внешних сетей для каждой группы узлов.
Ключ — имя группы узлов (например,
system,master,worker), значение — список ID внешних подсетей для узлов этой группы, перечисленных в порядке зон, в которых будут создаваться узлы. - объектsettings.nodes.parameters.labels
Лейблы, проставляемые на ресурсы, создаваемые в Yandex Cloud.
Если поменять лейблы в рабочем кластере, после применения изменений необходимо пересоздать все машины.
- строкаsettings.nodes.parameters.layout
Обязательный параметр
Название схемы размещения.
Доступные схемы размещения описаны в разделе «Схемы размещения».
Допустимые значения:
Standard,WithoutNAT,WithNATInstance - строкаsettings.nodes.parameters.nodeNetworkCIDR
Обязательный параметр
Диапазон IP-адресов для подсетей узлов.
Deckhouse Platform делит диапазон на четыре равные части:
ru-central1-aиспользует первую часть.ru-central1-bиспользует вторую часть.ru-central1-eиспользует третью часть.ru-central1-dиспользует четвёртую часть.
Как использовать зону
ru-central1-f, описано в разделе «Использование зоны ru-central1-f». - строкаsettings.nodes.parameters.sshPublicKey
Обязательный параметр
Публичный ключ для доступа на узлы.
- строкаsettings.nodes.parameters.withNATInstance.externalSubnetID
Подключаемый к узлу дополнительный сетевой интерфейс, в который будет идти маршрут по умолчанию.
- строкаsettings.nodes.parameters.withNATInstance.internalSubnetCIDR
CIDR автоматически создаваемой подсети для внутреннего интерфейса. Имеет приоритет над параметром
internalSubnetID. - строкаsettings.nodes.parameters.withNATInstance.internalSubnetID
ID подсети для внутреннего интерфейса.
- строкаsettings.nodes.parameters.withNATInstance.natInstanceExternalAddress
Внешний зарезервированный IP-адрес. Если задан параметр
externalSubnetID, укажите адрес из этой подсети.Шаблон:
^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$ - строкаsettings.nodes.parameters.withNATInstance.natInstanceInternalAddress
Внутренний IP-адрес NAT-инстанса. Чтобы адрес назначил Yandex Cloud, не задавайте этот параметр.
Шаблон:
^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$ - объектsettings.nodes.parameters.withNATInstance.natInstanceResources
Вычислительные ресурсы, выделяемые для NAT-инстанса. Если параметр не указан, используются значения по умолчанию.
Внимание. При изменении этих параметров модуль
terraform-managerперезапускает NAT-инстанс автоматически, если параметрautoConvergerEnabledимеет значениеtrue. Перезапуск на короткое время прерывает сетевой трафик в кластере.- целочисленныйsettings.nodes.parameters.withNATInstance.natInstanceResources.cores
Количество ядер у создаваемого NAT-инстанса.
По умолчанию:
2 - целочисленныйsettings.nodes.parameters.withNATInstance.natInstanceResources.memory
Количество оперативной памяти (в мегабайтах) у создаваемого NAT-инстанса.
По умолчанию:
2048 - строкаsettings.nodes.parameters.withNATInstance.natInstanceResources.platform
Тип платформы процессора у создаваемого NAT-инстанса.
По умолчанию:
standard-v2
- массив строкsettings.nodes.parameters.zones
Ограничивает набор зон, в которых облачный провайдер размещает узлы кластера.
Можно указать не более четырёх зон. Если параметр не задан, Deckhouse Platform использует
ru-central1-a,ru-central1-b,ru-central1-dиru-central1-e.Как использовать зону
ru-central1-f, описано в разделе «Использование зоны ru-central1-f».- строкаЭлемент массива
Допустимые значения:
ru-central1-a,ru-central1-b,ru-central1-d,ru-central1-e,ru-central1-f
- объектsettings.provider
Обязательный параметр
Настройки подключения к Yandex Cloud.
Ключ сервисного аккаунта провайдер читает из секрета
d8-credentials.- объектsettings.provider.parameters
Обязательный параметр
Содержит настройки для подключения к API Yandex Cloud.
- строкаsettings.provider.parameters.cloudID
Обязательный параметр
Идентификатор облака.
- строкаsettings.provider.parameters.folderID
Обязательный параметр
Идентификатор директории.
- объектsettings.storage
Настройки подсистемы хранения данных.
Подсистема отвечает за CSI-драйвер и StorageClass для типов дисков Yandex Cloud.
- булевыйsettings.storage.disabled
Отключает подсистему хранения данных.
При значении
trueзаказ дисков в кластере недоступен.По умолчанию:
false - объектsettings.storage.parameters
Обязательный параметр
Параметры подсистемы хранения данных.
- массив строкsettings.storage.parameters.excludedStorageClasses
Список StorageClass, исключаемых из использования в кластере.
Каждый элемент задаёт регулярное выражение, которое сопоставляется с именем StorageClass целиком. Например,
network-ssdисключает только StorageClassnetwork-ssd, аnetwork-ssd.*исключает все StorageClass, имя которых начинается сnetwork-ssd.Список применяется после параметра
provisionedStorageClasses, поэтому исключает и заданные в нём StorageClass. - массив объектовsettings.storage.parameters.provisionedStorageClasses
Определяет дополнительные StorageClass или переопределяет параметры создаваемых по умолчанию.
Создаваемый по умолчанию StorageClass переопределяется, если его имя точно совпадает со значением поля
name.- строкаsettings.storage.parameters.provisionedStorageClasses.blockSize
Размер блока дисков, создаваемых этим StorageClass.
Если параметр не указан, используется размер блока по умолчанию для Yandex Cloud —
4Ki.Размер блока определяет максимальный размер сетевого диска: для блока
4Kiон составляет8Ti, а при каждом следующем увеличении размера блока удваивается — вплоть до256Tiдля блока128Ki.После создания диска изменить размер его блока нельзя. Изменение параметра
blockSizeприводит к пересозданию StorageClass, но не изменяет размер блока у ранее созданных томов.Подробнее в официальной документации Yandex Cloud.
Допустимые значения:
4Ki,8Ki,16Ki,32Ki,64Ki,128Ki - строкаsettings.storage.parameters.provisionedStorageClasses.name
Обязательный параметр
Имя создаваемого StorageClass.
- строкаsettings.storage.parameters.provisionedStorageClasses.type
Обязательный параметр
Тип диска.
Допустимые значения:
network-hdd,network-ssd,network-ssd-nonreplicated,network-ssd-io-m3

