OpenStackClusterConfiguration
Version: deckhouse.io/v1
Описывает конфигурацию облачного кластера в OpenStack.
Используется cloud-провайдером, если control plane кластера размещен в облаке.
Выполните следующую команду, чтобы изменить конфигурацию в работающем кластере:
kubectl -n d8-system exec -ti svc/deckhouse-leader -c deckhouse -- deckhouse-controller edit provider-cluster-configuration
Пример:
apiVersion: deckhouse.io/v1
kind: OpenStackClusterConfiguration
layout: Standard
sshPublicKey: "<SSH_PUBLIC_KEY>"
zones:
- eu-3a
standard:
internalNetworkDNSServers:
- 8.8.8.8
internalNetworkCIDR: 192.168.195.0/24
internalNetworkSecurity: false
externalNetworkName: external-network
provider:
authURL: "<AUTH_URL>"
domainName: "<DOMAIN_NAME>"
tenantID: "<TENANT_ID>"
username: "<USERNAME>"
password: "<PASSWORD>"
region: eu-3
masterNodeGroup:
replicas: 1
instanceClass:
rootDiskSize: 50
flavorName: m1.large
imageName: debian-11-genericcloud-amd64-20220911-1135
volumeTypeMap:
eu-3a: fast.eu-3a
nodeGroups:
- name: front
replicas: 2
instanceClass:
flavorName: m1.large
imageName: debian-11-genericcloud-amd64-20220911-1135
rootDiskSize: 50
configDrive: false
floatingIPPools:
- public
- shared
additionalSecurityGroups:
- sec_group_1
- sec_group_2
zones:
- eu-1a
- eu-1b
- apiVersion
Обязательный параметр
Допустимые значения:
deckhouse.io/v1
,deckhouse.io/v1alpha1
- kind
Обязательный параметр
Допустимые значения:
OpenStackClusterConfiguration
- layout
Обязательный параметр
Название схемы размещения.
Подробнее о возможных схемах размещения провайдера.
- masterNodeGroup
Обязательный параметр
Спецификация для описания NodeGroup master-узлов.
Внимание! После изменения параметров секции
masterNodeGroup
необходимо выполнить командуdhctl converge
, чтобы изменения вступили в силу.- masterNodeGroup.instanceClass
Обязательный параметр
Частичное содержимое полей OpenStackInstanceClass.
- masterNodeGroup.instanceClass.additionalSecurityGroups
Дополнительный список security groups, которые будут добавлены на заказанные инстансы соответствующего
OpenStackInstanceClass
в дополнение к указанным в конфигурации cloud-провайдера.Используется для задания правил firewall по отношению к заказываемым инстансам.
SecurityGroups
могут не поддерживаться провайдером. - объект
Дополнительные теги, которые будут присвоены созданным инстансам в дополнение к указанным в конфигурации cloud-провайдера.
Пример:
additionalTags: project: cms-production severity: critical
- masterNodeGroup.instanceClass.etcdDiskSizeGb
Размер диска для etcd. Значение указывается в гигабайтах.
По умолчанию:
10
Пример:
etcdDiskSizeGb: 10
- masterNodeGroup.instanceClass.flavorName
Обязательный параметр
Тип заказываемых виртуальных машин.
Получить список всех доступных flavor’ов:
openstack flavor list
.Для всех не master-узлов желательно использовать flavor’ы с локальным диском. Если в облаке поддерживаются локальные диски, они обычно быстрее и дешевле. Недостатком использования таких flavor’ов является невозможность миграции узлов между гипервизорами.
Пример создания flavor’а:
openstack flavor create c4m8d50 --ram 8192 --disk 50 --vcpus 4
. - masterNodeGroup.instanceClass.imageName
Обязательный параметр
Имя образа виртуальной машины, который будет использоваться для инстанса.
Получить список всех доступных образов можно командой:
openstack image list
.Список поддерживаемых Deckhouse ОС и их версий можно найти в документации (учитывайте используемую версию Deckhouse).
- masterNodeGroup.instanceClass.rootDiskSize
Размер root-диска. Значение указывается в гигабайтах.
Параметр также влияет на тип диска. Подробнее…
- masterNodeGroup.replicas
Обязательный параметр
Количество создаваемых master-узлов. Для обеспечения кворума важно, чтобы оно было нечетным.
Допустимые значения:
1 <= X
- masterNodeGroup.serverGroup
ServerGroup объединяет инстансы в группу. Инстансы в такой группе будут размещены на одном гипервизоре (affinity) или на разных гипервизорах (anti-affinity). Это позволяет повысить отказоустойчивость кластера.
- masterNodeGroup.serverGroup.manuallyManaged
- masterNodeGroup.serverGroup.manuallyManaged.id
Обязательный параметр
Идентификатор объекта ServerGroup.
- masterNodeGroup.serverGroup.policy
Обязательный параметр
Политика распределения инстансов:
AntiAffinity
— размещает инстансы на разных гипервизорах.ManuallyManaged
— позволяет указать существующую ServerGroup по идентификатору.
Допустимые значения:
AntiAffinity
,ManuallyManaged
- masterNodeGroup.volumeTypeMap
Обязательный параметр
Словарь типов дисков для хранения данных etcd и конфигурационных файлов Kubernetes.
Формат элементов словаря:
<ЗОНА ДОСТУПНОСТИ>: <ТИП ДИСКА>
(см. пример).Если указан параметр
rootDiskSize
, этот же тип диска будет использован в качестве загрузочного диска виртуальной машины.Всегда рекомендуется использовать самые быстрые диски, предоставляемые провайдером.
Если значение, указанное в
replicas
, превышает количество элементов в словаре, master-узлы, чьи номера превышают длину словаря, получают значения, начиная с начала словаря. Если для словаря из примера указаноreplicas: 5
, с типом дискаfast-eu-1a
будут master-0, master-2 и master-4, а с типом дискаfast-eu-1b
будут master-1 и master-3.Полезные команды:
openstack availability zone list
— получить список зон доступности.openstack volume type list
— получить список типов дисков.
Пример:
volumeTypeMap: eu-1a: fast-eu-1a eu-1b: fast-eu-1b
- nodeGroups
Массив дополнительных NodeGroup для создания статических узлов (например, для выделенных frontend-узлов или шлюзов).
- nodeGroups.instanceClass.additionalNetworks
Список сетей, которые будут подключены к инстансу.
openstack network list
Пример:
additionalNetworks: - BGP-network-VLAN-3894 - External-VLAN-3699
- nodeGroups.instanceClass.additionalSecurityGroups
Дополнительный список security groups, которые будут добавлены на заказанные инстансы соответствующего
OpenStackInstanceClass
в дополнение к указанным в конфигурации cloud-провайдера.Используется для задания правил firewall по отношению к заказываемым инстансам.
SecurityGroups
могут не поддерживаться провайдером. - объект
Дополнительные теги, которые будут присвоены созданным инстансам в дополнение к указанным в конфигурации cloud-провайдера.
Пример:
additionalTags: project: cms-production severity: critical
- nodeGroups.instanceClass.configDrive
Необязательный параметр.
Флаг, указывающий, будет ли монтироваться на узел дополнительный диск, содержащий конфигурацию для узла.
Параметр необходимо устанавливать, если в сети, указанной в качестве
mainNetwork
, отключен DHCP.По умолчанию:
false
- nodeGroups.instanceClass.flavorName
Обязательный параметр
Тип заказываемых виртуальных машин.
Получить список всех доступных flavor’ов:
openstack flavor list
.Для всех не master-узлов желательно использовать flavor’ы с локальным диском. Если в облаке поддерживаются локальные диски, они обычно быстрее и дешевле. Недостатком использования таких flavor’ов является невозможность миграции узлов между гипервизорами.
Пример создания flavor’а:
openstack flavor create c4m8d50 --ram 8192 --disk 50 --vcpus 4
. - nodeGroups.instanceClass.floatingIPPools
Список сетей для заказа Floating IP для узлов.
- nodeGroups.instanceClass.imageName
Обязательный параметр
Имя образа виртуальной машины, который будет использоваться для инстанса.
Получить список всех доступных образов можно командой:
openstack image list
.Список поддерживаемых Deckhouse ОС и их версий можно найти в документации (учитывайте используемую версию Deckhouse).
- nodeGroups.instanceClass.mainNetwork
Обязательный параметр
Путь до сети, которая будет подключена к виртуальной машине как основная (шлюз по умолчанию).
Получить список доступных сетей можно следующей командой:
openstack network list
. - nodeGroups.instanceClass.networksWithSecurityDisabled
Список сетей из параметров
mainNetwork
иadditionalNetworks
, в которых НЕЛЬЗЯ настраиватьSecurityGroups
иAllowedAddressPairs
на портах. - nodeGroups.instanceClass.rootDiskSize
Размер root-диска. Значение указывается в гигабайтах.
Параметр также влияет на тип диска. Подробнее…
- nodeGroups.name
Имя NodeGroup, которое будет использоваться для генерации имен узлов.
- nodeGroups.nodeTemplate
Настройки Node-объектов в Kubernetes, которые будут добавлены после регистрации узлов.
- nodeGroups.nodeTemplate.annotations
Аналогично стандартному полю
metadata.annotations
.Пример:
annotations: ai.fleet.com/discombobulate: 'true'
- nodeGroups.nodeTemplate.labels
Список лейблов, которые будут прикреплены ко всем ресурсам кластера (если они это поддерживают).
Аналогично стандартному полю
metadata.labels
.Если поменять лейблы в рабочем кластере, после применения изменений необходимо пересоздать все машины.
Пример:
labels: environment: production app: warp-drive-ai
- nodeGroups.nodeTemplate.taints
Аналогично полю
.spec.taints
из объекта Node.Внимание! Доступны только поля
effect
,key
,values
.Пример:
taints: - effect: NoExecute key: ship-class value: frigate
- nodeGroups.nodeTemplate.taints.effect
Допустимые значения:
NoSchedule
,PreferNoSchedule
,NoExecute
- nodeGroups.nodeTemplate.taints.key
- nodeGroups.nodeTemplate.taints.value
- nodeGroups.replicas
Количество узлов.
- nodeGroups.volumeTypeMap
Словарь типов дисков для загрузочного диска.
Формат элементов словаря:
<ЗОНА ДОСТУПНОСТИ>: <ТИП ДИСКА>
(см. пример).Если значение, указанное в
replicas
, превышает количество элементов в словаре, узлы, чьи номера превышают длину словаря, получают значения, начиная с начала словаря. Если для словаря из примера указаноreplicas: 5
, с типом дискаfast-eu-1a
будут worker-0, worker-2 и worker-4, а с типом дискаfast-eu-1b
будут worker-1 и worker-3.Внимание! Ограничение по зонам доступности работает только при использовании параметра
zones
(nodeGroups.zones
). Если параметрzones
не задан, будут использованы все зоны доступности.Полезные команды:
openstack availability zone list
— получить список зон доступности.openstack volume type list
— получить список типов дисков.
Пример:
volumeTypeMap: eu-1a: fast-eu-1a eu-1b: fast-eu-1b
- nodeGroups.zones
Необязательный параметр.
Список зон, в которых допустимо создавать узлы.
- provider
Обязательный параметр
Параметры подключения к API OpenStack.
Совпадают с параметрами, передаваемыми в поле
connection
в модуле cloud-provider-openstack.- provider.authURL
OpenStack Identity API URL.
- provider.caCert
CA x509 сертификат, использовавшийся для подписи (можно указать, если OpenStack API имеет самоподписанный сертификат).
Пример:
caCert: -----BEGIN CERTIFICATE----- MIIFyDCCBLCgAwIBAgIQBwDIWH1asdaKNaALUa4NUzANBgkqhkiG9w0BAQsFADBc ... -----END CERTIFICATE-----
- provider.domainName
Имя домена.
Переменная
OS_USER_DOMAIN_NAME
из файла openrc. - provider.password
Пароль пользователя.
- provider.region
Регион OpenStack, где будет развернут кластер.
- provider.tenantID
ID проекта.
Не может использоваться вместе с
tenantName
. - provider.tenantName
Имя проекта.
Не может использоваться вместе с
tenantID
. - provider.username
Имя пользователя с полными правами на проект.
- simple.externalNetworkDHCP
Флаг, который указывает, включен ли DHCP в сети, указанной в качестве внешней.
По умолчанию:
true
- simple.externalNetworkName
Обязательный параметр
Имя сети для внешнего взаимодействия. Получить список доступных сетей:
openstack network list
. - simple.podNetworkMode
Определяет способ организации трафика в той сети, которая используется для коммуникации между подами (обычно это внутренняя сеть, но бывают исключения):
DirectRouting
– между узлами работает прямая маршрутизация, в этом режиме отключены SecurityGroups.VXLAN
– между узлами НЕ работает прямая маршрутизация, необходимо использовать VXLAN, в этом режиме отключены SecurityGroups.
Внимание! После изменения этого параметра необходимо выполнить
dhctl converge
.Внимание! После переключения с/на VXLAN требуется перезагрузка всех узлов кластера.
По умолчанию:
"VXLAN"
Допустимые значения:
VXLAN
,DirectRouting
- simpleWithInternalNetwork.externalNetworkDHCP
Флаг, который указывает, включен ли DHCP в сети, указанной в качестве внешней.
По умолчанию:
true
- simpleWithInternalNetwork.externalNetworkName
Имя сети для внешнего взаимодействия. Получить список доступных сетей:
openstack network list
. - simpleWithInternalNetwork.internalSubnetName
Обязательный параметр
Имя подсети, в которой будут работать узлы кластера.
- simpleWithInternalNetwork.masterWithExternalFloatingIP
Флаг, который указывает, создавать ли Floating IP на master-узлах.
По умолчанию:
true
- simpleWithInternalNetwork.podNetworkMode
Определяет способ организации трафика в той сети, которая используется для коммуникации между подами (обычно это внутренняя сеть, но бывают исключения):
DirectRouting
— между узлами работает прямая маршрутизация, в этом режиме отключены SecurityGroups.DirectRoutingWithPortSecurityEnabled
— между узлами работает прямая маршрутизация, но только если в OpenStack явно разрешить на портах диапазон адресов, используемых во внутренней сети.- Внимание! Убедитесь, что у
username
есть доступ на редактированиеAllowedAddressPairs
на портах, подключенных в сетьinternalNetworkName
. Обычно в OpenStack такого доступа нет, если сеть имеет флагshared
.
- Внимание! Убедитесь, что у
VXLAN
— между узлами НЕ работает прямая маршрутизация, необходимо использовать VXLAN, в этом режиме отключены SecurityGroups.
Внимание! После изменения этого параметра необходимо выполнить
dhctl converge
.Внимание! После переключения с/на VXLAN требуется перезагрузка всех узлов кластера.
По умолчанию:
"DirectRoutingWithPortSecurityEnabled"
Допустимые значения:
VXLAN
,DirectRouting
,DirectRoutingWithPortSecurityEnabled
- sshAllowList
Список CIDR, разрешенных для подключения к узлам по SSH.
По умолчанию
0.0.0.0/0
. - sshPublicKey
Обязательный параметр
Публичный ключ для доступа на узлы.
- standard.bastion
Спецификация для описания bastion-узла.
- объект
Дополнительные теги, которые будут присвоены созданному инстансу в дополнение к указанным в конфигурации cloud-провайдера.
Пример:
additionalTags: project: cms-production severity: critical
- standard.bastion.instanceClass.flavorName
Обязательный параметр
Тип виртуальной машины.
Получить список всех доступных flavor’ов можно с помощью команды:
openstack flavor list
. - standard.bastion.instanceClass.imageName
Обязательный параметр
Имя образа виртуальной машины, который будет использоваться для инстанса.
Получить список всех доступных образов можно с помощью команды:
openstack image list
. - standard.bastion.instanceClass.rootDiskSize
Размер root-диска. Значение указывается в гигабайтах.
Параметр также влияет на тип диска. Подробнее…
По умолчанию:
50
- standard.bastion.volumeType
Тип корневого диска.
- standard.bastion.zone
Зона для создания инстанса для bastion-узла.
- standard.externalNetworkName
Обязательный параметр
Имя сети для внешнего взаимодействия. Получить список доступных сетей:
openstack network list
. - standard.internalNetworkCIDR
Обязательный параметр
Адресация для внутренней сети узлов кластера.
Шаблон:
^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$
- standard.internalNetworkDNSServers
Обязательный параметр
Список адресов рекурсивных DNS внутренней сети.
- Элемент массива
Шаблон:
^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])$
- standard.internalNetworkSecurity
Флаг, который определяет необходимость настройки SecurityGroups и AllowedAddressPairs на портах внутренней сети.
По умолчанию:
true
- standardWithNoRouter.externalNetworkDHCP
Флаг, который указывает, включен ли DHCP в сети, указанной в качестве внешней.
По умолчанию:
true
- standardWithNoRouter.externalNetworkName
Обязательный параметр
Имя сети для внешнего взаимодействия. Получить список доступных сетей:
openstack network list
. - standardWithNoRouter.internalNetworkCIDR
Обязательный параметр
Адресация для внутренней сети узлов кластера.
Шаблон:
^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$
- standardWithNoRouter.internalNetworkSecurity
Флаг, который определяет необходимость настройки SecurityGroups и AllowedAddressPairs на портах внутренней сети.
По умолчанию:
true
- объект
Необязательный параметр.
Список тегов, которые будут созданы на всех ресурсах, имеющих такую возможность.
Если поменять теги в рабочем кластере, после применения изменений необходимо пересоздать все машины.
- zones
Необязательный параметр.
Глобальное ограничение набора зон, с которыми работает данный cloud-провайдер.