Если control plane кластера размещен на виртуальных машинах или bare-metal-серверах, cloud-провайдер использует настройки модуля cloud-provider-vsphere в конфигурации Deckhouse. Иначе, если control plane кластера размещен в облаке, cloud-провайдер использует структуру VsphereClusterConfiguration для настройки.

Дополнительная информация о Vsphere Cloud Load Balancers.

VsphereClusterConfiguration

Version: deckhouse.io/v1

Описывает конфигурацию облачного кластера в vSphere.

Используется облачным провайдером, если управляющий слой (control plane) кластера размещен в облаке.

Выполните следующую команду, чтобы изменить конфигурацию в работающем кластере:

1kubectl -n d8-system exec -ti svc/deckhouse-leader -c deckhouse -- deckhouse-controller edit provider-cluster-configuration

После изменения параметров узлов необходимо выполнить команду dhctl converge, чтобы изменения вступили в силу.

Пример:

1apiVersion: deckhouse.io/v1
2kind: VsphereClusterConfiguration
3sshPublicKey: "<SSH_PUBLIC_KEY>"
4layout: Standard
5vmFolderPath: folder/prefix
6regionTagCategory: k8s-region
7zoneTagCategory: k8s-zone
8region: region2
9zones:
10- region2-a
11externalNetworkNames:
12- net3-k8s
13internalNetworkNames:
14- K8S_3
15internalNetworkCIDR: 172.16.2.0/24
16baseResourcePool: kubernetes/cloud
17masterNodeGroup:
18  replicas: 1
19  instanceClass:
20    numCPUs: 4
21    memory: 8192
22    template: Templates/ubuntu-focal-20.04
23    mainNetwork: net3-k8s
24    additionalNetworks:
25    - K8S_3
26    datastore: lun10
27    rootDiskSize: 50
28    runtimeOptions:
29      nestedHardwareVirtualization: false
30nodeGroups:
31- name: worker
32  replicas: 1
33  zones:
34  - ru-central1-a
35  instanceClass:
36    numCPUs: 4
37    memory: 8192
38    template: Templates/ubuntu-focal-20.04
39    datastore: lun10
40    mainNetwork: net3-k8s
41provider:
42  server: "<SERVER>"
43  username: "<USERNAME>"
44  password: "<PASSWORD>"
45  insecure: true
  • apiVersion
    строка

    Обязательный параметр

    Допустимые значения: deckhouse.io/v1, deckhouse.io/v1alpha1

  • baseResourcePool
    строка

    Относительный (от vSphere Cluster) путь до существующего родительского resourcePool для всех создаваемых (в каждой зоне) resourcePool'ов.

  • disableTimesync
    булевый

    Отключение синхронизации времени со стороны vSphere.

    Внимание! Отключение этого параметра не отключает NTP-демоны в гостевой ОС, а лишь отключает корректировки времени со стороны ESXi.

    По умолчанию: true

  • externalNetworkNames
    массив строк

    Имена сетей (не полный путь, а просто имя), подключенных к виртуальным машинам и используемых vsphere-cloud-controller-manager для проставления ExternalIP в .status.addresses в Node API объект.

    Пример:

    1externalNetworkNames:
2- MAIN-1
3- public
  • internalNetworkCIDR
    строка

    Подсеть для master-узлов во внутренней сети.

    Адреса выделяются с десятого адреса. Например, для подсети 192.168.199.0/24 будут использованы адреса начиная с 192.168.199.10.

    Будет использоваться при использовании additionalNetworks в masterInstanceClass.

    Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$

  • internalNetworkNames
    массив строк

    Имена сетей (не полный путь, а просто имя), подключенных к виртуальным машинам и используемых vsphere-cloud-controller-manager для проставления InternalIP в .status.addresses в Node API объект.

    Пример:

    1internalNetworkNames:
2- KUBE-3
3- devops-internal
  • kind
    строка

    Обязательный параметр

    Допустимые значения: VsphereClusterConfiguration

  • layout
    строка

    Обязательный параметр

    Название схемы размещения.

    Подробнее о возможных схемах размещения провайдера.

  • masterNodeGroup
    объект

    Обязательный параметр

    Спецификация для описания NodeGroup master-узлов.

    Внимание! После изменения параметров секции masterNodeGroup необходимо выполнить команду dhctl converge, чтобы изменения вступили в силу.

    • masterNodeGroup.instanceClass
      объект

      Обязательный параметр

      Частичное содержимое полей VsphereInstanceClass.

      • masterNodeGroup.instanceClass.additionalNetworks
        массив строк

        Список путей до сетей, которые будут подключены к виртуальной машине.

        Указывается относительно vSphere datacenter.

        Пример:

        1additionalNetworks:
2- DEVOPS_32
3- DEVOPS_50
      • masterNodeGroup.instanceClass.datastore
        строка

        Обязательный параметр

        Путь до Datastore, на котором будут созданы склонированные виртуальные машины.

        Указывается относительно vSphere datacenter.

        Пример:

        1datastore: lun-1201
      • masterNodeGroup.instanceClass.mainNetwork
        строка

        Обязательный параметр

        Путь до сети, которая будет подключена к виртуальной машине как основная (шлюз по умолчанию).

        Указывается относительно vSphere datacenter.

        Пример:

        1mainNetwork: k8s-msk-178
      • masterNodeGroup.instanceClass.mainNetworkIPAddresses
        массив объектов

        Cписок статических IP-адресов (с CIDR-префиксом), назначаемых (по очереди) узлам в основной сети (параметр mainNetwork).

        По умолчанию включен DHCP-клиент.

        Пример:

        1mainNetworkIPAddresses:
2- address: 10.1.14.20/24
3  gateway: 10.1.14.254
4  nameservers:
5    addresses:
6    - 8.8.8.8
7    - 8.8.4.4
        • masterNodeGroup.instanceClass.mainNetworkIPAddresses.address
          строка

          Обязательный параметр

          IP-адрес с CIDR префиксом.

          Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$

        • masterNodeGroup.instanceClass.mainNetworkIPAddresses.gateway
          строка

          Обязательный параметр

          IP-адрес шлюза по умолчанию.

          Должен находится в подсети, указанной в параметре address.

          Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])$

        • masterNodeGroup.instanceClass.mainNetworkIPAddresses.nameservers
          объект

          Обязательный параметр

          • masterNodeGroup.instanceClass.mainNetworkIPAddresses.nameservers.addresses
            массив строк

            Список DNS-серверов.

            Пример:

            1addresses:
2- 8.8.8.8
3- 8.8.4.4
            • Элемент массива
              строка

              Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])$

          • masterNodeGroup.instanceClass.mainNetworkIPAddresses.nameservers.search
            массив строк

            Список доменов для поиска на указанных DNS-серверах.

            Пример:

            1search:
2- tech.lan
      • masterNodeGroup.instanceClass.memory
        целочисленный

        Обязательный параметр

        Количество памяти (в мегабайтах), выделенной виртуальной машине.

        Пример:

        1memory: 8192
      • masterNodeGroup.instanceClass.numCPUs
        целочисленный

        Обязательный параметр

        Количество виртуальных процессорных ядер, выделяемых виртуальной машине.

        Пример:

        1numCPUs: 2
      • masterNodeGroup.instanceClass.resourcePool
        строка

        Путь до Resource Pool, в котором будут созданы склонированные виртуальные машины.

        Указывается относительно зоны (vSphere Cluster).

        Пример:

        1resourcePool: rp-2012
      • masterNodeGroup.instanceClass.rootDiskSize
        целочисленный

        Размер (в гигабайтах) корневого диска в виртуальной машине.

        Если в template указан диск меньшего размера, автоматически произойдет его расширение.

        Пример:

        1rootDiskSize: 50
      • masterNodeGroup.instanceClass.runtimeOptions
        объект

        Дополнительные (опциональные) параметры виртуальных машин.

        • masterNodeGroup.instanceClass.runtimeOptions.cpuLimit
          целочисленный

          Верхний лимит (в MHz) потребляемой частоты процессоров для создаваемых виртуальных машин.

        • masterNodeGroup.instanceClass.runtimeOptions.cpuReservation
          целочисленный

          Величина зарезервированной для виртуальной машины частоты CPU (в MHz).

        • masterNodeGroup.instanceClass.runtimeOptions.cpuShares
          целочисленный

          Относительная величина CPU Shares для создаваемых виртуальных машин.

        • masterNodeGroup.instanceClass.runtimeOptions.memoryLimit
          целочисленный

          Верхний лимит (в мегабайтах) потребляемой памяти для создаваемых виртуальных машин.

        • masterNodeGroup.instanceClass.runtimeOptions.memoryReservation
          целочисленный

          Процент зарезервированной для виртуальной машины памяти в кластере. В процентах относительно .spec.memory.

          Допустимые значения: 0 <= X <= 100

        • masterNodeGroup.instanceClass.runtimeOptions.memoryShares
          целочисленный

          Относительная величина Memory Shares для создаваемых виртуальных машин.

          Допустимые значения: 0 <= X <= 100

        • masterNodeGroup.instanceClass.runtimeOptions.nestedHardwareVirtualization
          булевый

          Включение Hardware Assisted Virtualization на созданных виртуальных машинах.

      • masterNodeGroup.instanceClass.template
        строка

        Обязательный параметр

        Путь до VirtualMachine Template, который будет склонирован для создания новой виртуальной машины.

        Пример:

        1template: dev/golden_image
    • masterNodeGroup.replicas
      целочисленный

      Обязательный параметр

      Количество создаваемых master-узлов. Для обеспечения кворума важно, чтобы оно было нечетным.

      Допустимые значения: 1 <= X

    • masterNodeGroup.zones
      массив строк

      Список зон, в которых допустимо создавать узлы.

  • nodeGroups
    массив объектов

    Массив дополнительных NodeGroup для создания статических узлов (например, для выделенных frontend-узлов или шлюзов).

    • nodeGroups.instanceClass
      объект

      Обязательный параметр

      Частичное содержимое полей VsphereInstanceClass.

      • nodeGroups.instanceClass.additionalNetworks
        массив строк

        Список путей до сетей, которые будут подключены к виртуальной машине.

        Указывается относительно vSphere datacenter.

        Пример:

        1additionalNetworks:
2- DEVOPS_32
3- DEVOPS_50
      • nodeGroups.instanceClass.datastore
        строка

        Обязательный параметр

        Путь до Datastore, на котором будут созданы склонированные виртуальные машины.

        Указывается относительно vSphere datacenter.

        Пример:

        1datastore: lun-1201
      • nodeGroups.instanceClass.mainNetwork
        строка

        Обязательный параметр

        Путь до сети, которая будет подключена к виртуальной машине как основная (шлюз по умолчанию).

        Указывается относительно vSphere datacenter.

        Пример:

        1mainNetwork: k8s-msk-178
      • nodeGroups.instanceClass.mainNetworkIPAddresses
        массив объектов

        Cписок статических IP-адресов (с CIDR-префиксом), назначаемых (по очереди) узлам в основной сети (параметр mainNetwork).

        По умолчанию включен DHCP-клиент.

        Пример:

        1mainNetworkIPAddresses:
2- address: 10.1.14.20/24
3  gateway: 10.1.14.254
4  nameservers:
5    addresses:
6    - 8.8.8.8
7    - 8.8.4.4
        • nodeGroups.instanceClass.mainNetworkIPAddresses.address
          строка

          Обязательный параметр

          IP-адрес с CIDR префиксом.

          Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$

        • nodeGroups.instanceClass.mainNetworkIPAddresses.gateway
          строка

          Обязательный параметр

          IP-адрес шлюза по умолчанию.

          Должен находится в подсети, указанной в параметре address.

          Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])$

        • nodeGroups.instanceClass.mainNetworkIPAddresses.nameservers
          объект

          Обязательный параметр

          • nodeGroups.instanceClass.mainNetworkIPAddresses.nameservers.addresses
            массив строк

            Список DNS-серверов.

            Пример:

            1addresses:
2- 8.8.8.8
3- 8.8.4.4
            • Элемент массива
              строка

              Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])$

          • nodeGroups.instanceClass.mainNetworkIPAddresses.nameservers.search
            массив строк

            Список доменов для поиска на указанных DNS-серверах.

            Пример:

            1search:
2- tech.lan
      • nodeGroups.instanceClass.memory
        целочисленный

        Обязательный параметр

        Количество памяти (в мегабайтах), выделенной виртуальной машине.

        Пример:

        1memory: 8192
      • nodeGroups.instanceClass.numCPUs
        целочисленный

        Обязательный параметр

        Количество виртуальных процессорных ядер, выделяемых виртуальной машине.

        Пример:

        1numCPUs: 2
      • nodeGroups.instanceClass.resourcePool
        строка

        Путь до Resource Pool, в котором будут созданы склонированные виртуальные машины.

        Указывается относительно зоны (vSphere Cluster).

        Пример:

        1resourcePool: rp-2012
      • nodeGroups.instanceClass.rootDiskSize
        целочисленный

        Размер (в гигабайтах) корневого диска в виртуальной машине.

        Если в template указан диск меньшего размера, автоматически произойдет его расширение.

        Пример:

        1rootDiskSize: 50
      • nodeGroups.instanceClass.runtimeOptions
        объект

        Дополнительные (опциональные) параметры виртуальных машин.

        • nodeGroups.instanceClass.runtimeOptions.cpuLimit
          целочисленный

          Верхний лимит (в MHz) потребляемой частоты процессоров для создаваемых виртуальных машин.

        • nodeGroups.instanceClass.runtimeOptions.cpuReservation
          целочисленный

          Величина зарезервированной для виртуальной машины частоты CPU (в MHz).

        • nodeGroups.instanceClass.runtimeOptions.cpuShares
          целочисленный

          Относительная величина CPU Shares для создаваемых виртуальных машин.

        • nodeGroups.instanceClass.runtimeOptions.memoryLimit
          целочисленный

          Верхний лимит (в мегабайтах) потребляемой памяти для создаваемых виртуальных машин.

        • nodeGroups.instanceClass.runtimeOptions.memoryReservation
          целочисленный

          Процент зарезервированной для виртуальной машины памяти в кластере. В процентах относительно .spec.memory.

          Допустимые значения: 0 <= X <= 100

        • nodeGroups.instanceClass.runtimeOptions.memoryShares
          целочисленный

          Относительная величина Memory Shares для создаваемых виртуальных машин.

          Допустимые значения: 0 <= X <= 100

        • nodeGroups.instanceClass.runtimeOptions.nestedHardwareVirtualization
          булевый

          Включение Hardware Assisted Virtualization на созданных виртуальных машинах.

      • nodeGroups.instanceClass.template
        строка

        Обязательный параметр

        Путь до VirtualMachine Template, который будет склонирован для создания новой виртуальной машины.

        Пример:

        1template: dev/golden_image
    • nodeGroups.name
      строка

      Обязательный параметр

      Имя NodeGroup, которое будет использоваться для генерации имен узлов.

    • nodeGroups.nodeTemplate

      Настройки Node-объектов в Kubernetes, которые будут добавлены после регистрации узлов.

      • nodeGroups.nodeTemplate.annotations
        объект

        Аналогично стандартному полю metadata.annotations.

        Пример:

        1annotations:
2  ai.fleet.com/discombobulate: 'true'
      • nodeGroups.nodeTemplate.labels
        объект

        Список лейблов, которые будут прикреплены ко всем ресурсам кластера (если они это поддерживают).

        Аналогично стандартному полю metadata.labels.

        Пример:

        1labels:
2  environment: production
3  app: warp-drive-ai
      • nodeGroups.nodeTemplate.taints
        массив объектов

        Аналогично полю .spec.taints из объекта Node.

        Внимание! Доступны только поля effect, key, values.

        Пример:

        1taints:
2- effect: NoExecute
3  key: ship-class
4  value: frigate
        • nodeGroups.nodeTemplate.taints.effect
          строка

          Допустимые значения: NoSchedule, PreferNoSchedule, NoExecute

        • nodeGroups.nodeTemplate.taints.key
          строка
        • nodeGroups.nodeTemplate.taints.value
          строка
    • nodeGroups.replicas
      целочисленный

      Обязательный параметр

      Количество узлов.

    • nodeGroups.zones
      массив строк

      Список зон, в которых допустимо создавать узлы.

  • nsxt
    объект

    Поддержка cloud controller manager’ом балансировщиков (LoadBalancer) в Vsphere через NSX-T.

    • nsxt.defaultIpPoolName
      строка

      Обязательный параметр

      Имя пула IP-адресов по умолчанию, который используется, если в SVC не установлена аннотация loadbalancer.vmware.io/class.

      Пример:

      1defaultIpPoolName: pool1
    • nsxt.defaultTcpAppProfileName
      строка

      Имя профиля по умолчанию, используемого для TCP-соединений в NSX-T.

      По умолчанию: "default-tcp-lb-app-profile"

      Примеры:

      1defaultTcpAppProfileName: default-tcp-lb-app-profile

      1defaultTcpAppProfileName: tcp-profile1
    • nsxt.defaultUdpAppProfileName
      строка

      Имя профиля по умолчанию, используемого для UDP-соединений в NSX-T.

      По умолчанию: "default-udp-lb-app-profile"

      Примеры:

      1defaultUdpAppProfileName: default-udp-lb-app-profile

      1defaultUdpAppProfileName: udp-profile1
    • nsxt.host
      строка

      Обязательный параметр

      Адрес NSX-T.

      Пример:

      1host: 1.2.3.4
    • nsxt.insecureFlag
      булевый

      Должен быть установлен в true, если NSX-T использует самоподписанный сертификат.

      Примеры:

      1insecureFlag: true

      1insecureFlag: false
    • nsxt.loadBalancerClass
      массив

      Дополнительная секция, определяющая классы балансировщика (LoadBalancer Class) (чтобы использовать класс, установите аннотацию loadbalancer.vmware.io/class: <ИМЯ КЛАССА> на SVC).

      Примеры:

      1loadBalancerClass: []

      1loadBalancerClass:
2  name: LBC1
3  ipPoolName: pool2

      1loadBalancerClass:
2  name: LBC1
3  ipPoolName: pool2
4  tcpAppProfileName: profile2
5  udpAppProfileName: profile3
      • nsxt.loadBalancerClass.ipPoolName
        строка

        Обязательный параметр

        Имя пула IP-адресов.

      • nsxt.loadBalancerClass.name
        строка

        Обязательный параметр

        Имя класса балансировщика (LoadBalancer Class) для установки аннотации loadbalancer.vmware.io/class: <ИМЯ КЛАССА> в SVC.

      • nsxt.loadBalancerClass.tcpAppProfileName
        строка

        Имя профиля по умолчанию, используемого для TCP-соединений.

        По умолчанию: "defaultTcpAppProfileName"

      • nsxt.loadBalancerClass.udpAppProfileName
        строка

        Имя профиля по умолчанию, используемого для UDP-соединений.

        По умолчанию: "defaultUdpAppProfileName"

    • nsxt.password
      строка

      Обязательный параметр

      Пароль пользователя NSX-T.

      Пример:

      1password: password
    • nsxt.size
      строка

      Размер сервиса балансировщика (LoadBalancer).

      По умолчанию: "MEDIUM"

      Допустимые значения: SMALL, MEDIUM, LARGE, XLARGE

      Пример:

      1size: SMALL
    • nsxt.tier1GatewayPath
      строка

      Обязательный параметр

      Путь к политике NSX-T tier1 gateway.

      Пример:

      1tier1GatewayPath: "/path/tier1"
    • nsxt.user
      строка

      Обязательный параметр

      Имя пользователя NSX-T.

      Пример:

      1user: user
  • provider
    объект

    Обязательный параметр

    Параметры подключения к vCenter.

    • provider.insecure
      булевый

      Установите true, если vCenter использует самоподписанный сертификат.

      По умолчанию: false

    • provider.password
      строка

      Обязательный параметр

      Пароль.

    • provider.server
      строка

      Обязательный параметр

      Хост или IP-адрес vCenter сервера.

    • provider.username
      строка

      Обязательный параметр

      Login ID.

  • region
    строка

    Обязательный параметр

    Тег, прикрепленный к vSphere Datacenter, в котором будут происходить все операции: заказ виртуальных машин, размещение их дисков на datastore, подключение к network.

  • regionTagCategory
    строка

    Обязательный параметр

    Имя категории тегов, использующихся для идентификации региона (vSphere Datacenter).

    По умолчанию: "k8s-region"

  • sshPublicKey
    строка

    Обязательный параметр

    Публичный ключ для доступа на узлы.

  • useNestedResourcePool
    булевый

    Создание вложенного пула (true) или использование основного пула (false).

    По умолчанию: true

  • vmFolderExists
    булевый

    Установите значение в true, если путь заданный в vmFolderPath существует. Установка более одного кластера в папку невозможна.

    По умолчанию: false

  • vmFolderPath
    строка

    Обязательный параметр

    Путь до VirtualMachine Folder, в котором будут создаваться склонированные виртуальные машины.

    Пример:

    1vmFolderPath: dev/test
  • zoneTagCategory
    строка

    Обязательный параметр

    Имя категории тегов, использующихся для идентификации зоны (vSphere Cluster).

    По умолчанию: "k8s-zone"

  • zones
    массив строк

    Обязательный параметр

    Глобальное ограничение набора зон, с которыми работает данный cloud-провайдер.