Доступно в редакциях:  Open/CE, BE, SE, SE+, Ultimate/EE, Core

Стадия жизненного цикла модуля: General Availability

Учётные данные для доступа к API Yandex Cloud Deckhouse Platform читает из секрета d8-credentials, формат которого описан в разделе «Секрет с учётными данными».

При изменении настроек модуля существующие объекты Machine не пересоздаются, с новыми параметрами создаются только новые объекты. Узлы пересоздаются при изменении параметров NodeGroup и YandexInstanceClass. Как пересоздать узлы вручную, описано в разделе «Как пересоздать эфемерные машины в облаке с новой конфигурацией?».

В модуле реализовано 4 алерта.

Как явно включить или отключить модуль...

Явно включить или выключить модуль можно одним из следующих способов:

  • С помощью веб-интерфейса Deckhouse. В разделе «Система» → «Управление системой» → «Deckhouse» → «Модули», откройте модуль cloud-provider-yandex, включите (или выключите) переключатель «Модуль включен». Сохраните изменения.

    Пример:

    Интерфейс включения и выключения модуля

  • С помощью Deckhouse CLI (d8).

    Используйте команду d8 system module enable для включения модуля, или d8 system module disable для выключения модуля (требуется Deckhouse CLI (d8), настроенный на работу с кластером).

    Пример включения модуля cloud-provider-yandex:

    d8 system module enable cloud-provider-yandex
    
  • С помощью ModuleConfig cloud-provider-yandex.

    Установите spec.enabled в true или false в ModuleConfig cloud-provider-yandex (создайте его, при необходимости).

    Пример манифеста для включения модуля cloud-provider-yandex:

    apiVersion: deckhouse.io/v1alpha1
    kind: ModuleConfig
    metadata:
      name: cloud-provider-yandex
    spec:
      enabled: true
    

Как настроить модуль...

Настроить модуль можно одним из следующих способов:

  • С помощью веб-интерфейса Deckhouse.

    В разделе «Система» → «Управление системой» → «Deckhouse» → «Модули», откройте модуль cloud-provider-yandex, включите переключатель «Дополнительные настройки». Заполните необходимые поля формы на вкладке «Конфигурация», или укажите настройки модуля в формате YAML на вкладке «YAML», не включая секцию settings. Сохраните изменения.

    Пример:

    Интерфейс настройки модуля

    Вы также можете отредактировать объект ModuleConfig cloud-provider-yandex на вкладке «YAML» в окне настроек модуля («Система» → «Управление системой» → «Deckhouse» → «Модули», откройте модуль cloud-provider-yandex), указав версию схемы в параметре spec.version и необходимые параметры модуля в секции spec.settings.

  • С помощью Deckhouse CLI (d8) (требуется Deckhouse CLI (d8), настроенный на работу с кластером).

    Отредактируйте существующий ModuleConfig cloud-provider-yandex (подробнее о настройке Deckhouse читайте в документации), выполнив следующую команду:

    d8 k edit mc cloud-provider-yandex
    

    Внесите необходимые изменения в секцию spec.settings. При необходимости укажите версию схемы в параметре spec.version. Сохраните изменения.

    Вы также можете создать файл манифеста ModuleConfig cloud-provider-yandex, используя пример ниже. Заполните секцию spec.settings необходимыми параметрами модуля. При необходимости укажите версию схемы в параметре spec.version.

    Примените манифест с помощью следующей команды (укажите имя файла манифеста):

    d8 k apply -f <FILENAME>
    

    Пример файла манифеста ModuleConfig cloud-provider-yandex:

    apiVersion: deckhouse.io/v1alpha1
    kind: ModuleConfig
    metadata:
      name: cloud-provider-yandex
    spec:
      version: 2
      enabled: true
      settings: # Параметры модуля из раздела "Параметры" ниже.
    

Конверсии

Модуль настраивается с помощью ресурса ModuleConfig, схема которого содержит номер версии. При применении в кластере старой версии схемы ModuleConfig выполняются автоматические преобразования. Чтобы обновить версию схемы ModuleConfig вручную, необходимо последовательно для каждой версии выполнить следующие действия :

Конфигурация модуля

Все настройки провайдера, кроме учётных данных, задаются в ресурсе ModuleConfig модуля. Платформа применяет их и при создании кластера, и в работающем кластере.

Настройки сгруппированы по четырём параметрам верхнего уровня:

  • provider задаёт идентификаторы облака и каталога Yandex Cloud, параметр обязателен;
  • nodes задаёт схему размещения, параметры сети и создаваемых узлов, параметр обязателен;
  • storage задаёт StorageClass, которые создаёт модуль;
  • ccm задаёт работу cloud controller manager.

Подсистемы узлов, хранения данных и cloud controller manager отключаются вложенным параметром disabled.

Пример конфигурации модуля с настройками провайдера, узлов, хранилища и cloud controller manager:

apiVersion: deckhouse.io/v1alpha1
kind: ModuleConfig
metadata:
  name: cloud-provider-yandex
spec:
  version: 2
  enabled: true
  settings:
    provider:
      parameters:
        cloudID: <CLOUD_ID>
        folderID: <FOLDER_ID>
    nodes:
      parameters:
        layout: Standard
        nodeNetworkCIDR: 10.241.32.0/20
        sshPublicKey: <SSH_PUBLIC_KEY>
    storage:
      parameters:
        excludedStorageClasses:
          - network-hdd
    ccm:
      parameters:
        additionalExternalNetworkIDs:
          - enp6t4snovl2ko4p15em

Где:

  • CLOUD_ID и FOLDER_ID — идентификаторы облака и каталога Yandex Cloud;
  • SSH_PUBLIC_KEY — публичный SSH-ключ для доступа к узлам.

Параметры виртуальных машин задаются в ресурсе YandexInstanceClass, на который ссылается NodeGroup.

Storage

Модуль автоматически создаёт StorageClass для всех типов дисков Yandex Cloud:

Тип Имя StorageClass Примечание
network-hdd network-hdd  
network-ssd network-ssd  
network-ssd-nonreplicated network-ssd-nonreplicated Размер дисков должен быть кратен 93 ГБ
network-ssd-io-m3 network-ssd-io-m3 Размер дисков должен быть кратен 93 ГБ

Вы можете отфильтровать ненужные StorageClass с помощью параметра excludedStorageClasses.

Параметр provisionedStorageClasses позволяет создавать дополнительные StorageClass или переопределять параметры StorageClass, создаваемых модулем по умолчанию.

С помощью параметра blockSize можно задать размер блока для создаваемых дисков. От размера блока зависит максимальный размер диска. Для значения 4Ki он составляет 8Ti и удваивается с каждым следующим размером блока, вплоть до 256Ti при 128Ki.

Пример конфигурации модуля cloud-provider-yandex с дополнительным StorageClass, для которого задан размер блока 64Ki:

apiVersion: deckhouse.io/v1alpha1
kind: ModuleConfig
metadata:
  name: cloud-provider-yandex
spec:
  version: 2
  enabled: true
  settings:
    provider:
      parameters:
        cloudID: <CLOUD_ID>
        folderID: <FOLDER_ID>
    nodes:
      parameters:
        layout: Standard
        nodeNetworkCIDR: 192.168.12.0/24
        sshPublicKey: <SSH_PUBLIC_KEY>
    storage:
      parameters:
        provisionedStorageClasses:
          - name: network-ssd-64k
            type: network-ssd
            blockSize: 64Ki

После создания диска изменить размер его блока нельзя. Изменение параметра blockSize приводит к пересозданию StorageClass, но не изменяет размер блока у ранее созданных томов.

LoadBalancer

Модуль отслеживает объекты Service с типом LoadBalancer и создаёт для них сетевой балансировщик и целевую группу в Yandex Cloud. Аннотации, которыми настраивается балансировщик, перечислены в разделе «Аннотации объекта Service».

Больше информации в документации Kubernetes Cloud Controller Manager for Yandex Cloud.

Параметры

Версия схемы: 2

  • settings
    объект
    • settings.ccm
      объект

      Настройки подсистемы Cloud Controller Manager (CCM).

      CCM создаёт Network Load Balancer и целевые группы для Service с типом LoadBalancer, поддерживает маршруты до подсетей подов в таблице маршрутизации и обновляет метаданные узлов.

      • settings.ccm.disabled
        булевый

        Отключает Cloud Controller Manager.

        При значении true кластер не управляет балансировщиками нагрузки и маршрутами в Yandex Cloud.

        По умолчанию: false

      • settings.ccm.parameters
        объект

        Обязательный параметр

        Параметры подсистемы Cloud Controller Manager.

        • settings.ccm.parameters.additionalExternalNetworkIDs
          массив строк

          Дополнительные ID внешних сетей, которые будут распознаваться CCM как внешние сети.

        • settings.ccm.parameters.additionalInternalNetworkIDs
          массив строк

          Дополнительные ID внутренних сетей, которые будут распознаваться CCM как внутренние сети.

    • settings.nodes
      объект

      Обязательный параметр

      Настройки подсистемы узлов.

      Подсистема описывает инфраструктуру, в которой создаются узлы кластера, включая схему размещения, сети, зоны и публичный SSH-ключ.

      • settings.nodes.disabled
        булевый

        Отключает подсистему узлов.

        При значении true кластер не создаёт узлы в Yandex Cloud, а cloud controller manager не запускается.

        По умолчанию: false

      • settings.nodes.parameters
        объект

        Обязательный параметр

        Параметры подсистемы узлов.

        • settings.nodes.parameters.dhcpOptions
          объект

          Список DHCP-опций, которые будут установлены на все подсети.

          Параметр может нарушить разрешение имён на узлах. Признаки и способы решения описаны в разделе «Проблемы DHCPOptions и пути их решения».

          • settings.nodes.parameters.dhcpOptions.domainName
            строка

            Домен, который узел добавляет к неполному имени хоста при разрешении имён.

          • settings.nodes.parameters.dhcpOptions.domainNameServers
            массив строк

            Список адресов рекурсивных DNS.

        • settings.nodes.parameters.existingNetworkID
          строка

          ID существующей VPC Network.

        • settings.nodes.parameters.existingRouteTableID
          строка

          ID существующей таблицы маршрутизации, привязанной к подсетям.

          Обычно значение формируется, когда DP создаёт инфраструктуру. Задайте параметр явно в кластере, где DP инфраструктуру не создаёт, например в кластере со статичными master-узлами, в который добавляются эфемерные узлы в Yandex Cloud.

        • settings.nodes.parameters.existingZoneToSubnetIDMap
          объект

          Одна или несколько ранее существовавших подсетей, сопоставленных с соответствующей зоной.

          Внимание. С модулем cni-simple-bridge DP создаёт таблицу маршрутизации, которую нужно вручную привязать к перечисленным подсетям. К подсети привязывается только одна таблица маршрутизации, поэтому два кластера с cni-simple-bridge не могут использовать одни и те же подсети. Начиная с DP 1.76 новые кластеры в Yandex Cloud используют модуль cni-cilium в режиме VXLAN, в котором маршрутизация трафика подов не зависит от таблиц маршрутизации Yandex Cloud.

        • settings.nodes.parameters.externalIPAddresses
          объект

          Внешние IP-адреса для каждой группы узлов.

          Ключ — имя группы узлов (например, system, master, worker), значение — список внешних IP-адресов для узлов этой группы, перечисленных в порядке зон, в которых будут создаваться узлы.

          В списке можно указывать следующие значения:

        • settings.nodes.parameters.externalSubnetIDs
          объект

          ID дополнительных внешних сетей для каждой группы узлов.

          Ключ — имя группы узлов (например, system, master, worker), значение — список ID внешних подсетей для узлов этой группы, перечисленных в порядке зон, в которых будут создаваться узлы.

        • settings.nodes.parameters.labels
          объект

          Лейблы, проставляемые на ресурсы, создаваемые в Yandex Cloud.

          Если поменять лейблы в рабочем кластере, после применения изменений необходимо пересоздать все машины.

        • settings.nodes.parameters.layout
          строка

          Обязательный параметр

          Название схемы размещения.

          Доступные схемы размещения описаны в разделе «Схемы размещения».

          Допустимые значения: Standard, WithoutNAT, WithNATInstance

        • settings.nodes.parameters.nodeNetworkCIDR
          строка

          Обязательный параметр

          Диапазон IP-адресов для подсетей узлов.

          Deckhouse Platform делит диапазон на четыре равные части:

          • ru-central1-a использует первую часть.
          • ru-central1-b использует вторую часть.
          • ru-central1-e использует третью часть.
          • ru-central1-d использует четвёртую часть.

          Как использовать зону ru-central1-f, описано в разделе «Использование зоны ru-central1-f».

        • settings.nodes.parameters.sshPublicKey
          строка

          Обязательный параметр

          Публичный ключ для доступа на узлы.

        • settings.nodes.parameters.withNATInstance
          объект

          Настройки для схемы размещения WithNATInstance.

          • settings.nodes.parameters.withNATInstance.externalSubnetID
            строка

            Подключаемый к узлу дополнительный сетевой интерфейс, в который будет идти маршрут по умолчанию.

          • settings.nodes.parameters.withNATInstance.internalSubnetCIDR
            строка

            CIDR автоматически создаваемой подсети для внутреннего интерфейса. Имеет приоритет над параметром internalSubnetID.

          • settings.nodes.parameters.withNATInstance.internalSubnetID
            строка

            ID подсети для внутреннего интерфейса.

          • settings.nodes.parameters.withNATInstance.natInstanceExternalAddress
            строка

            Внешний зарезервированный IP-адрес. Если задан параметр externalSubnetID, укажите адрес из этой подсети.

            Шаблон: ^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$

          • settings.nodes.parameters.withNATInstance.natInstanceInternalAddress
            строка

            Внутренний IP-адрес NAT-инстанса. Чтобы адрес назначил Yandex Cloud, не задавайте этот параметр.

            Шаблон: ^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$

          • settings.nodes.parameters.withNATInstance.natInstanceResources
            объект

            Вычислительные ресурсы, выделяемые для NAT-инстанса. Если параметр не указан, используются значения по умолчанию.

            Внимание. При изменении этих параметров модуль terraform-manager перезапускает NAT-инстанс автоматически, если параметр autoConvergerEnabled имеет значение true. Перезапуск на короткое время прерывает сетевой трафик в кластере.

            • settings.nodes.parameters.withNATInstance.natInstanceResources.cores
              целочисленный

              Количество ядер у создаваемого NAT-инстанса.

              По умолчанию: 2

            • settings.nodes.parameters.withNATInstance.natInstanceResources.memory
              целочисленный

              Количество оперативной памяти (в мегабайтах) у создаваемого NAT-инстанса.

              По умолчанию: 2048

            • settings.nodes.parameters.withNATInstance.natInstanceResources.platform
              строка

              Тип платформы процессора у создаваемого NAT-инстанса.

              По умолчанию: standard-v2

        • settings.nodes.parameters.zones
          массив строк

          Ограничивает набор зон, в которых облачный провайдер размещает узлы кластера.

          Можно указать не более четырёх зон. Если параметр не задан, Deckhouse Platform использует ru-central1-a, ru-central1-b, ru-central1-d и ru-central1-e.

          Как использовать зону ru-central1-f, описано в разделе «Использование зоны ru-central1-f».

          • Элемент массива
            строка

            Допустимые значения: ru-central1-a, ru-central1-b, ru-central1-d, ru-central1-e, ru-central1-f

    • settings.provider
      объект

      Обязательный параметр

      Настройки подключения к Yandex Cloud.

      Ключ сервисного аккаунта провайдер читает из секрета d8-credentials.

      • settings.provider.parameters
        объект

        Обязательный параметр

        Содержит настройки для подключения к API Yandex Cloud.

        • settings.provider.parameters.cloudID
          строка

          Обязательный параметр

          Идентификатор облака.

        • settings.provider.parameters.folderID
          строка

          Обязательный параметр

          Идентификатор директории.

    • settings.storage
      объект

      Настройки подсистемы хранения данных.

      Подсистема отвечает за CSI-драйвер и StorageClass для типов дисков Yandex Cloud.

      • settings.storage.disabled
        булевый

        Отключает подсистему хранения данных.

        При значении true заказ дисков в кластере недоступен.

        По умолчанию: false

      • settings.storage.parameters
        объект

        Обязательный параметр

        Параметры подсистемы хранения данных.

        • settings.storage.parameters.excludedStorageClasses
          массив строк

          Список StorageClass, исключаемых из использования в кластере.

          Каждый элемент задаёт регулярное выражение, которое сопоставляется с именем StorageClass целиком. Например, network-ssd исключает только StorageClass network-ssd, а network-ssd.* исключает все StorageClass, имя которых начинается с network-ssd.

          Список применяется после параметра provisionedStorageClasses, поэтому исключает и заданные в нём StorageClass.

        • settings.storage.parameters.provisionedStorageClasses
          массив объектов

          Определяет дополнительные StorageClass или переопределяет параметры создаваемых по умолчанию.

          Создаваемый по умолчанию StorageClass переопределяется, если его имя точно совпадает со значением поля name.

          • settings.storage.parameters.provisionedStorageClasses.blockSize
            строка

            Размер блока дисков, создаваемых этим StorageClass.

            Если параметр не указан, используется размер блока по умолчанию для Yandex Cloud — 4Ki.

            Размер блока определяет максимальный размер сетевого диска: для блока 4Ki он составляет 8Ti, а при каждом следующем увеличении размера блока удваивается — вплоть до 256Ti для блока 128Ki.

            После создания диска изменить размер его блока нельзя. Изменение параметра blockSize приводит к пересозданию StorageClass, но не изменяет размер блока у ранее созданных томов.

            Подробнее в официальной документации Yandex Cloud.

            Допустимые значения: 4Ki, 8Ki, 16Ki, 32Ki, 64Ki, 128Ki

          • settings.storage.parameters.provisionedStorageClasses.name
            строка

            Обязательный параметр

            Имя создаваемого StorageClass.

          • settings.storage.parameters.provisionedStorageClasses.type
            строка

            Обязательный параметр

            Тип диска.

            Допустимые значения: network-hdd, network-ssd, network-ssd-nonreplicated, network-ssd-io-m3