Стадия жизненного цикла модуля: Experimental

У модуля есть требования для установки

Перед включением модуля необходимо разрешить использование экспериментальных модулей в ModuleConfig deckhouse. Для этого установите параметр allowExperimentalModules в true.

Выбор режима работы Ironic

Ironic управляет питанием серверов через их контроллеры управления (BMC) и устанавливает на серверы операционную систему. Модуль может сам развернуть Ironic в кластере или подключиться к Ironic, который развёрнут вне кластера. Режим работы с Ironic задаётся в параметре nodes.parameters.ironic.

Чтобы развернуть Ironic в кластере, задайте параметры provisioningNetwork и dhcp. Чтобы подключиться к внешнему Ironic, задайте параметр externalInstance. Параметры разных режимов нельзя указать одновременно.

Ironic в кластере

Ironic использует сетевые интерфейсы узла, на котором он запущен. Модуль не закрепляет Ironic за определённым узлом, поэтому к сети подготовки серверов, в которой серверы загружаются по PXE, должен быть подключён каждый узел, на котором может запуститься Ironic. Укажите имя сетевого интерфейса, подключённого к этой сети, в параметре provisioningNetwork.interface.

В параметре provisioningNetwork.ipAddress укажите свободный IPv4-адрес в сети подготовки серверов. Ironic сам назначает этот адрес интерфейсу и принимает на нём подключения на следующих TCP-портах:

Порт Назначение
6180 HTTP-сервер с образами для загрузки серверов
6385 API Ironic
6183 HTTPS-сервер виртуальных носителей, если включён TLS
8084 HTTPS-сервер для iPXE, если включён TLS

Для загрузки по PXE серверы получают сетевые настройки от DHCP-сервера. Чтобы Ironic сам выдавал серверам адреса, задайте параметр dhcp.internal с подсетью и диапазоном адресов. Если в сети подготовки серверов уже работает DHCP-сервер, задайте параметр dhcp.external и настройте загрузку по PXE на этом DHCP-сервере самостоятельно.

Во время подготовки серверы загружаются со служебного образа Ironic Python Agent (IPA). По умолчанию используется встроенный образ IPA, на который указывает ресурс BareMetalRamdiskImage baremetal-default-ramdisk. Этот ресурс модуль создаёт сам. Чтобы использовать другой образ, создайте свой ресурс BareMetalRamdiskImage и укажите его имя в параметре ramdiskImageRef.

Внешний Ironic

В этом режиме модуль не разворачивает Ironic и DHCP-сервер в кластере, а загрузку серверов по сети обеспечивает внешний Ironic. Укажите адрес его API в параметре externalInstance.endpoint. Адрес должен заканчиваться на /v1 или /v1/.

Если API требует аутентификации, создайте секрет с учётными данными в неймспейсе d8-infra-provider-baremetal и укажите его в параметре externalInstance.credentialsRef.

Чтобы при подключении проверялся сертификат API Ironic, укажите сертификат CA в параметре externalInstance.tls.caCertRef. Если Ironic требует клиентский сертификат, укажите его в параметре externalInstance.tls.clientCertRef.

Модуль не передаёт во внешний Ironic сертификаты CA для BMC, а для ресурсов BareMetalInstance с параметром spec.bmc.tls.caCertRef выводит ошибку и не создаёт BareMetalHost. Настройте доверие к сертификатам BMC в самом внешнем Ironic.

Инициализация узлов Kubernetes

Модуль развёртывает свой Cloud Controller Manager как для встроенного, так и для внешнего Ironic. CCM сопоставляет Node с CAPI Machine, Metal3Machine и BareMetalHost, устанавливает Metal3 providerID и снимает node.cloudprovider.kubernetes.io/uninitialized после инициализации. Тейнт инициализации bashible CCM не снимает.

Шаг bashible на уровне модуля публикует внутренний IP-адрес установленной ОС для CCM. При первой загрузке он использует исходный адрес маршрута к control plane. Адреса, собранные IPA при инвентаризации, не используются как адреса узлов: сеть подготовки серверов может отличаться от сети узлов. Образы ОС должны поддерживать cloud-init и применять имя узла из Metal3DataTemplate.

Регистрация физических серверов

Чтобы на сервере можно было создать узел, опишите сервер в ресурсе BareMetalInstance. BareMetalInstance — кластерный ресурс: в его манифесте не нужно указывать metadata.namespace. Неймспейс секрета с учётными данными BMC укажите в spec.bmc.credentialsRef.namespace. Если он не указан, используется d8-infra-provider-baremetal.

Требования к секрету с учётными данными приведены в описании параметра spec.bmc.credentialsRef.

Подключение к BMC

Адрес BMC задаётся в параметре spec.bmc.ipAddress. Модуль подключается к BMC по протоколу Redfish или IPMI. Он проверяет протоколы в следующем порядке и использует первый, через который удалось найти сервер:

  1. Redfish по HTTPS.
  2. Redfish по HTTP, если параметр spec.bmc.allowHTTP имеет значение true.
  3. IPMI.

По умолчанию модуль использует порт 443 для Redfish по HTTPS, порт 80 для Redfish по HTTP и порт 623 для IPMI. Если BMC принимает подключения на другом порту, укажите его в параметре spec.bmc.port. В этом случае модуль использует указанный порт для всех протоколов. Тайм-аут каждой проверки задаётся параметром bmcProbeTimeoutSeconds в настройках модуля.

В параметре spec.bmc.systemUUID укажите UUID сервера, который сообщает его BMC. По этому UUID модуль выбирает сервер среди всех серверов, которыми управляет BMC. Если сервера с таким UUID нет, модуль выводит ошибку и не регистрирует сервер.

Модуль проверяет сертификат BMC по системным корневым сертификатам. Если сертификат BMC выпущен собственным CA, создайте секрет с сертификатом CA в формате PEM в неймспейсе d8-infra-provider-baremetal и укажите его в параметре spec.bmc.tls.caCertRef. Ironic в кластере использует общий набор сертификатов CA из всех ресурсов BareMetalInstance, поэтому сертификат CA, указанный для одного сервера, действует при подключении к BMC любого сервера.

Параметры сервера

В параметре spec.bootMACAddress укажите MAC-адрес сетевого интерфейса, через который сервер загружается по PXE. Если на сервере несколько дисков, укажите признаки системного диска в параметре spec.rootDeviceHints.

Добавьте ресурсу BareMetalInstance лейблы, по которым инстанс-класс будет выбирать сервер для узлов. Правила выбора задаются в параметре hostSelector инстанс-класса.

Проверка состояния серверов

Чтобы проверить состояние серверов, выполните команду:

d8 k get baremetalinstances

Пример вывода:

NAME        BMC              BOOT MAC            STATE       DESIRED ONLINE   POWERED ON   ERROR   AGE
worker-01   192.168.201.32   f0:3f:03:01:1d:22   available   false            false                15m

Сервер готов к созданию узла, когда в колонке STATE отображается available. Если модулю не удалось подключиться к BMC или подготовить ресурсы для сервера, в колонке ERROR отображается сообщение об ошибке. Основные сообщения об ошибках:

Сообщение Описание
BMC credentials are invalid or unavailable. Секрет с учётными данными не найден, имеет другой тип или не содержит нужных ключей
Unable to resolve the BMC endpoint. BMC недоступен ни по одному протоколу, не принимает учётные данные или не сообщает сервер с указанным systemUUID
Unable to synchronize the BMC CA certificate. Секрет с сертификатом CA не найден или не содержит сертификат CA в формате PEM, либо Ironic в кластере ещё не создан
BMC CA certificates are not supported with an external Ironic instance. Параметр spec.bmc.tls.caCertRef задан при подключении к внешнему Ironic
Unable to synchronize the BMC credentials Secret. Не удалось создать или обновить служебный секрет с учётными данными BMC
Unable to synchronize the physical host. Не удалось создать или обновить ресурс BareMetalHost для сервера
A generated resource with the required name is owned by another object. Ресурс BareMetalHost или служебный секрет для этого сервера уже существует и принадлежит другому ресурсу BareMetalInstance или создан вручную

Создание узлов

Модуль node-manager создаёт узлы на физических серверах в группах узлов с типом CloudEphemeral. Для таких групп нужны ресурс BareMetalImage с образом операционной системы и ресурс BareMetalInstanceClass с параметрами узлов.

Ironic устанавливает на сервер образ из ресурса BareMetalImage, поэтому образ должен соответствовать требованиям модуля. Инстанс-класс ссылается на образ и выбирает серверы по лейблам ресурсов BareMetalInstance.

Параметры spec.direct ресурса BareMetalImage неизменяемы. Чтобы обновить образ операционной системы, создайте BareMetalImage с новым именем и измените imageRef в инстанс-классе. Это запустит обновление узлов групп, использующих этот инстанс-класс.

Если группа узлов может масштабироваться с нуля (параметр minPerZone равен 0), укажите ресурсы процессора и памяти сервера в параметре capacity инстанс-класса. Cluster autoscaler использует эти значения, пока в группе нет ни одного узла. Без них в статусе группы узлов появляется ошибка Capacity calculation failed.

Чтобы создать узлы, создайте группу узлов (NodeGroup) с типом CloudEphemeral и укажите инстанс-класс в параметре cloudInstances.classReference. Для физических серверов используется одна зона default, поэтому параметр cloudInstances.zones можно не указывать.

Узлы группы пересоздаются, если изменить один из следующих параметров:

Включение TLS для загрузки серверов

По умолчанию серверы загружают образы и обращаются к Ironic по HTTP. Защитить этот трафик с помощью TLS можно только в режиме Ironic в кластере со встроенным DHCP-сервером (параметр dhcp.internal). Если задать параметры TLS вместе с параметром dhcp.external, модуль не создаёт Ironic.

Для TLS подготовьте следующие ресурсы:

  • Секрет с сертификатом Ironic. Требования к секрету приведены в описании параметра provisioningTLS.certificateRef. Сертификат должен быть выпущен для адреса из параметра provisioningNetwork.ipAddress.
  • Ресурс BareMetalRamdiskImage с образом IPA.
  • Ресурс BareMetalIPXEFirmware с прошивками iPXE для BIOS и UEFI x86_64. Прошивки должны доверять CA из ключа ca.crt секрета, так как iPXE загружает файлы с Ironic по HTTPS. Сами прошивки должны быть доступны по HTTPS на сервере, сертификат которого выпущен этим же CA.

Укажите эти ресурсы в параметрах provisioningTLS.certificateRef, ramdiskImageRef и ipxeFirmwareRef. Модуль создаёт Ironic, только когда все три ресурса существуют и секрет соответствует требованиям.

Не удаляйте ресурсы, указанные в параметрах TLS, пока эти параметры заданы. Если какой-либо из ресурсов станет недоступен, модуль удалит Ironic, и загрузка серверов остановится.

Пример настройки TLS приведён на странице «Примеры».