Стадия жизненного цикла модуля: Experimental
У модуля есть требования для установки
Перед включением модуля необходимо разрешить использование экспериментальных модулей в ModuleConfig deckhouse. Для этого установите параметр allowExperimentalModules в true.
Выбор режима работы Ironic
Ironic управляет питанием серверов через их контроллеры управления (BMC) и устанавливает на серверы операционную систему. Модуль может сам развернуть Ironic в кластере или подключиться к Ironic, который развёрнут вне кластера. Режим работы с Ironic задаётся в параметре nodes.parameters.ironic.
Чтобы развернуть Ironic в кластере, задайте параметры provisioningNetwork и dhcp. Чтобы подключиться к внешнему Ironic, задайте параметр externalInstance. Параметры разных режимов нельзя указать одновременно.
Ironic в кластере
Ironic использует сетевые интерфейсы узла, на котором он запущен. Модуль не закрепляет Ironic за определённым узлом, поэтому к сети подготовки серверов, в которой серверы загружаются по PXE, должен быть подключён каждый узел, на котором может запуститься Ironic. Укажите имя сетевого интерфейса, подключённого к этой сети, в параметре provisioningNetwork.interface.
В параметре provisioningNetwork.ipAddress укажите свободный IPv4-адрес в сети подготовки серверов. Ironic сам назначает этот адрес интерфейсу и принимает на нём подключения на следующих TCP-портах:
| Порт | Назначение |
|---|---|
6180 |
HTTP-сервер с образами для загрузки серверов |
6385 |
API Ironic |
6183 |
HTTPS-сервер виртуальных носителей, если включён TLS |
8084 |
HTTPS-сервер для iPXE, если включён TLS |
Для загрузки по PXE серверы получают сетевые настройки от DHCP-сервера. Чтобы Ironic сам выдавал серверам адреса, задайте параметр dhcp.internal с подсетью и диапазоном адресов. Если в сети подготовки серверов уже работает DHCP-сервер, задайте параметр dhcp.external и настройте загрузку по PXE на этом DHCP-сервере самостоятельно.
Во время подготовки серверы загружаются со служебного образа Ironic Python Agent (IPA). По умолчанию используется встроенный образ IPA, на который указывает ресурс BareMetalRamdiskImage baremetal-default-ramdisk. Этот ресурс модуль создаёт сам. Чтобы использовать другой образ, создайте свой ресурс BareMetalRamdiskImage и укажите его имя в параметре ramdiskImageRef.
Внешний Ironic
В этом режиме модуль не разворачивает Ironic и DHCP-сервер в кластере, а загрузку серверов по сети обеспечивает внешний Ironic. Укажите адрес его API в параметре externalInstance.endpoint. Адрес должен заканчиваться на /v1 или /v1/.
Если API требует аутентификации, создайте секрет с учётными данными в неймспейсе d8-infra-provider-baremetal и укажите его в параметре externalInstance.credentialsRef.
Чтобы при подключении проверялся сертификат API Ironic, укажите сертификат CA в параметре externalInstance.tls.caCertRef. Если Ironic требует клиентский сертификат, укажите его в параметре externalInstance.tls.clientCertRef.
Модуль не передаёт во внешний Ironic сертификаты CA для BMC, а для ресурсов BareMetalInstance с параметром spec.bmc.tls.caCertRef выводит ошибку и не создаёт BareMetalHost. Настройте доверие к сертификатам BMC в самом внешнем Ironic.
Инициализация узлов Kubernetes
Модуль развёртывает свой Cloud Controller Manager как для встроенного, так и для внешнего Ironic. CCM сопоставляет Node с CAPI Machine, Metal3Machine и BareMetalHost, устанавливает Metal3 providerID и снимает node.cloudprovider.kubernetes.io/uninitialized после инициализации. Тейнт инициализации bashible CCM не снимает.
Шаг bashible на уровне модуля публикует внутренний IP-адрес установленной ОС для CCM. При первой загрузке он использует исходный адрес маршрута к control plane. Адреса, собранные IPA при инвентаризации, не используются как адреса узлов: сеть подготовки серверов может отличаться от сети узлов. Образы ОС должны поддерживать cloud-init и применять имя узла из Metal3DataTemplate.
Регистрация физических серверов
Чтобы на сервере можно было создать узел, опишите сервер в ресурсе BareMetalInstance. BareMetalInstance — кластерный ресурс: в его манифесте не нужно указывать metadata.namespace. Неймспейс секрета с учётными данными BMC укажите в spec.bmc.credentialsRef.namespace. Если он не указан, используется d8-infra-provider-baremetal.
Требования к секрету с учётными данными приведены в описании параметра spec.bmc.credentialsRef.
Подключение к BMC
Адрес BMC задаётся в параметре spec.bmc.ipAddress. Модуль подключается к BMC по протоколу Redfish или IPMI. Он проверяет протоколы в следующем порядке и использует первый, через который удалось найти сервер:
- Redfish по HTTPS.
- Redfish по HTTP, если параметр
spec.bmc.allowHTTPимеет значениеtrue. - IPMI.
По умолчанию модуль использует порт 443 для Redfish по HTTPS, порт 80 для Redfish по HTTP и порт 623 для IPMI. Если BMC принимает подключения на другом порту, укажите его в параметре spec.bmc.port. В этом случае модуль использует указанный порт для всех протоколов. Тайм-аут каждой проверки задаётся параметром bmcProbeTimeoutSeconds в настройках модуля.
В параметре spec.bmc.systemUUID укажите UUID сервера, который сообщает его BMC. По этому UUID модуль выбирает сервер среди всех серверов, которыми управляет BMC. Если сервера с таким UUID нет, модуль выводит ошибку и не регистрирует сервер.
Модуль проверяет сертификат BMC по системным корневым сертификатам. Если сертификат BMC выпущен собственным CA, создайте секрет с сертификатом CA в формате PEM в неймспейсе d8-infra-provider-baremetal и укажите его в параметре spec.bmc.tls.caCertRef. Ironic в кластере использует общий набор сертификатов CA из всех ресурсов BareMetalInstance, поэтому сертификат CA, указанный для одного сервера, действует при подключении к BMC любого сервера.
Параметры сервера
В параметре spec.bootMACAddress укажите MAC-адрес сетевого интерфейса, через который сервер загружается по PXE. Если на сервере несколько дисков, укажите признаки системного диска в параметре spec.rootDeviceHints.
Добавьте ресурсу BareMetalInstance лейблы, по которым инстанс-класс будет выбирать сервер для узлов. Правила выбора задаются в параметре hostSelector инстанс-класса.
Проверка состояния серверов
Чтобы проверить состояние серверов, выполните команду:
d8 k get baremetalinstances
Пример вывода:
NAME BMC BOOT MAC STATE DESIRED ONLINE POWERED ON ERROR AGE
worker-01 192.168.201.32 f0:3f:03:01:1d:22 available false false 15m
Сервер готов к созданию узла, когда в колонке STATE отображается available. Если модулю не удалось подключиться к BMC или подготовить ресурсы для сервера, в колонке ERROR отображается сообщение об ошибке. Основные сообщения об ошибках:
| Сообщение | Описание |
|---|---|
BMC credentials are invalid or unavailable. |
Секрет с учётными данными не найден, имеет другой тип или не содержит нужных ключей |
Unable to resolve the BMC endpoint. |
BMC недоступен ни по одному протоколу, не принимает учётные данные или не сообщает сервер с указанным systemUUID |
Unable to synchronize the BMC CA certificate. |
Секрет с сертификатом CA не найден или не содержит сертификат CA в формате PEM, либо Ironic в кластере ещё не создан |
BMC CA certificates are not supported with an external Ironic instance. |
Параметр spec.bmc.tls.caCertRef задан при подключении к внешнему Ironic |
Unable to synchronize the BMC credentials Secret. |
Не удалось создать или обновить служебный секрет с учётными данными BMC |
Unable to synchronize the physical host. |
Не удалось создать или обновить ресурс BareMetalHost для сервера |
A generated resource with the required name is owned by another object. |
Ресурс BareMetalHost или служебный секрет для этого сервера уже существует и принадлежит другому ресурсу BareMetalInstance или создан вручную |
Создание узлов
Модуль node-manager создаёт узлы на физических серверах в группах узлов с типом CloudEphemeral. Для таких групп нужны ресурс BareMetalImage с образом операционной системы и ресурс BareMetalInstanceClass с параметрами узлов.
Ironic устанавливает на сервер образ из ресурса BareMetalImage, поэтому образ должен соответствовать требованиям модуля. Инстанс-класс ссылается на образ и выбирает серверы по лейблам ресурсов BareMetalInstance.
Параметры spec.direct ресурса BareMetalImage неизменяемы. Чтобы обновить образ операционной системы, создайте BareMetalImage с новым именем и измените imageRef в инстанс-классе. Это запустит обновление узлов групп, использующих этот инстанс-класс.
Если группа узлов может масштабироваться с нуля (параметр minPerZone равен 0), укажите ресурсы процессора и памяти сервера в параметре capacity инстанс-класса. Cluster autoscaler использует эти значения, пока в группе нет ни одного узла. Без них в статусе группы узлов появляется ошибка Capacity calculation failed.
Чтобы создать узлы, создайте группу узлов (NodeGroup) с типом CloudEphemeral и укажите инстанс-класс в параметре cloudInstances.classReference. Для физических серверов используется одна зона default, поэтому параметр cloudInstances.zones можно не указывать.
Узлы группы пересоздаются, если изменить один из следующих параметров:
- ссылку на образ в параметре
imageRef; - параметр
hostSelector; - параметр
disableAutomatedCleaning; - параметр
nodeReuse.
Включение TLS для загрузки серверов
По умолчанию серверы загружают образы и обращаются к Ironic по HTTP. Защитить этот трафик с помощью TLS можно только в режиме Ironic в кластере со встроенным DHCP-сервером (параметр dhcp.internal). Если задать параметры TLS вместе с параметром dhcp.external, модуль не создаёт Ironic.
Для TLS подготовьте следующие ресурсы:
- Секрет с сертификатом Ironic. Требования к секрету приведены в описании параметра
provisioningTLS.certificateRef. Сертификат должен быть выпущен для адреса из параметраprovisioningNetwork.ipAddress. - Ресурс BareMetalRamdiskImage с образом IPA.
- Ресурс BareMetalIPXEFirmware с прошивками iPXE для BIOS и UEFI x86_64. Прошивки должны доверять CA из ключа
ca.crtсекрета, так как iPXE загружает файлы с Ironic по HTTPS. Сами прошивки должны быть доступны по HTTPS на сервере, сертификат которого выпущен этим же CA.
Укажите эти ресурсы в параметрах provisioningTLS.certificateRef, ramdiskImageRef и ipxeFirmwareRef. Модуль создаёт Ironic, только когда все три ресурса существуют и секрет соответствует требованиям.
Не удаляйте ресурсы, указанные в параметрах TLS, пока эти параметры заданы. Если какой-либо из ресурсов станет недоступен, модуль удалит Ironic, и загрузка серверов остановится.
Пример настройки TLS приведён на странице «Примеры».