Модуль managed-kafka управляет инстансами Apache Kafka в Deckhouse Platform (DP). Apache Kafka — это распределённая платформа потоковой передачи данных и брокер сообщений с открытым исходным кодом. Модуль предоставляет:

  • Автоматическое развёртывание — создаёт инстанс Kafka при помощи простой YAML-конфигурации;
  • Управление конфигурацией — отдельный ресурс KafkaClass для шаблонизации создания сервиса и гибкой валидации пользовательских параметров;
  • Долговременное хранение — поддерживает параметры PersistentVolumeClaim для данных;
  • Статус — отображает текущее состояние развёрнутого инстанса Kafka.

Подробнее с настройками модуля и примерами его использования можно ознакомиться в документации модуля.

Архитектура модуля

Для упрощения схемы приняты следующие допущения:

  • На схеме показано, что контейнеры разных подов взаимодействуют друг с другом напрямую. Фактически они взаимодействуют через соответствующие сервисы Kubernetes (внутренние балансировщики). Названия сервисов не указываются, если они очевидны из контекста. В остальных случаях название сервиса указано над стрелкой.
  • Поды могут быть запущены в нескольких репликах, однако на схеме все поды изображены в одной реплике.

Архитектура модуля managed-kafka на уровне 2 модели C4 и его взаимодействие с другими компонентами DP изображены на следующей диаграмме:

Архитектура модуля managed-kafka

Компоненты модуля

Модуль состоит из следующих компонентов:

  1. Managed-kafka-operator (Deployment) — оператор Kubernetes, состоящий из одного контейнера manager и выполняющий следующие операции:

    • согласование состояния кастомных ресурсов Kafka во всех пользовательских неймспейсах. Кастомные ресурсы Kafka и KafkaClass определяют настройки инстанса Kafka;

    • создание и управление кастомным ресурсом Certificate и ресурсами StatefulSet, Service, Secret и PersistentVolumeClaim, относящимися к инстансу Kafka.

  2. Managed-kafka-webhook (Deployment) — компонент, состоящий из одного контейнера manager.

    Компонент выполняет валидацию и мутацию кастомных ресурсов Kafka и KafkaClass с помощью механизмов Validating/Mutating Admission Controllers.

  3. D8ms-kfk-<INSTANCE_NAME> (StatefulSet) — компонент, состоящий из одного контейнера kafka и отвечающий за запуск и работу инстанса Kafka. Создаётся компонентом managed-kafka-operator.

Взаимодействия модуля

Модуль взаимодействует с компонентом kube-apiserver:

  • управляет кастомными ресурсами Kafka и Certificate;
  • следит за кастомными ресурсами KafkaClass;
  • управляет ресурсами StatefulSet, Service, Secret и PersistentVolumeClaim.

С модулем взаимодействуют следующие внешние компоненты:

  1. Kube-apiserver — валидирует и мутирует кастомные ресурсы Kafka и KafkaClass.

  2. Пользовательские приложения — отправляют запросы к инстансу Kafka.

Дополнительные ресурсы