В Deckhouse Code при установке в кластере Deckhouse Platform используются следующие варианты сетевых конфигураций:

  1. Конфигурация с дополнительным LoadBalancer для веб-сервиса и shell-сервиса — при установке параметра spec.network.ownLoadBalancer.enabled в значение true в кастомном ресурсе CodeInstance разворачивается компонент Haproxy с сервисом типа LoadBalancer, который принимает HTTP, HTTPS и Git по SSH на одном внешнем IP-адресе через порты 80, 443 и 22 соответственно. Haproxy перенаправляет трафик с порта 22 на соответствующий Git SSH Pod. Порты 80 и 443 обрабатываются Ingress-контроллером, где происходит терминация TLS-трафика. Также выделяется отдельный IP-адрес, отличный от IP-адреса Ingress-контроллера. Для этого адреса необходимо создать отдельную DNS-запись. По этой DNS-записи будут доступны:

    • веб-интерфейс (UI) на портах 80 и 443;
    • Git SSH на порту 22.

    Данная сетевая конфигурация является конфигурацией по умолчанию. Подробнее с настройкой дополнительного балансировщика можно ознакомиться в документации модуля code.

  2. Конфигурация без дополнительного LoadBalancer — при установке параметра spec.network.ownLoadBalancer.enabled в значение false для доступа к веб-интерфейсу (UI) и другим сервисам через стандартные порты HTTP (80) и HTTPS (443) используется Ingress-контроллер. Однако Ingress-контроллер не поддерживает проксирование TCP-портов. Поэтому для доступа к Git SSH через 22 порт используется отдельный сервис типа LoadBalancer или NodePort.

Архитектура

Для упрощения схемы приняты следующие допущения:

  • На схеме показано, что контейнеры разных подов взаимодействуют друг с другом напрямую. Фактически они взаимодействуют через соответствующие сервисы Kubernetes (внутренние балансировщики). Названия сервисов не указываются, если они очевидны из контекста. В остальных случаях название сервиса указано над стрелкой.
  • Поды могут быть запущены в нескольких репликах, однако на схеме все поды изображены в одной реплике.

Архитектура сетевых конфигураций Deckhouse Code на уровне 2 модели C4 изображена на следующих диаграммах.

  • Вариант с дополнительным LoadBalancer для веб-сервиса и shell-сервиса:

    Вариант с дополнительным LoadBalancer

  • Вариант без дополнительного LoadBalancer:

    Вариант без дополнительного LoadBalancer

Использование Istio service mesh

Работа Deckhouse Code в Istio service mesh поддерживается только для варианта установки в виде модуля в составе Deckhouse Platform.

При включении данного режима оператор переводит всё внутреннее взаимодействие между компонентами Deckhouse Code с прикладного TLS на Istio mTLS (обеспечивается Envoy-сайдкарами). Оператор также создаёт ресурс PeerAuthentication для принудительного включения mTLS.

Особенности архитектуры Deckhouse Code при работе в Istio service mesh:

  • К подам всех компонентов Deckhouse Code добавляются сайдкар-контейнеры istio-proxy.

  • Следующие компоненты переводятся на работу по протоколу HTTP:

    • gitlab-workhorse — порт 8181 не меняется;
    • gitlab-webservice — порт 8081 меняется на 8080;
    • gitaly — порт 8076 меняется на 8075;
    • praefect — порт 8076 меняется на 8075.
  • Удаляются внутренние TLS-сертификаты для Webservice, Gitaly и Praefect.

  • Трафик всех компонентов Deckhouse Code перехватываются Envoy-сайдкарами за исключением трафика по следующим портам компонента Haproxy:

    • входящий трафик по портам 8080, 4443 и 2222;
    • исходящий трафик по порту 443.
  • Порты некоторых компонентов настроены в PERMISSIVE.

  • При PeerAuthentication STRICT Ingress NGINX Controller должен находиться в Istio mesh для доступа к веб-интерфейсу. Подробнее об инъекции сайдкаров для модуля ingress-nginx — в разделе «Активация Istio для приложений».

  • Gitaly Service работает в режиме headless (clusterIP: None).

Подробнее с описанием работы Deckhouse Code в Istio service mesh можно ознакомится в документации модуля code.