В Deckhouse Code при установке в кластере Deckhouse Platform используются следующие варианты сетевых конфигураций:
Конфигурация с дополнительным LoadBalancer для веб-сервиса и shell-сервиса — при установке параметра
spec.network.ownLoadBalancer.enabledв значениеtrueв кастомном ресурсе CodeInstance разворачивается компонент Haproxy с сервисом типа LoadBalancer, который принимает HTTP, HTTPS и Git по SSH на одном внешнем IP-адресе через порты80,443и22соответственно. Haproxy перенаправляет трафик с порта22на соответствующий Git SSH Pod. Порты80и443обрабатываются Ingress-контроллером, где происходит терминация TLS-трафика. Также выделяется отдельный IP-адрес, отличный от IP-адреса Ingress-контроллера. Для этого адреса необходимо создать отдельную DNS-запись. По этой DNS-записи будут доступны:- веб-интерфейс (UI) на портах
80и443; - Git SSH на порту
22.
Данная сетевая конфигурация является конфигурацией по умолчанию. Подробнее с настройкой дополнительного балансировщика можно ознакомиться в документации модуля
code.- веб-интерфейс (UI) на портах
Конфигурация без дополнительного LoadBalancer — при установке параметра
spec.network.ownLoadBalancer.enabledв значениеfalseдля доступа к веб-интерфейсу (UI) и другим сервисам через стандартные порты HTTP (80) и HTTPS (443) используется Ingress-контроллер. Однако Ingress-контроллер не поддерживает проксирование TCP-портов. Поэтому для доступа к Git SSH через22порт используется отдельный сервис типаLoadBalancerилиNodePort.
Архитектура
Для упрощения схемы приняты следующие допущения:
- На схеме показано, что контейнеры разных подов взаимодействуют друг с другом напрямую. Фактически они взаимодействуют через соответствующие сервисы Kubernetes (внутренние балансировщики). Названия сервисов не указываются, если они очевидны из контекста. В остальных случаях название сервиса указано над стрелкой.
- Поды могут быть запущены в нескольких репликах, однако на схеме все поды изображены в одной реплике.
Архитектура сетевых конфигураций Deckhouse Code на уровне 2 модели C4 изображена на следующих диаграммах.
Вариант с дополнительным LoadBalancer для веб-сервиса и shell-сервиса:
Вариант без дополнительного LoadBalancer:
Использование Istio service mesh
Работа Deckhouse Code в Istio service mesh поддерживается только для варианта установки в виде модуля в составе Deckhouse Platform.
При включении данного режима оператор переводит всё внутреннее взаимодействие между компонентами Deckhouse Code с прикладного TLS на Istio mTLS (обеспечивается Envoy-сайдкарами). Оператор также создаёт ресурс PeerAuthentication для принудительного включения mTLS.
Особенности архитектуры Deckhouse Code при работе в Istio service mesh:
К подам всех компонентов Deckhouse Code добавляются сайдкар-контейнеры istio-proxy.
Следующие компоненты переводятся на работу по протоколу HTTP:
- gitlab-workhorse — порт
8181не меняется; - gitlab-webservice — порт
8081меняется на8080; - gitaly — порт
8076меняется на8075; - praefect — порт
8076меняется на8075.
- gitlab-workhorse — порт
Удаляются внутренние TLS-сертификаты для Webservice, Gitaly и Praefect.
Трафик всех компонентов Deckhouse Code перехватываются Envoy-сайдкарами за исключением трафика по следующим портам компонента Haproxy:
- входящий трафик по портам
8080,4443и2222; - исходящий трафик по порту
443.
- входящий трафик по портам
Порты некоторых компонентов настроены в PERMISSIVE.
При PeerAuthentication
STRICTIngress NGINX Controller должен находиться в Istio mesh для доступа к веб-интерфейсу. Подробнее об инъекции сайдкаров для модуляingress-nginx— в разделе «Активация Istio для приложений».Gitaly Service работает в режиме
headless(clusterIP: None).
Подробнее с описанием работы Deckhouse Code в Istio service mesh можно ознакомится в документации модуля code.