Deckhouse Kubernetes Platform в существующем кластере

• Ошибка вида:

  │ │ ┌ Waiting for Deckhouse to become Ready
  │ │ │ Deckhouse pod found: deckhouse-64649df6f9-mf6dt (Pending)
  │ │ │ Deckhouse pod found: deckhouse-64649df6f9-mf6dt (Pending)
  

  Возможная причина — в кластере нет узла с label node-role.kubernetes.io/control-plane: "", который первоначально используется в nodeSelector манифеста deployment deckhouse.

  Варианты решения:

  • Отредактировать deployment deckhouse и указать нужный nodeSelector:

    kubectl -n d8-system edit deployment/deckhouse
    

  • Удалить nodeSelector у deployment deckhouse:

    kubectl patch -n d8-system deployment deckhouse --type json -p '[{"op": "remove", "path": "/spec/template/spec/nodeSelector"}]'
    

Для работы модуля documentation (deckhouse-web в Deckhouse версии 1.45 и старее), предоставляющего веб-интерфейс к документации кластера, необходимо наличие в кластере Ingress-контроллера. Если в вашем кластере нет Ingress-контролллера, вы можете использовать модуль ingress-nginx следующим способом:

• Включите модуль ingress-nginx, выполнив следующую команду:

  Скопировать содержимое

  kubectl create -f - <<EOF
  apiVersion: deckhouse.io/v1alpha1
  kind: ModuleConfig
  metadata:
    name: ingress-nginx
  spec:
    enabled: true
  EOF
  

  kubectl create -f - <<EOF apiVersion: deckhouse.io/v1alpha1 kind: ModuleConfig metadata: name: ingress-nginx spec: enabled: true EOF

• Создайте файл ingress-nginx-controller.yml следующего содержания:

  ingress-nginx-controller.ymlСкопировать имя файлаСкопировать содержимое

  # Секция, описывающая параметры NGINX Ingress controller.
  # https://deckhouse.ru/documentation/v1/modules/402-ingress-nginx/cr.html
  apiVersion: deckhouse.io/v1
  kind: IngressNginxController
  metadata:
    name: nginx
  spec:
    ingressClass: nginx
    # Способ поступления трафика из внешнего мира.
    inlet: HostPort
    hostPort:
      httpPort: 80
      httpsPort: 443
    # Описывает, на каких узлах будет находиться компонент.
    # Возможно, захотите изменить.
    nodeSelector:
      node-role.kubernetes.io/control-plane: ""
    tolerations:
    - operator: Exists
  

  # Секция, описывающая параметры NGINX Ingress controller. # https://deckhouse.ru/documentation/v1/modules/402-ingress-nginx/cr.html apiVersion: deckhouse.io/v1 kind: IngressNginxController metadata: name: nginx spec: ingressClass: nginx # Способ поступления трафика из внешнего мира. inlet: HostPort hostPort: httpPort: 80 httpsPort: 443 # Описывает, на каких узлах будет находиться компонент. # Возможно, захотите изменить. nodeSelector: node-role.kubernetes.io/control-plane: "" tolerations: - operator: Exists

• Примените его, после установки Deckhouse, выполнив следующую команду:

  Скопировать содержимое

  kubectl create -f ingress-nginx-controller.yml
  

  kubectl create -f ingress-nginx-controller.yml

• В конфигурации инсталляции Deckhouse в массиве customTolerationKeys укажите taint CriticalAddonsOnly.

  Пример:

  deckhouse:
    releaseChannel: Stable
    bundle: Minimal
    configOverrides:
      global:
        modules:
          placement:
            customTolerationKeys:
            - CriticalAddonsOnly
          publicDomainTemplate: "%s.example.com"
  

• В кластерах версии 1.21+ VK Cloud Solutions установлен Gatekeeper (OPA), который требует выставления requests и limits Pod'ам. Pod deckhouse не имеет requests/limits, остальные компоненты и модули Deckhouse получают вычисляемые параметры requests/limits в процессе работы Deckhouse.

  При просмотре событий Deployment deckhouse вы можете увидеть следующую ошибку:

  admission webhook "validation.gatekeeper.sh" denied the request: [container-must-have-limits] container <...> has no resource limits...

  Чтобы Deckhouse смог запуститься, необходимо перед установкой Deckhouse в таких кластерах добавить исключение GateKeeper (OPA) для namespace'ов компонентов Deckhouse (d8*-).

  Выполните в кластере:

  Скопировать содержимое

  kubectl patch constraints container-must-have-limits --type json -p '[{"op": "replace", "path": "/spec/match/excludedNamespaces", "value": ["d8-*"]}]'
  

  kubectl patch constraints container-must-have-limits --type json -p '[{"op": "replace", "path": "/spec/match/excludedNamespaces", "value": ["d8-*"]}]'