Deckhouse Kubernetes Platform на bare metal

На данном этапе вы создали кластер, который состоит из единственного узла — master-узла. На master-узле по умолчанию работает только ограниченный набор системных компонентов. Для полноценной работы кластера необходимо либо добавить в кластер хотя бы один worker-узел, либо разрешить остальным компонентам Deckhouse работать на master-узле.

Выберите ниже один из двух вариантов, для продолжения установки кластера:

Добавьте узел в кластер (подробнее о добавлении статического узла в кластер читайте в документации):

  • Подготовьте чистую виртуальную машину, которая будет узлом кластера.
  • Настройте StorageClass локального хранилища, выполнив на master-узле следующую команду:

    sudo /opt/deckhouse/bin/kubectl create -f - << EOF
    apiVersion: deckhouse.io/v1alpha1
    kind: LocalPathProvisioner
    metadata:
      name: localpath-deckhouse
    spec:
      nodeGroups:
      - worker
      path: "/opt/local-path-provisioner"
    EOF
    
    sudo /opt/deckhouse/bin/kubectl create -f - << EOF apiVersion: deckhouse.io/v1alpha1 kind: LocalPathProvisioner metadata: name: localpath-deckhouse spec: nodeGroups: - worker path: "/opt/local-path-provisioner" EOF
  • Укажите, что созданный StorageClass должен использоваться как StorageClass по умолчанию. Для этого выполните на master-узле следующую команду, чтобы добавить на StorageClass аннотацию storageclass.kubernetes.io/is-default-class='true':

    sudo /opt/deckhouse/bin/kubectl annotate sc localpath-deckhouse storageclass.kubernetes.io/is-default-class='true'
    
    sudo /opt/deckhouse/bin/kubectl annotate sc localpath-deckhouse storageclass.kubernetes.io/is-default-class='true'
  • Создайте NodeGroup worker. Для этого выполните на master-узле следующую команду:

    sudo /opt/deckhouse/bin/kubectl create -f - << EOF
    apiVersion: deckhouse.io/v1
    kind: NodeGroup
    metadata:
      name: worker
    spec:
      nodeType: Static
    EOF
    
    sudo /opt/deckhouse/bin/kubectl create -f - << EOF apiVersion: deckhouse.io/v1 kind: NodeGroup metadata: name: worker spec: nodeType: Static EOF
  • Deckhouse подготовит скрипт, необходимый для настройки будущего узла и включения его в кластер. Выведите его содержимое в формате Base64 (оно понадобится на следующем шаге):

    sudo /opt/deckhouse/bin/kubectl -n d8-cloud-instance-manager get secret manual-bootstrap-for-worker -o json | jq '.data."bootstrap.sh"' -r
    
    sudo /opt/deckhouse/bin/kubectl -n d8-cloud-instance-manager get secret manual-bootstrap-for-worker -o json | jq '.data."bootstrap.sh"' -r
  • На подготовленной виртуальной машине выполните следующую команду, вставив код скрипта, полученный на предыдущем шаге:

    echo <Base64-КОД-СКРИПТА> | base64 -d | sudo bash
    
    echo <Base64-КОД-СКРИПТА> | base64 -d | sudo bash
  • Убедитесь, что все узлы кластера находятся в статусе Ready.

    Выполните на master-узле следующую команду, чтобы получить список узлов кластера:

    sudo /opt/deckhouse/bin/kubectl get no
    
    sudo /opt/deckhouse/bin/kubectl get no

    Пример вывода...

    $ sudo /opt/deckhouse/bin/kubectl get no
    NAME               STATUS   ROLES                  AGE    VERSION
    d8cluster          Ready    control-plane,master   30m   v1.23.17
    d8cluster-worker   Ready    worker                 10m   v1.23.17
    

Запуск всех компонентов Deckhouse после завершения установки может занять какое-то время.

  • Убедитесь, что под Kruise controller manager модуля ingress-nginx запустился и находится в статусе Ready.

    Выполните на master-узле следующую команду:

    sudo /opt/deckhouse/bin/kubectl -n d8-ingress-nginx get po -l app=kruise
    
    sudo /opt/deckhouse/bin/kubectl -n d8-ingress-nginx get po -l app=kruise

    Пример вывода...

    $ sudo /opt/deckhouse/bin/kubectl -n d8-ingress-nginx get po -l app=kruise
    NAME                                         READY   STATUS    RESTARTS    AGE
    kruise-controller-manager-7dfcbdc549-b4wk7   3/3     Running   0           15m
    

Далее нужно создать Ingress-контроллер, создать пользователя для доступа в веб-интерфейсы и настроить DNS.

  • Установка Ingress-контроллера

    Создайте на master-узле файл ingress-nginx-controller.yml содержащий конфигурацию Ingress-контроллера:

    # Секция, описывающая параметры NGINX Ingress controller.
    # https://deckhouse.ru/documentation/v1/modules/402-ingress-nginx/cr.html
    apiVersion: deckhouse.io/v1
    kind: IngressNginxController
    metadata:
      name: nginx
    spec:
      ingressClass: nginx
      # Способ поступления трафика из внешнего мира.
      inlet: HostPort
      hostPort:
        httpPort: 80
        httpsPort: 443
      # Описывает, на каких узлах будет находиться Ingress-контроллер.
      # Возможно, захотите изменить.
      nodeSelector:
        node-role.kubernetes.io/control-plane: ""
      tolerations:
      - operator: Exists
    
    # Секция, описывающая параметры NGINX Ingress controller. # https://deckhouse.ru/documentation/v1/modules/402-ingress-nginx/cr.html apiVersion: deckhouse.io/v1 kind: IngressNginxController metadata: name: nginx spec: ingressClass: nginx # Способ поступления трафика из внешнего мира. inlet: HostPort hostPort: httpPort: 80 httpsPort: 443 # Описывает, на каких узлах будет находиться Ingress-контроллер. # Возможно, захотите изменить. nodeSelector: node-role.kubernetes.io/control-plane: "" tolerations: - operator: Exists

    Примените его, выполнив на master-узле следующую команду:

    sudo /opt/deckhouse/bin/kubectl create -f ingress-nginx-controller.yml
    
    sudo /opt/deckhouse/bin/kubectl create -f ingress-nginx-controller.yml
    Запуск Ingress-контроллера после завершения установки Deckhouse может занять какое-то время. Прежде чем продолжить убедитесь что Ingress-контроллер запустился (выполните на master-узле):
    sudo /opt/deckhouse/bin/kubectl -n d8-ingress-nginx get po -l app=controller
    
    sudo /opt/deckhouse/bin/kubectl -n d8-ingress-nginx get po -l app=controller
    Дождитесь перехода подов Ingress-контроллера в статус Ready.

    Пример вывода...

    $ sudo /opt/deckhouse/bin/kubectl -n d8-ingress-nginx get po -l app=controller
    NAME                                       READY   STATUS    RESTARTS   AGE
    controller-nginx-r6hxc                     3/3     Running   0          5m
    
  • Создание пользователя для доступа в веб-интерфейсы кластера

    Создайте на master-узле файл user.yml содержащий описание учетной записи пользователя и прав доступа:

    apiVersion: deckhouse.io/v1
    kind: ClusterAuthorizationRule
    metadata:
      name: admin
    spec:
      # список учётных записей Kubernetes RBAC
      subjects:
      - kind: User
        name: admin@deckhouse.io
      # предустановленный шаблон уровня доступа
      accessLevel: SuperAdmin
      # разрешить пользователю делать kubectl port-forward
      portForwarding: true
    ---
    # секция, описывающая параметры статического пользователя
    # используемая версия API Deckhouse
    apiVersion: deckhouse.io/v1
    kind: User
    metadata:
      name: admin
    spec:
      # e-mail пользователя
      email: admin@deckhouse.io
      # это хэш пароля <GENERATED_PASSWORD>, сгенерированного сейчас
      # сгенерируйте свой или используйте этот, но только для тестирования
      # echo "<GENERATED_PASSWORD>" | htpasswd -BinC 10 "" | cut -d: -f2 | base64 -w0
      # возможно, захотите изменить
      password: <GENERATED_PASSWORD_HASH>
    
    apiVersion: deckhouse.io/v1 kind: ClusterAuthorizationRule metadata: name: admin spec: # список учётных записей Kubernetes RBAC subjects: - kind: User name: admin@deckhouse.io # предустановленный шаблон уровня доступа accessLevel: SuperAdmin # разрешить пользователю делать kubectl port-forward portForwarding: true --- # секция, описывающая параметры статического пользователя # используемая версия API Deckhouse apiVersion: deckhouse.io/v1 kind: User metadata: name: admin spec: # e-mail пользователя email: admin@deckhouse.io # это хэш пароля <GENERATED_PASSWORD>, сгенерированного сейчас # сгенерируйте свой или используйте этот, но только для тестирования # echo "<GENERATED_PASSWORD>" | htpasswd -BinC 10 "" | cut -d: -f2 | base64 -w0 # возможно, захотите изменить password: <GENERATED_PASSWORD_HASH>

    Примените его, выполнив на master-узле следующую команду:

    sudo /opt/deckhouse/bin/kubectl create -f user.yml
    
    sudo /opt/deckhouse/bin/kubectl create -f user.yml
  • Создание DNS-записи, для доступа в веб-интерфейсы кластера
    • Выясните публичный IP-адрес узла, на котором работает Ingress-контроллер.
    • Если у вас есть возможность добавить DNS-запись используя DNS-сервер:
      • Если ваш шаблон DNS-имен кластера является wildcard DNS-шаблоном (например, %s.kube.my), то добавьте соответствующую wildcard A-запись со значением публичного IP-адреса, который вы получили выше.
      • Если ваш шаблон DNS-имен кластера НЕ является wildcard DNS-шаблоном (например, %s-kube.company.my), то добавьте А или CNAME-записи со значением публичного IP-адреса, который вы получили выше, для следующих DNS-имен сервисов Deckhouse в вашем кластере:
        api.example.com
        argocd.example.com
        cdi-uploadproxy.example.com
        dashboard.example.com
        documentation.example.com
        dex.example.com
        grafana.example.com
        hubble.example.com
        istio.example.com
        istio-api-proxy.example.com
        kubeconfig.example.com
        openvpn-admin.example.com
        prometheus.example.com
        status.example.com
        upmeter.example.com
        
    • Если вы не имеете под управлением DNS-сервер: добавьте статические записи соответствия имен конкретных сервисов публичному IP-адресу узла, на котором работает Ingress-контроллер.

      Например, на персональном Linux-компьютере, с которого необходим доступ к сервисам Deckhouse, выполните следующую команду (укажите ваш публичный IP-адрес в переменной PUBLIC_IP) для добавления записей в файл /etc/hosts (для Windows используйте файл %SystemRoot%\system32\drivers\etc\hosts):

      export PUBLIC_IP="<PUBLIC_IP>"
      sudo -E bash -c "cat <<EOF >> /etc/hosts
      $PUBLIC_IP api.example.com
      $PUBLIC_IP argocd.example.com
      $PUBLIC_IP cdi-uploadproxy.example.com
      $PUBLIC_IP dashboard.example.com
      $PUBLIC_IP documentation.example.com
      $PUBLIC_IP dex.example.com
      $PUBLIC_IP grafana.example.com
      $PUBLIC_IP hubble.example.com
      $PUBLIC_IP istio.example.com
      $PUBLIC_IP istio-api-proxy.example.com
      $PUBLIC_IP kubeconfig.example.com
      $PUBLIC_IP openvpn-admin.example.com
      $PUBLIC_IP prometheus.example.com
      $PUBLIC_IP status.example.com
      $PUBLIC_IP upmeter.example.com
      EOF
      "
      
      export PUBLIC_IP="<PUBLIC_IP>" sudo -E bash -c "cat <<EOF >> /etc/hosts $PUBLIC_IP api.example.com $PUBLIC_IP argocd.example.com $PUBLIC_IP cdi-uploadproxy.example.com $PUBLIC_IP dashboard.example.com $PUBLIC_IP documentation.example.com $PUBLIC_IP dex.example.com $PUBLIC_IP grafana.example.com $PUBLIC_IP hubble.example.com $PUBLIC_IP istio.example.com $PUBLIC_IP istio-api-proxy.example.com $PUBLIC_IP kubeconfig.example.com $PUBLIC_IP openvpn-admin.example.com $PUBLIC_IP prometheus.example.com $PUBLIC_IP status.example.com $PUBLIC_IP upmeter.example.com EOF "