Каждый раздел ниже описывает один симптом, его причину и действие, которое его устраняет. Команды рассчитаны на релиз code в неймспейсе code.

Установка завершается ошибкой проверки значений

helm upgrade завершается до создания объектов, а вывод заканчивается сообщением проверки значений чарта.

Причина. Значения противоречат друг другу или пропущено обязательное поле. Чарт проверяет их первыми и выводит все замечания сразу.

Решение. Измените значения, названные в сообщении, и повторите команду. Сообщения и их исправления:

СообщениеИсправление
is not bundled with Deckhouse CodeУдалите install: true или enabled: true у сабчарта, который называет сообщение, либо installCertmanager: true, и предоставьте компонент в кластере; см. раздел Компоненты, которые предоставляет кластер.
Registry storage secret is requiredЗаполните global.codeHelm.externalSecrets.registry.storage.s3, укажите существующий Secret в registry.storage.secret или установите registry.enabled: false.
global.codeHelm.externalSecrets.registryDockerConfig is requiredЗапишите .dockerconfigjson хранилища образов в кодировке Base64 в global.codeHelm.externalSecrets.registryDockerConfig.
Backup object storage is not configuredЗаполните global.codeHelm.externalSecrets.backup ключами доступа к хранилищу резервных копий или укажите существующий Secret с конфигурацией s3cmd в gitlab.toolbox.backups.objectStorage.config.secret.
praefectPassword is set but global.praefect.psql.host is emptyУкажите в global.praefect.psql.host, user и dbName базу данных Praefect.
redisSentinelPassword is set but global.redis.sentinelAuth.enabled is falseУстановите global.redis.sentinelAuth.enabled: true и перечислите серверы Sentinel в global.redis.sentinels или удалите global.codeHelm.externalSecrets.redisSentinelPassword.
Two sources for the Redis Sentinel passwordУдалите global.redis.sentinelAuth.secret и key, чтобы Secret создал чарт, или удалите global.codeHelm.externalSecrets.redisSentinelPassword и оставьте существующий Secret.
global.codeHelm.externalSecrets.s3.<поле> is requiredЗаполните каждое поле блока s3: provider, region, endpoint, aws_access_key_id и aws_secret_access_key.
codeHelm.ingress.tls.mode=certManager requires cert-managerУстановите cert-manager или переключите global.codeHelm.ingress.tls.mode в manual и передайте сертификаты как Secret.
codeHelm.ingress.tls.mode=manual: no TLS secret name configuredЗадайте global.ingress.tls.secretName или gitlab.webservice.ingress.tls.secretName вместе с ingress.tls.secretName остальных включённых компонентов.
generates Certificate resources with fixed secret names, but the following overrides were foundУдалите переопределения ingress.tls.secretName или переключитесь в ручной режим TLS.
Only the default internal ClusterIP shell Service is compatible with the loadbalancerВерните gitlab.gitlab-shell.service.type в ClusterIP или выключите балансировщик значением global.codeHelm.loadbalancer.enabled: false.
Istio service mesh and internal TLS are mutually exclusiveС Istio установите global.codeHelm.tls.internal.enabled, global.gitaly.tls.enabled, global.praefect.tls.enabled, global.workhorse.tls.enabled, gitlab.webservice.tls.enabled и, если хранилище образов включено, registry.tls.enabled в false.
the following upstream TLS flags must also be enabledВерните перечисленные в сообщении флаги в true или выключите внутренний TLS значением global.codeHelm.tls.internal.enabled: false.
kubeRbacProxy.enabled=true requires caSecret or clusterIssuerУкажите в global.codeHelm.kubeRbacProxy.clusterIssuer существующий ClusterIssuer или в caSecret Secret с ключом ca.crt.
kubeRbacProxy.enabled=true requires kubeRbacProxy.serviceAccountTokenЗапишите токен ServiceAccount Prometheus в global.codeHelm.kubeRbacProxy.serviceAccountToken.

У Service балансировщика нет внешнего адреса

d8 k -n code get service code-code-loadbalancer показывает <pending> в колонке EXTERNAL-IP.

Причина. В кластере нет реализации, которая выдаёт адреса Service типа LoadBalancer, либо реализации нужна аннотация для выбора адреса.

Решение. Прочитайте события Service:

d8 k -n code describe service code-code-loadbalancer

Добавьте аннотацию, которую ожидает реализация, в global.codeHelm.loadbalancer.annotations, например metallb.universe.tf/loadBalancerIPs для MetalLB. Если такой реализации в кластере нет, выключите балансировщик значением global.codeHelm.loadbalancer.enabled: false, направьте DNS на Ingress-контроллер и откройте SSH значением gitlab.gitlab-shell.service.type: NodePort.

Поды остаются в состоянии ImagePullBackOff

d8 k -n code get pods показывает поды в состоянии ImagePullBackOff или ErrImagePull.

Причина. Secret для загрузки образов code-image-pull-secret, собранный из global.codeHelm.externalSecrets.registryDockerConfig, содержит неверные или истёкшие учётные данные, либо узлы не достигают хранилища образов.

Решение. Прочитайте ошибку загрузки в событиях пода:

d8 k -n code describe pod <POD_NAME>

Ответ unauthorized указывает на учётные данные: заново закодируйте .dockerconfigjson командой base64 -w0 и обновите релиз. Ошибка соединения указывает на сетевой путь от узлов к хранилищу образов.

Поды остаются в состоянии Pending

d8 k -n code get pods показывает поды Gitaly или Praefect в состоянии Pending.

Причина. Ни один StorageClass не подходит под gitlab.gitaly.persistence.storageClass, в кластере нет StorageClass по умолчанию, либо ни у одного узла не хватает CPU и памяти для запросов пода.

Решение. Прочитайте события пода:

d8 k -n code describe pod <POD_NAME>

Событие FailedScheduling с именем PersistentVolumeClaim указывает на StorageClass; выведите классы командой d8 k get storageclass. Событие с упоминанием CPU или памяти указывает на ресурсы узлов.

Сертификат не выпускается

d8 k -n code get certificate показывает False в колонке READY для code-tls, code-registry-tls или code-pages-tls, а браузер сообщает о недействительном сертификате.

Причина. ClusterIssuer из global.codeHelm.ingress.tls.clusterIssuer не существует, либо издатель не может пройти проверку, потому что DNS-имя ещё не разрешается в адрес балансировщика.

Решение. Прочитайте состояние Certificate и издателя:

d8 k -n code describe certificate code-tls
d8 k get clusterissuer

Создайте ClusterIssuer или укажите существующий и убедитесь, что DNS-записи указывают на адрес балансировщика. cert-manager повторяет выпуск сам, когда причина устранена.

Задача миграций завершается ошибкой

d8 k -n code get jobs показывает задачу code-migrations-<суффикс> с 0/1 завершений, а поды веб-сервиса и Sidekiq ждут её.

Причина. PostgreSQL недоступен по адресу global.psql.host, пароль в global.codeHelm.externalSecrets.psqlPassword или в Secret из global.psql.password.secret неверен, у роли нет прав на базу данных, либо релиз пропустил версию Deckhouse Code, от которой зависит более поздняя миграция.

Решение. Прочитайте лог задачи:

d8 k -n code logs job/code-migrations-<суффикс>

Сначала устраните проблему подключения или учётных данных. Если лог называет отсутствующую более раннюю миграцию, следуйте порядку версий из раздела Обновление.

Поды Praefect перезапускаются

Поды code-praefect перезапускаются, а в их логах сообщение о неудачном подключении к PostgreSQL.

Причина. База данных Praefect из global.praefect.psql.host, dbName и user не существует, либо пароль из global.codeHelm.externalSecrets.praefectPassword неверен. У Praefect собственная база данных, базу данных приложения он не использует.

Решение. Прочитайте лог пода:

d8 k -n code logs statefulset/code-praefect

Создайте базу данных и роль на сервере PostgreSQL, задайте пароль и обновите релиз.

Объектное хранилище отклоняет запросы

Загрузка файлов и артефактов CI/CD завершается ошибкой, а в логах веб-сервиса или Sidekiq виден ответ хранилища AccessDenied или NoSuchBucket.

Причина. Подключение в global.codeHelm.externalSecrets.s3 или в Secret из global.appConfig.object_store.connection.secret содержит неверную точку доступа, регион или ключ, либо бакет из global.appConfig.<хранилище>.bucket не существует.

Решение. Сверьте подключение с консолью хранилища и убедитесь, что каждый бакет из раздела Требования существует, а у ключей есть право записи в него. Для хранилища, которое адресует бакеты в пути URL, добавьте в подключение path_style: true.

Helm upgrade завершается по тайм-ауту

helm upgrade завершается с сообщением Error: UPGRADE FAILED: timed out waiting for the condition.

Причина. Под или задача миграций не стали готовы за время ожидания Helm по одной из причин выше.

Решение. Проверьте поды и задачи релиза:

d8 k -n code get pods,jobs

Устраните причину и повторите helm upgrade; добавьте --timeout, если релизу нужно больше времени, чем по умолчанию.

Дополнительные ресурсы