Каждый раздел ниже описывает один симптом, его причину и действие, которое его устраняет. Команды рассчитаны на релиз code в неймспейсе code.
Установка завершается ошибкой проверки значений
helm upgrade завершается до создания объектов, а вывод заканчивается сообщением проверки значений чарта.
Причина. Значения противоречат друг другу или пропущено обязательное поле. Чарт проверяет их первыми и выводит все замечания сразу.
Решение. Измените значения, названные в сообщении, и повторите команду. Сообщения и их исправления:
| Сообщение | Исправление |
|---|---|
is not bundled with Deckhouse Code | Удалите install: true или enabled: true у сабчарта, который называет сообщение, либо installCertmanager: true, и предоставьте компонент в кластере; см. раздел Компоненты, которые предоставляет кластер. |
Registry storage secret is required | Заполните global.codeHelm.externalSecrets.registry.storage.s3, укажите существующий Secret в registry.storage.secret или установите registry.enabled: false. |
global.codeHelm.externalSecrets.registryDockerConfig is required | Запишите .dockerconfigjson хранилища образов в кодировке Base64 в global.codeHelm.externalSecrets.registryDockerConfig. |
Backup object storage is not configured | Заполните global.codeHelm.externalSecrets.backup ключами доступа к хранилищу резервных копий или укажите существующий Secret с конфигурацией s3cmd в gitlab.toolbox.backups.objectStorage.config.secret. |
praefectPassword is set but global.praefect.psql.host is empty | Укажите в global.praefect.psql.host, user и dbName базу данных Praefect. |
redisSentinelPassword is set but global.redis.sentinelAuth.enabled is false | Установите global.redis.sentinelAuth.enabled: true и перечислите серверы Sentinel в global.redis.sentinels или удалите global.codeHelm.externalSecrets.redisSentinelPassword. |
Two sources for the Redis Sentinel password | Удалите global.redis.sentinelAuth.secret и key, чтобы Secret создал чарт, или удалите global.codeHelm.externalSecrets.redisSentinelPassword и оставьте существующий Secret. |
global.codeHelm.externalSecrets.s3.<поле> is required | Заполните каждое поле блока s3: provider, region, endpoint, aws_access_key_id и aws_secret_access_key. |
codeHelm.ingress.tls.mode=certManager requires cert-manager | Установите cert-manager или переключите global.codeHelm.ingress.tls.mode в manual и передайте сертификаты как Secret. |
codeHelm.ingress.tls.mode=manual: no TLS secret name configured | Задайте global.ingress.tls.secretName или gitlab.webservice.ingress.tls.secretName вместе с ingress.tls.secretName остальных включённых компонентов. |
generates Certificate resources with fixed secret names, but the following overrides were found | Удалите переопределения ingress.tls.secretName или переключитесь в ручной режим TLS. |
Only the default internal ClusterIP shell Service is compatible with the loadbalancer | Верните gitlab.gitlab-shell.service.type в ClusterIP или выключите балансировщик значением global.codeHelm.loadbalancer.enabled: false. |
Istio service mesh and internal TLS are mutually exclusive | С Istio установите global.codeHelm.tls.internal.enabled, global.gitaly.tls.enabled, global.praefect.tls.enabled, global.workhorse.tls.enabled, gitlab.webservice.tls.enabled и, если хранилище образов включено, registry.tls.enabled в false. |
the following upstream TLS flags must also be enabled | Верните перечисленные в сообщении флаги в true или выключите внутренний TLS значением global.codeHelm.tls.internal.enabled: false. |
kubeRbacProxy.enabled=true requires caSecret or clusterIssuer | Укажите в global.codeHelm.kubeRbacProxy.clusterIssuer существующий ClusterIssuer или в caSecret Secret с ключом ca.crt. |
kubeRbacProxy.enabled=true requires kubeRbacProxy.serviceAccountToken | Запишите токен ServiceAccount Prometheus в global.codeHelm.kubeRbacProxy.serviceAccountToken. |
У Service балансировщика нет внешнего адреса
d8 k -n code get service code-code-loadbalancer показывает <pending> в колонке EXTERNAL-IP.
Причина. В кластере нет реализации, которая выдаёт адреса Service типа LoadBalancer, либо реализации нужна аннотация для выбора адреса.
Решение. Прочитайте события Service:
d8 k -n code describe service code-code-loadbalancerДобавьте аннотацию, которую ожидает реализация, в global.codeHelm.loadbalancer.annotations, например metallb.universe.tf/loadBalancerIPs для MetalLB. Если такой реализации в кластере нет, выключите балансировщик значением global.codeHelm.loadbalancer.enabled: false, направьте DNS на Ingress-контроллер и откройте SSH значением gitlab.gitlab-shell.service.type: NodePort.
Поды остаются в состоянии ImagePullBackOff
d8 k -n code get pods показывает поды в состоянии ImagePullBackOff или ErrImagePull.
Причина. Secret для загрузки образов code-image-pull-secret, собранный из global.codeHelm.externalSecrets.registryDockerConfig, содержит неверные или истёкшие учётные данные, либо узлы не достигают хранилища образов.
Решение. Прочитайте ошибку загрузки в событиях пода:
d8 k -n code describe pod <POD_NAME>Ответ unauthorized указывает на учётные данные: заново закодируйте .dockerconfigjson командой base64 -w0 и обновите релиз. Ошибка соединения указывает на сетевой путь от узлов к хранилищу образов.
Поды остаются в состоянии Pending
d8 k -n code get pods показывает поды Gitaly или Praefect в состоянии Pending.
Причина. Ни один StorageClass не подходит под gitlab.gitaly.persistence.storageClass, в кластере нет StorageClass по умолчанию, либо ни у одного узла не хватает CPU и памяти для запросов пода.
Решение. Прочитайте события пода:
d8 k -n code describe pod <POD_NAME>Событие FailedScheduling с именем PersistentVolumeClaim указывает на StorageClass; выведите классы командой d8 k get storageclass. Событие с упоминанием CPU или памяти указывает на ресурсы узлов.
Сертификат не выпускается
d8 k -n code get certificate показывает False в колонке READY для code-tls, code-registry-tls или code-pages-tls, а браузер сообщает о недействительном сертификате.
Причина. ClusterIssuer из global.codeHelm.ingress.tls.clusterIssuer не существует, либо издатель не может пройти проверку, потому что DNS-имя ещё не разрешается в адрес балансировщика.
Решение. Прочитайте состояние Certificate и издателя:
d8 k -n code describe certificate code-tls
d8 k get clusterissuerСоздайте ClusterIssuer или укажите существующий и убедитесь, что DNS-записи указывают на адрес балансировщика. cert-manager повторяет выпуск сам, когда причина устранена.
Задача миграций завершается ошибкой
d8 k -n code get jobs показывает задачу code-migrations-<суффикс> с 0/1 завершений, а поды веб-сервиса и Sidekiq ждут её.
Причина. PostgreSQL недоступен по адресу global.psql.host, пароль в global.codeHelm.externalSecrets.psqlPassword или в Secret из global.psql.password.secret неверен, у роли нет прав на базу данных, либо релиз пропустил версию Deckhouse Code, от которой зависит более поздняя миграция.
Решение. Прочитайте лог задачи:
d8 k -n code logs job/code-migrations-<суффикс>Сначала устраните проблему подключения или учётных данных. Если лог называет отсутствующую более раннюю миграцию, следуйте порядку версий из раздела Обновление.
Поды Praefect перезапускаются
Поды code-praefect перезапускаются, а в их логах сообщение о неудачном подключении к PostgreSQL.
Причина. База данных Praefect из global.praefect.psql.host, dbName и user не существует, либо пароль из global.codeHelm.externalSecrets.praefectPassword неверен. У Praefect собственная база данных, базу данных приложения он не использует.
Решение. Прочитайте лог пода:
d8 k -n code logs statefulset/code-praefectСоздайте базу данных и роль на сервере PostgreSQL, задайте пароль и обновите релиз.
Объектное хранилище отклоняет запросы
Загрузка файлов и артефактов CI/CD завершается ошибкой, а в логах веб-сервиса или Sidekiq виден ответ хранилища AccessDenied или NoSuchBucket.
Причина. Подключение в global.codeHelm.externalSecrets.s3 или в Secret из global.appConfig.object_store.connection.secret содержит неверную точку доступа, регион или ключ, либо бакет из global.appConfig.<хранилище>.bucket не существует.
Решение. Сверьте подключение с консолью хранилища и убедитесь, что каждый бакет из раздела Требования существует, а у ключей есть право записи в него. Для хранилища, которое адресует бакеты в пути URL, добавьте в подключение path_style: true.
Helm upgrade завершается по тайм-ауту
helm upgrade завершается с сообщением Error: UPGRADE FAILED: timed out waiting for the condition.
Причина. Под или задача миграций не стали готовы за время ожидания Helm по одной из причин выше.
Решение. Проверьте поды и задачи релиза:
d8 k -n code get pods,jobsУстраните причину и повторите helm upgrade; добавьте --timeout, если релизу нужно больше времени, чем по умолчанию.