Веб-интерфейсы, связанные с модулем: grafana

Модуль устанавливает и настраивает Prometheus, а также настраивает сбор метрик из многих приложений и предоставляет минимальный набор алертов для Prometheus и дашбордов Grafana.

Если используется StorageClass с поддержкой автоматического расширения (allowVolumeExpansion: true), при нехватке места на диске для данных Prometheus его емкость будет увеличена.

Ресурсы CPU и memory автоматически выставляются при пересоздании пода на основе истории потребления, благодаря модулю Vertical Pod Autoscaler. Также, благодаря кэшированию запросов к Prometheus с помощью Trickster, потребление памяти Prometheus сильно сокращается.

Поддерживается как pull-, так и push-модель получения метрик.

Мониторинг аппаратных ресурсов

Реализовано отслеживание загрузки аппаратных ресурсов кластера с графиками по утилизации:

  • процессора;
  • памяти;
  • диска;
  • сети.

Графики доступны с агрегацией:

  • по подам;
  • контроллерам;
  • пространствам имен;
  • узлам.

Мониторинг Kubernetes

Deckhouse настраивает мониторинг параметров «здоровья» Kubernetes и таких его компонентов, как:

  • общая утилизация кластера;
  • связанность узлов Kubernetes между собой (измеряется rtt между всеми узлами);
  • доступность и работоспособность компонентов control plane:
    • etcd;
    • coredns и kube-dns;
    • kube-apiserver и др.
  • синхронизация времени на узлах и др.

Мониторинг Ingress

Подробное описание здесь

Режим расширенного мониторинга

В Deckhouse возможно использование режима расширенного мониторинга, который предоставляет алерты по дополнительным метрикам:

  • свободному месту и inode на дисках узлов,
  • утилизации узлов,
  • доступности подов и образов контейнеров,
  • истечении действия сертификатов,
  • другим событиям кластера.

Алертинг в режиме расширенного мониторинга

Deckhouse предоставляет возможность гибкой настройки алертинга для каждого пространства имён и указания различной степени критичности в зависимости от порога. Можно определить множество порогов для отправки предупреждений в различные пространства имён, например, для следующих параметров:

  • значения свободного места и inodes на диске;
  • утилизация CPU узлов и контейнера;
  • процент ошибок с кодом 5xx на nginx-ingress;
  • количество возможных недоступных подов в Deployment, StatefulSet, DaemonSet.

Алерты

Мониторинг в составе Deckhouse включает уведомления о событиях. Стандартная поставка включает набор базовых предупреждений, охватывающих состояние кластера и его компоненты. Также остается возможность добавлять кастомные алерты.

Отправка алертов во внешние системы

Deckhouse поддерживает отправку алертов с помощью Alertmanager:

  • по протоколу SMTP;
  • в PagerDuty;
  • в Slack;
  • в Telegram;
  • посредством Webhook;
  • по любым другим каналам, поддерживаемым в Alertmanager.

Включенные модули

Схема взаимодействия

Компоненты, устанавливаемые Deckhouse

Компонент Описание
prometheus-main Основной Prometheus, который выполняет scrape каждые 30 секунд (с помощью параметра scrapeInterval можно изменить это значение). Он обрабатывает все правила, отправляет алерты и является основным источником данных.
prometheus-longterm Дополнительный Prometheus, который выполняет scrape данных из основного Prometheus (prometheus-main) каждые 5 минут (с помощью параметра longtermScrapeInterval можно изменить это значение). Используется для продолжительного хранения истории и отображения больших промежутков времени.
trickster Кэширующий прокси, снижающий нагрузку на Prometheus.
aggregating-proxy Агрегирующий и кеширующий прокси, снижающий нагрузку на Prometheus и объединяющий main и longterm в один источник.
memcached Сервис кэширования данных в оперативной памяти.
grafana Управляемая платформа визуализации данных. Включает подготовленные dashboard’ы для всех модулей Deckhouse и некоторых популярных приложений. Grafana умеет работать в режиме высокой доступности, не хранит состояние и настраивается с помощью CRD.
metrics-adapter Компонент, соединяющий Prometheus и Kubernetes metrics API. Включает поддержку HPA в кластере Kubernetes.
vertical-pod-autoscaler Компонент, позволяющий автоматически изменять размер запрошенных ресурсов для подов с целью оптимальной утилизации CPU и памяти.
Различные exporter’ы Подготовленные и подключенные к Prometheus exporter’ы. Список включает множество exporter’ов для всех необходимых метрик: kube-state-metrics, node-exporter, oomkill-exporter, image-availability-exporter и многие другие.

Внешние компоненты

Deckhouse может интегрироваться с большим количеством разнообразных решений следующими способами:

Название Описание
Alertmanagers Alertmanager’ы могут быть подключены к Prometheus и Grafana и находиться как в кластере Deckhouse, так и за его пределами.
Long-term metrics storages Используя протокол remote write, возможно отсылать метрики из Deckhouse в большое количество хранилищ, включающее Cortex, Thanos, VictoriaMetrics.