Стадия жизненного цикла модуля: Общедоступная версия

У модуля есть требования для установки

Модуль observability позволяет собирать метрики и отслеживать состояние управляемых сервисов, запущенных в кластере DKP.

Мониторинг сервисов включён по умолчанию при выполнении следующих требований:

  • DKP версии 1.76.0 или выше;
  • модуль prompp версии 3.7.10 или выше (если он используется).

Поддерживаемые сервисы

В данный момент модуль поддерживает мониторинг следующих управляемых сервисов:

Тип сервиса Область видимости У кого есть доступ Собираемые данные
PostgreSQL Уровень проекта (неймспейса) Пользователи соответствующего проекта Соединения, статистика запросов, репликация, WAL, автоочистка, bgwriter, возраст идентификаторов транзакций
Memcached Уровень проекта (неймспейса) Пользователи соответствующего проекта Команды и доля попаданий в кеш, вытеснения, использование памяти и slab-классов, соединения, трафик
OpenSearch Уровень проекта (неймспейса) Пользователи соответствующего проекта Шарды по состояниям, операции с индексами и их задержки, документы и размер по индексам, кеши, пулы потоков
Kafka Уровень проекта (неймспейса) Пользователи соответствующего проекта Состояние брокера, размеры и офсеты топиков, скорость записи и чтения сообщений, группы консьюмеров, недореплицированные партиции
Valkey Уровень проекта (неймспейса) Пользователи соответствующего проекта Использование памяти и CPU, команды, соединения, ключи по базам, персистентность, pub/sub

Требования к сервисам

  • Valkey — агент входит под ACL-пользователем мониторинга, которого модуль managed-valkey передаёт через переменные окружения OBSERVABILITY_USERNAME и OBSERVABILITY_PASSWORD процесса Valkey. Поддерживается как с TLS (spec.tls), так и без него.
  • OpenSearch — для инстанса с включённым TLS (spec.tls) требуется версия модуля managed-opensearch, которая создаёт пользователя observability для мониторинга; его учётные данные передаются агенту через переменные окружения OBSERVABILITY_USERNAME и OBSERVABILITY_PASSWORD процесса OpenSearch. Инстансы без TLS дополнительной настройки не требуют.
  • Kafka — поддерживается как с TLS (spec.tls), так и без него, дополнительная настройка не требуется.
  • PostgreSQL — требуется роль для мониторинга, см. ниже.

Подключение инстанса PostgreSQL

Чтобы модуль мог собирать метрики с инстанса PostgreSQL, выполните на этом инстансе от имени суперпользователя (или другой роли, у которой уже есть полный доступ к представлениям pg_stat_*) следующие команды:

CREATE ROLE okagent WITH LOGIN;
CREATE SCHEMA okmeter; -- Отделяет вспомогательную функцию от остальной схемы.
GRANT USAGE ON SCHEMA okmeter TO okagent; -- Даёт okagent доступ к вспомогательной схеме.
CREATE OR REPLACE FUNCTION okmeter.pg_stats(text) RETURNS SETOF RECORD AS
$$
DECLARE r record;
BEGIN
    FOR r IN EXECUTE 'SELECT r FROM pg_' || $1 || ' r' LOOP RETURN NEXT r;
    END LOOP;
    RETURN;
END
$$ LANGUAGE plpgsql SECURITY DEFINER; -- Позволяет okagent читать защищённые представления pg_stat_* без дополнительных прав.

Агент модуля (opagent) обращается к PostgreSQL через локальный unix-сокет на той же ноде, по пути /controller/run, и подключается без пароля — pg_hba.conf должен разрешать okagent локальное подключение без проверки пароля.

Более простой вариант для PostgreSQL 10 и новее

Начиная с PostgreSQL 10, встроенная роль pg_monitor даёт тот же уровень доступа для мониторинга, что и функция okmeter.pg_stats выше, без создания отдельной схемы и функции:

CREATE ROLE okagent WITH LOGIN;
GRANT pg_monitor TO okagent;

Используйте этот вариант вместо схемы и функции, если все ваши инстансы работают на PostgreSQL 10 или новее. Функция okmeter.pg_stats выше дополнительно работает и на версиях PostgreSQL старше 10, где роли pg_monitor ещё не существует.

PostgreSQL 16 и новее

Необязательно: без зарезервированного соединения okagent получит отказ точно так же, как и любой другой клиент, если у инстанса закончатся свободные соединения. Начиная с PostgreSQL 16 выдайте okagent встроенную роль pg_use_reserved_connections и зарезервируйте для неё хотя бы одно соединение — superuser_reserved_connections на несуперпользовательские роли не распространяется:

GRANT pg_use_reserved_connections TO okagent;
ALTER SYSTEM SET reserved_connections = 1;

Параметр reserved_connections можно задать только при старте сервера, поэтому для применения изменения потребуется перезапустить PostgreSQL. Убедитесь, что сумма reserved_connections и superuser_reserved_connections меньше max_connections.

Одного зарезервированного соединения достаточно — okagent не держит больше одного подключения к инстансу одновременно. Недоступно на версиях PostgreSQL младше 16.

Дашборды

Для просмотра данных о состоянии сервиса откройте соответствующий дашборд в веб-интерфейсе Deckhouse. Для этого перейдите в раздел «Мониторинг» → «Обзор данных», после чего в вертикальном меню выберите тип сервиса (например, «PostgreSQL» или «OpenSearch») и в выпадающем меню выберите нужный инстанс. Дашборд есть для каждого поддерживаемого типа сервиса: PostgreSQL, Memcached, OpenSearch, Kafka и Valkey.

Просмотр данных мониторинга сервисов

Алерты

Для сервисов PostgreSQL и OpenSearch доступны следующие алерты:

Тип сервиса Название алерта Описание
OpenSearch OpensearchCheckError Агент мониторинга не смог собрать метрики с инстанса OpenSearch
OpenSearch OpensearchSplitBrain Метрики кластера отдаёт более одного инстанса одного и того же кластера; в кластере больше одного мастер-узла
OpenSearch OpensearchUnassignedShards В кластере есть неназначенные шарды; на инстансе из одного узла это обычно означает, что индекс создан с number_of_replicas больше 0
PostgreSQL PgAutovacuumWorkers Исчерпан лимит процессов автоочистки; возможен рост таблиц и деградация производительности
PostgreSQL PgCheckError Агент мониторинга не смог собрать метрики с инстанса PostgreSQL
PostgreSQL PgMaxConnections Использование пула соединений превышает 95%; новые подключения могут отклоняться
PostgreSQL PgPluginConfig Плагин мониторинга PostgreSQL настроен не полностью
PostgreSQL PgReplicationStatus Главный сервер потерял репликационное соединение с ведомым сервером; данные на ведомом сервере могут устаревать
PostgreSQL PgTxidWraparound Приближение к исчерпанию идентификаторов транзакций; без срочного выполнения VACUUM база данных будет остановлена
PostgreSQL PgWaitingConnections Более одного соединения находится в состоянии ожидания; возможна конкуренция за блокировки
PostgreSQL PgWalArchiverFails Зафиксированы сбои WAL archiver; возможно накопление WAL-сегментов и исчерпание дискового пространства

Отключение мониторинга

Мониторинг сервисов управляется лейблом observability.deckhouse.io/servicemonitoring. Его можно задать на неймспейсе (для всех инстансов в проекте) или на конкретном поде (для отдельного инстанса).

Допустимые значения:

Значение Сбор метрик Алерты
enabled Да Да
no-alerts Да Нет
disabled Нет Нет

Если лейбл отсутствует или содержит неподдерживаемое значение, используется режим enabled.

Пример конфигурации:

apiVersion: v1
kind: Namespace
metadata:
  name: project-a
  labels:
    observability.deckhouse.io/servicemonitoring: no-alerts

Лейбл на поде может только ужесточить ограничение, заданное на неймспейсе, но не ослабить его. Эффективное значение для инстанса определяется по наиболее строгому правилу: enabled < no-alerts < disabled. В таблице ниже показано, как определяется эффективное значение в зависимости от значений лейбла на неймспейсе проекта и поде.

Лейбл на неймспейсе Лейбл на поде Эффективное значение
disabled Любое значение или не задан disabled
Любое значение или не задан disabled disabled
no-alerts Любое значение, кроме disabled no-alerts
Любое значение, кроме disabled no-alerts no-alerts
enabled или не задан enabled или не задан enabled

Где запускается агент

Агент разворачивается как DaemonSet на всех узлах кластера. Помимо метрик сервисов он собирает метрики узла (CPU, память, диски, сеть и т. д. — он заменяет node-exporter), поэтому работает и на узлах без отслеживаемых сервисов.

Как и node-exporter, агент читает текстовые файлы Prometheus (*.prom) из каталога /var/run/node-exporter-textfile на узле и отдаёт их как метрики узла с лейблом job="node-exporter". Всё, что записывало в этот каталог собственные метрики узла, продолжает работать без изменений.

Пока на узле ещё работает node-exporter модуля monitoring-kubernetes, агент на этом узле метрики узла не отдаёт: два сборщика никогда не собирают одни и те же ряды одновременно. monitoring-kubernetes начиная с версии 1.1.0 убирает свой node-exporter, когда агент раскатан на все узлы, и агент на каждом узле подхватывает сбор на следующем цикле. Более старый monitoring-kubernetes оставляет свой node-exporter, метрики узла продолжают идти от него, а агент собирает только метрики сервисов. Конкретная версия monitoring-kubernetes не требуется.

Метрики узла

Метрики узла отдаёт встроенный в агент плагин node_exporter. Его ряды имеют job="node-exporter" и лейблы tier="cluster", d8_source="dkp" и node=<имя узла>, а имена и лейблы метрик совпадают с DaemonSet node-exporter модуля monitoring-kubernetes. Существующие дашборды и алерты DKP, построенные на метриках node_*, продолжают работать без изменений.

Собственные устаревшие хостовые метрики агента в модуле не собираются: cpu__*, memory__*, disk__*, net__*, netstat__protocol__packets__*, load_average__* и счётчики CPU, памяти и сети без префикса (user, idle, total, free, in_bytes, out_bytes и т. д.). Если у вас есть собственные запросы на эти метрики, перепишите их на выражения node_exporter по таблице ниже. При переносе меняются две вещи:

  • Единицы измерения. Агент публиковал проценты (cpu__usage__*) и уже посчитанные скорости в секунду (disk__device__*, net__interface__*, swap__io__*); node_exporter публикует сырые счётчики, поэтому в выражении нужен rate() за окно — [R] в таблице, например $__rate_interval в дашбордах или 5m в правилах алертов.
  • Лейблы. mount_point становится mountpoint, блочное устройство device="/dev/sda" — device="sda" (лейбла pci_bdf нет), сетевой interface — device. Если легенда, порог или группировка by() зависят от старого имени лейбла, переименуйте его на стороне node_exporter через label_replace, например label_replace(<expr>, "mount_point", "$1", "mountpoint", "(.*)").

Во всех селекторах node_exporter ниже также нужен job="node-exporter"; для краткости он опущен. Чтобы на одной панели сохранить историю, записанную до обновления, объедините обе стороны: (<выражение node_exporter>) or on(instance) (<устаревшее выражение>) — узел, у которого есть ряды node_*, использует их, а узел только с устаревшими рядами откатывается к ним.

Семейство Устаревшая метрика Используйте вместо неё
CPU cpu__usage__<mode> (user, system, nice, iowait, irq, softirq, steal), % 100 * sum by(instance)(rate(node_cpu_seconds_total{mode="<mode>"}[R])) / sum by(instance)(rate(node_cpu_seconds_total[R]))
CPU user, system, nice, idle, iowait, irq, softirq, steal (job="cpu"), секунды sum by(instance)(node_cpu_seconds_total{mode="<mode>"})
CPU cpu__logical_cores count by(instance)(node_cpu_seconds_total{mode="idle"})
CPU cpu__frequency__mhz{core} node_cpu_scaling_frequency_hertz / 1e6 (лейбл cpu вместо core)
CPU cpu__governor{core, governor} node_cpu_scaling_governor (лейбл cpu вместо core)
CPU cpu__thermal_throttle__core_throttle_count, cpu__thermal_throttle__package_throttle_count node_cpu_core_throttles_total (лейблы package, core), node_cpu_package_throttles_total
Память и swap memory__total, total node_memory_MemTotal_bytes
Память и swap memory__available, available node_memory_MemAvailable_bytes
Память и swap memory__usage__free, free node_memory_MemFree_bytes
Память и swap memory__usage__buffers, buffers node_memory_Buffers_bytes
Память и swap memory__usage__cached, cached node_memory_Cached_bytes
Память и swap memory__usage__used node_memory_MemTotal_bytes - node_memory_MemFree_bytes - node_memory_Buffers_bytes - node_memory_Cached_bytes
Память и swap memory__errors{type="correctable"}, memory__errors{type="uncorrectable"} sum by(instance)(node_edac_correctable_errors_total), sum by(instance)(node_edac_uncorrectable_errors_total)
Память и swap swap__total, swap_total node_memory_SwapTotal_bytes
Память и swap swap__space__free, swap_free node_memory_SwapFree_bytes
Память и swap swap__space__used node_memory_SwapTotal_bytes - node_memory_SwapFree_bytes
Память и swap swap_in, swap_out (счётчики) node_vmstat_pswpin * 4096, node_vmstat_pswpout * 4096
Память и swap swap__io__in, swap__io__out (в секунду) rate(node_vmstat_pswpin[R]) * 4096, rate(node_vmstat_pswpout[R]) * 4096
Файловые системы bytes_total node_filesystem_size_bytes
Файловые системы bytes_used, disk__partition__bytes_used, disk__partition__space__used node_filesystem_size_bytes - node_filesystem_free_bytes
Файловые системы disk__partition__bytes_available, disk__partition__space__available node_filesystem_avail_bytes
Файловые системы disk__partition__bytes_reserved, disk__partition__space__reserved node_filesystem_free_bytes - node_filesystem_avail_bytes
Файловые системы inodes_total node_filesystem_files
Файловые системы inodes_used, disk__partition__inodes__used node_filesystem_files - node_filesystem_files_free
Файловые системы disk__partition__inodes__free node_filesystem_files_free
Файловые системы disk__partition__read_write 1 - node_filesystem_readonly
Блочные устройства disk__device__ops__read, disk__device__ops__write rate(node_disk_reads_completed_total[R]), rate(node_disk_writes_completed_total[R])
Блочные устройства disk__device__bytes__read, disk__device__bytes__write rate(node_disk_read_bytes_total[R]), rate(node_disk_written_bytes_total[R])
Блочные устройства disk__device__io_time__read, disk__device__io_time__write rate(node_disk_read_time_seconds_total[R]), rate(node_disk_write_time_seconds_total[R])
Блочные устройства disk__device__io_time__total rate(node_disk_io_time_seconds_total[R]) (× 100 = утилизация, %)
Сетевые интерфейсы in_bytes, in_packets, in_errors, in_dropped node_network_receive_bytes_total, node_network_receive_packets_total, node_network_receive_errs_total, node_network_receive_drop_total
Сетевые интерфейсы out_bytes, out_packets, out_errors, out_dropped node_network_transmit_bytes_total, node_network_transmit_packets_total, node_network_transmit_errs_total, node_network_transmit_drop_total
Сетевые интерфейсы net__interface__bytes__in / __out, net__interface__packets__in / __out, net__interface__errors__in / __out, net__interface__drops__in / __out rate(<соответствующий счётчик выше>[R])
Сетевые интерфейсы mtu node_network_mtu_bytes
Conntrack net__conntrack__count node_nf_conntrack_entries
Conntrack net__conntrack__max node_nf_conntrack_entries_limit
Пакеты netstat netstat__protocol__packets__in{protocol="tcp"}, {protocol="udp"}, {protocol="icmp"} node_netstat_Tcp_InSegs, node_netstat_Udp_InDatagrams, node_netstat_Icmp_InMsgs
Пакеты netstat netstat__protocol__packets__out{protocol="tcp"}, {protocol="udp"}, {protocol="icmp"} node_netstat_Tcp_OutSegs, node_netstat_Udp_OutDatagrams, node_netstat_Icmp_OutMsgs
Пакеты netstat netstat__protocol__packets__retransmits{protocol="tcp"} node_netstat_Tcp_RetransSegs
Load average load_average__1min, ___1min node_load1
Load average load_average__5min, ___5min node_load5
Load average load_average__15min, ___15min node_load15

У netstat-метрик node_exporter нет лейбла protocol; если запрос группирует по нему, добавьте лейбл через label_replace(<expr>, "protocol", "tcp", "", ""). Всё остальное, что агент собирает на узле, — uname, time__*, raid_*, disk_smart_*, netstat__connections__*, netstat__listen__*, netstat__protocol__packets__errors, cpu_flags, cpu__physical_*, memory__numa__allocated, disk__fs__errors, disk__partition__ops__*, disk__partition__bytes__*, текстовые метрики fs, device, mount_options, hw_address, ipv4_addresses, статус интерфейсов status{job="net"}, net__interface__status, net__ip__status и метрики процессов — по-прежнему собирается под старыми именами.

Метрики пинга

Встроенный в агент плагин monitoring_ping заменяет DaemonSet модуля monitoring-ping. Агент на каждом узле пингует все узлы кластера, которые не помечены как недоступные для планирования (spec.unschedulable) и имеют адрес InternalIP, а также внешние хосты из параметра opagent.pingExternalTargets. Изменения списка узлов или внешних хостов подхватываются без перезапуска агента. Узел, первый адрес InternalIP которого — IPv6-адрес, не пингуется.

Пока на узле работает под monitoring-ping, агент на этом узле не пингует: ряды пинга этого узла продолжают приходить от пода monitoring-ping, и два источника никогда не измеряют одни и те же цели одновременно. Модуль monitoring-ping не меняется и сам не выключается: после выкатки модуля observability с плагином выключите monitoring-ping (d8 platform module disable monitoring-ping); до этого о нём напоминает алерт ObservabilityMonitoringPingModuleEnabled (S8). Со следующего цикла пинга агент пингует на каждом узле, а алерт NodePingPacketLoss создаёт модуль observability.

Имена и лейблы рядов совпадают с рядами модуля monitoring-ping, поэтому дашборды «Nodes ping» и «External ping» продолжают работать без изменений:

Ряды Лейблы
kube_node_ping_packets_sent_total, kube_node_ping_packets_received_total, kube_node_ping_rtt_milliseconds_total, kube_node_ping_rtt_min, kube_node_ping_rtt_max, kube_node_ping_rtt_mdev destination_node — имя узла, который пингуется, destination_node_ip_address — его адрес InternalIP
external_ping_packets_sent_total, external_ping_packets_received_total, external_ping_rtt_milliseconds_total, external_ping_rtt_min, external_ping_rtt_max, external_ping_rtt_mdev destination_host — хост из параметра, destination_name — его name или хост, если name не задан

У всех рядов также есть лейблы job="monitoring-ping", tier="cluster", d8_source="dkp" и node=<имя узла, с которого идёт пинг>.

Внешние хосты задаются в конфигурации модуля observability:

apiVersion: deckhouse.io/v1alpha1
kind: ModuleConfig
metadata:
  name: observability
spec:
  version: 2
  settings:
    opagent:
      pingExternalTargets:
        - host: 8.8.8.8
          name: google-dns
        - host: ya.ru

Ограничения: не более 1000 записей, host обязателен, имеет длину от 1 до 253 символов и не состоит из одних пробелов, name — не длиннее 253 символов. Конфигурация, которая их нарушает, отклоняется. Формат host не проверяется: для хоста, который не разрешается в IPv4-адрес, ряды есть, но счётчики пакетов не растут.

Если внешние хосты заданы и в externalTargets модуля monitoring-ping, и в opagent.pingExternalTargets, агент пингует только хосты из opagent.pingExternalTargets; DaemonSet monitoring-ping на тех узлах, где он ещё работает, пингует свой список.