Стадия жизненного цикла модуля: Общедоступная версия
У модуля есть требования для установки
Модуль observability позволяет собирать метрики и отслеживать состояние управляемых сервисов, запущенных в кластере DKP.
Мониторинг сервисов включён по умолчанию при выполнении следующих требований:
- DKP версии 1.76.0 или выше;
- модуль
promppверсии 3.7.10 или выше (если он используется).
Поддерживаемые сервисы
В данный момент модуль поддерживает мониторинг следующих управляемых сервисов:
| Тип сервиса | Область видимости | У кого есть доступ | Собираемые данные |
|---|---|---|---|
| PostgreSQL | Уровень проекта (неймспейса) | Пользователи соответствующего проекта | Соединения, статистика запросов, репликация, WAL, автоочистка, bgwriter, возраст идентификаторов транзакций |
| Memcached | Уровень проекта (неймспейса) | Пользователи соответствующего проекта | Команды и доля попаданий в кеш, вытеснения, использование памяти и slab-классов, соединения, трафик |
| OpenSearch | Уровень проекта (неймспейса) | Пользователи соответствующего проекта | Шарды по состояниям, операции с индексами и их задержки, документы и размер по индексам, кеши, пулы потоков |
| Kafka | Уровень проекта (неймспейса) | Пользователи соответствующего проекта | Состояние брокера, размеры и офсеты топиков, скорость записи и чтения сообщений, группы консьюмеров, недореплицированные партиции |
| Valkey | Уровень проекта (неймспейса) | Пользователи соответствующего проекта | Использование памяти и CPU, команды, соединения, ключи по базам, персистентность, pub/sub |
Требования к сервисам
- Valkey — агент входит под ACL-пользователем мониторинга, которого модуль
managed-valkeyпередаёт через переменные окруженияOBSERVABILITY_USERNAMEиOBSERVABILITY_PASSWORDпроцесса Valkey. Поддерживается как с TLS (spec.tls), так и без него. - OpenSearch — для инстанса с включённым TLS (
spec.tls) требуется версия модуляmanaged-opensearch, которая создаёт пользователяobservabilityдля мониторинга; его учётные данные передаются агенту через переменные окруженияOBSERVABILITY_USERNAMEиOBSERVABILITY_PASSWORDпроцесса OpenSearch. Инстансы без TLS дополнительной настройки не требуют. - Kafka — поддерживается как с TLS (
spec.tls), так и без него, дополнительная настройка не требуется. - PostgreSQL — требуется роль для мониторинга, см. ниже.
Подключение инстанса PostgreSQL
Чтобы модуль мог собирать метрики с инстанса PostgreSQL, выполните на этом инстансе от имени суперпользователя (или другой роли, у которой уже есть полный доступ к представлениям pg_stat_*) следующие команды:
CREATE ROLE okagent WITH LOGIN;
CREATE SCHEMA okmeter; -- Отделяет вспомогательную функцию от остальной схемы.
GRANT USAGE ON SCHEMA okmeter TO okagent; -- Даёт okagent доступ к вспомогательной схеме.
CREATE OR REPLACE FUNCTION okmeter.pg_stats(text) RETURNS SETOF RECORD AS
$$
DECLARE r record;
BEGIN
FOR r IN EXECUTE 'SELECT r FROM pg_' || $1 || ' r' LOOP RETURN NEXT r;
END LOOP;
RETURN;
END
$$ LANGUAGE plpgsql SECURITY DEFINER; -- Позволяет okagent читать защищённые представления pg_stat_* без дополнительных прав.Агент модуля (opagent) обращается к PostgreSQL через локальный unix-сокет на той же ноде, по пути /controller/run, и подключается без пароля — pg_hba.conf должен разрешать okagent локальное подключение без проверки пароля.
Более простой вариант для PostgreSQL 10 и новее
Начиная с PostgreSQL 10, встроенная роль pg_monitor даёт тот же уровень доступа для мониторинга, что и функция okmeter.pg_stats выше, без создания отдельной схемы и функции:
CREATE ROLE okagent WITH LOGIN;
GRANT pg_monitor TO okagent;Используйте этот вариант вместо схемы и функции, если все ваши инстансы работают на PostgreSQL 10 или новее. Функция okmeter.pg_stats выше дополнительно работает и на версиях PostgreSQL старше 10, где роли pg_monitor ещё не существует.
PostgreSQL 16 и новее
Необязательно: без зарезервированного соединения okagent получит отказ точно так же, как и любой другой клиент, если у инстанса закончатся свободные соединения. Начиная с PostgreSQL 16 выдайте okagent встроенную роль pg_use_reserved_connections и зарезервируйте для неё хотя бы одно соединение — superuser_reserved_connections на несуперпользовательские роли не распространяется:
GRANT pg_use_reserved_connections TO okagent;
ALTER SYSTEM SET reserved_connections = 1;Параметр reserved_connections можно задать только при старте сервера, поэтому для применения изменения потребуется перезапустить PostgreSQL. Убедитесь, что сумма reserved_connections и superuser_reserved_connections меньше max_connections.
Одного зарезервированного соединения достаточно — okagent не держит больше одного подключения к инстансу одновременно. Недоступно на версиях PostgreSQL младше 16.
Дашборды
Для просмотра данных о состоянии сервиса откройте соответствующий дашборд в веб-интерфейсе Deckhouse. Для этого перейдите в раздел «Мониторинг» → «Обзор данных», после чего в вертикальном меню выберите тип сервиса (например, «PostgreSQL» или «OpenSearch») и в выпадающем меню выберите нужный инстанс. Дашборд есть для каждого поддерживаемого типа сервиса: PostgreSQL, Memcached, OpenSearch, Kafka и Valkey.

Алерты
Для сервисов PostgreSQL и OpenSearch доступны следующие алерты:
| Тип сервиса | Название алерта | Описание |
|---|---|---|
| OpenSearch | OpensearchCheckError |
Агент мониторинга не смог собрать метрики с инстанса OpenSearch |
| OpenSearch | OpensearchSplitBrain |
Метрики кластера отдаёт более одного инстанса одного и того же кластера; в кластере больше одного мастер-узла |
| OpenSearch | OpensearchUnassignedShards |
В кластере есть неназначенные шарды; на инстансе из одного узла это обычно означает, что индекс создан с number_of_replicas больше 0 |
| PostgreSQL | PgAutovacuumWorkers |
Исчерпан лимит процессов автоочистки; возможен рост таблиц и деградация производительности |
| PostgreSQL | PgCheckError |
Агент мониторинга не смог собрать метрики с инстанса PostgreSQL |
| PostgreSQL | PgMaxConnections |
Использование пула соединений превышает 95%; новые подключения могут отклоняться |
| PostgreSQL | PgPluginConfig |
Плагин мониторинга PostgreSQL настроен не полностью |
| PostgreSQL | PgReplicationStatus |
Главный сервер потерял репликационное соединение с ведомым сервером; данные на ведомом сервере могут устаревать |
| PostgreSQL | PgTxidWraparound |
Приближение к исчерпанию идентификаторов транзакций; без срочного выполнения VACUUM база данных будет остановлена |
| PostgreSQL | PgWaitingConnections |
Более одного соединения находится в состоянии ожидания; возможна конкуренция за блокировки |
| PostgreSQL | PgWalArchiverFails |
Зафиксированы сбои WAL archiver; возможно накопление WAL-сегментов и исчерпание дискового пространства |
Отключение мониторинга
Мониторинг сервисов управляется лейблом observability.deckhouse.io/servicemonitoring. Его можно задать на неймспейсе (для всех инстансов в проекте) или на конкретном поде (для отдельного инстанса).
Допустимые значения:
| Значение | Сбор метрик | Алерты |
|---|---|---|
enabled |
Да | Да |
no-alerts |
Да | Нет |
disabled |
Нет | Нет |
Если лейбл отсутствует или содержит неподдерживаемое значение, используется режим enabled.
Пример конфигурации:
apiVersion: v1
kind: Namespace
metadata:
name: project-a
labels:
observability.deckhouse.io/servicemonitoring: no-alertsЛейбл на поде может только ужесточить ограничение, заданное на неймспейсе, но не ослабить его. Эффективное значение для инстанса определяется по наиболее строгому правилу: enabled < no-alerts < disabled.
В таблице ниже показано, как определяется эффективное значение в зависимости от значений лейбла на неймспейсе проекта и поде.
| Лейбл на неймспейсе | Лейбл на поде | Эффективное значение |
|---|---|---|
disabled |
Любое значение или не задан | disabled |
| Любое значение или не задан | disabled |
disabled |
no-alerts |
Любое значение, кроме disabled |
no-alerts |
Любое значение, кроме disabled |
no-alerts |
no-alerts |
enabled или не задан |
enabled или не задан |
enabled |
Где запускается агент
Агент разворачивается как DaemonSet на всех узлах кластера. Помимо метрик сервисов он собирает метрики узла (CPU, память, диски, сеть и т. д. — он заменяет node-exporter), поэтому работает и на узлах без отслеживаемых сервисов.
Как и node-exporter, агент читает текстовые файлы Prometheus (*.prom) из каталога /var/run/node-exporter-textfile на узле и отдаёт их как метрики узла с лейблом job="node-exporter". Всё, что записывало в этот каталог собственные метрики узла, продолжает работать без изменений.
Пока на узле ещё работает node-exporter модуля monitoring-kubernetes, агент на этом узле метрики узла не отдаёт: два сборщика никогда не собирают одни и те же ряды одновременно. monitoring-kubernetes начиная с версии 1.1.0 убирает свой node-exporter, когда агент раскатан на все узлы, и агент на каждом узле подхватывает сбор на следующем цикле. Более старый monitoring-kubernetes оставляет свой node-exporter, метрики узла продолжают идти от него, а агент собирает только метрики сервисов. Конкретная версия monitoring-kubernetes не требуется.
Метрики узла
Метрики узла отдаёт встроенный в агент плагин node_exporter. Его ряды имеют job="node-exporter" и лейблы tier="cluster", d8_source="dkp" и node=<имя узла>, а имена и лейблы метрик совпадают с DaemonSet node-exporter модуля monitoring-kubernetes. Существующие дашборды и алерты DKP, построенные на метриках node_*, продолжают работать без изменений.
Собственные устаревшие хостовые метрики агента в модуле не собираются: cpu__*, memory__*, disk__*, net__*, netstat__protocol__packets__*, load_average__* и счётчики CPU, памяти и сети без префикса (user, idle, total, free, in_bytes, out_bytes и т. д.). Если у вас есть собственные запросы на эти метрики, перепишите их на выражения node_exporter по таблице ниже. При переносе меняются две вещи:
- Единицы измерения. Агент публиковал проценты (
cpu__usage__*) и уже посчитанные скорости в секунду (disk__device__*,net__interface__*,swap__io__*); node_exporter публикует сырые счётчики, поэтому в выражении нуженrate()за окно —[R]в таблице, например$__rate_intervalв дашбордах или5mв правилах алертов. - Лейблы.
mount_pointстановитсяmountpoint, блочное устройствоdevice="/dev/sda"—device="sda"(лейблаpci_bdfнет), сетевойinterface—device. Если легенда, порог или группировкаby()зависят от старого имени лейбла, переименуйте его на стороне node_exporter черезlabel_replace, напримерlabel_replace(<expr>, "mount_point", "$1", "mountpoint", "(.*)").
Во всех селекторах node_exporter ниже также нужен job="node-exporter"; для краткости он опущен. Чтобы на одной панели сохранить историю, записанную до обновления, объедините обе стороны: (<выражение node_exporter>) or on(instance) (<устаревшее выражение>) — узел, у которого есть ряды node_*, использует их, а узел только с устаревшими рядами откатывается к ним.
| Семейство | Устаревшая метрика | Используйте вместо неё |
|---|---|---|
| CPU | cpu__usage__<mode> (user, system, nice, iowait, irq, softirq, steal), % |
100 * sum by(instance)(rate(node_cpu_seconds_total{mode="<mode>"}[R])) / sum by(instance)(rate(node_cpu_seconds_total[R])) |
| CPU | user, system, nice, idle, iowait, irq, softirq, steal (job="cpu"), секунды |
sum by(instance)(node_cpu_seconds_total{mode="<mode>"}) |
| CPU | cpu__logical_cores |
count by(instance)(node_cpu_seconds_total{mode="idle"}) |
| CPU | cpu__frequency__mhz{core} |
node_cpu_scaling_frequency_hertz / 1e6 (лейбл cpu вместо core) |
| CPU | cpu__governor{core, governor} |
node_cpu_scaling_governor (лейбл cpu вместо core) |
| CPU | cpu__thermal_throttle__core_throttle_count, cpu__thermal_throttle__package_throttle_count |
node_cpu_core_throttles_total (лейблы package, core), node_cpu_package_throttles_total |
| Память и swap | memory__total, total |
node_memory_MemTotal_bytes |
| Память и swap | memory__available, available |
node_memory_MemAvailable_bytes |
| Память и swap | memory__usage__free, free |
node_memory_MemFree_bytes |
| Память и swap | memory__usage__buffers, buffers |
node_memory_Buffers_bytes |
| Память и swap | memory__usage__cached, cached |
node_memory_Cached_bytes |
| Память и swap | memory__usage__used |
node_memory_MemTotal_bytes - node_memory_MemFree_bytes - node_memory_Buffers_bytes - node_memory_Cached_bytes |
| Память и swap | memory__errors{type="correctable"}, memory__errors{type="uncorrectable"} |
sum by(instance)(node_edac_correctable_errors_total), sum by(instance)(node_edac_uncorrectable_errors_total) |
| Память и swap | swap__total, swap_total |
node_memory_SwapTotal_bytes |
| Память и swap | swap__space__free, swap_free |
node_memory_SwapFree_bytes |
| Память и swap | swap__space__used |
node_memory_SwapTotal_bytes - node_memory_SwapFree_bytes |
| Память и swap | swap_in, swap_out (счётчики) |
node_vmstat_pswpin * 4096, node_vmstat_pswpout * 4096 |
| Память и swap | swap__io__in, swap__io__out (в секунду) |
rate(node_vmstat_pswpin[R]) * 4096, rate(node_vmstat_pswpout[R]) * 4096 |
| Файловые системы | bytes_total |
node_filesystem_size_bytes |
| Файловые системы | bytes_used, disk__partition__bytes_used, disk__partition__space__used |
node_filesystem_size_bytes - node_filesystem_free_bytes |
| Файловые системы | disk__partition__bytes_available, disk__partition__space__available |
node_filesystem_avail_bytes |
| Файловые системы | disk__partition__bytes_reserved, disk__partition__space__reserved |
node_filesystem_free_bytes - node_filesystem_avail_bytes |
| Файловые системы | inodes_total |
node_filesystem_files |
| Файловые системы | inodes_used, disk__partition__inodes__used |
node_filesystem_files - node_filesystem_files_free |
| Файловые системы | disk__partition__inodes__free |
node_filesystem_files_free |
| Файловые системы | disk__partition__read_write |
1 - node_filesystem_readonly |
| Блочные устройства | disk__device__ops__read, disk__device__ops__write |
rate(node_disk_reads_completed_total[R]), rate(node_disk_writes_completed_total[R]) |
| Блочные устройства | disk__device__bytes__read, disk__device__bytes__write |
rate(node_disk_read_bytes_total[R]), rate(node_disk_written_bytes_total[R]) |
| Блочные устройства | disk__device__io_time__read, disk__device__io_time__write |
rate(node_disk_read_time_seconds_total[R]), rate(node_disk_write_time_seconds_total[R]) |
| Блочные устройства | disk__device__io_time__total |
rate(node_disk_io_time_seconds_total[R]) (× 100 = утилизация, %) |
| Сетевые интерфейсы | in_bytes, in_packets, in_errors, in_dropped |
node_network_receive_bytes_total, node_network_receive_packets_total, node_network_receive_errs_total, node_network_receive_drop_total |
| Сетевые интерфейсы | out_bytes, out_packets, out_errors, out_dropped |
node_network_transmit_bytes_total, node_network_transmit_packets_total, node_network_transmit_errs_total, node_network_transmit_drop_total |
| Сетевые интерфейсы | net__interface__bytes__in / __out, net__interface__packets__in / __out, net__interface__errors__in / __out, net__interface__drops__in / __out |
rate(<соответствующий счётчик выше>[R]) |
| Сетевые интерфейсы | mtu |
node_network_mtu_bytes |
| Conntrack | net__conntrack__count |
node_nf_conntrack_entries |
| Conntrack | net__conntrack__max |
node_nf_conntrack_entries_limit |
| Пакеты netstat | netstat__protocol__packets__in{protocol="tcp"}, {protocol="udp"}, {protocol="icmp"} |
node_netstat_Tcp_InSegs, node_netstat_Udp_InDatagrams, node_netstat_Icmp_InMsgs |
| Пакеты netstat | netstat__protocol__packets__out{protocol="tcp"}, {protocol="udp"}, {protocol="icmp"} |
node_netstat_Tcp_OutSegs, node_netstat_Udp_OutDatagrams, node_netstat_Icmp_OutMsgs |
| Пакеты netstat | netstat__protocol__packets__retransmits{protocol="tcp"} |
node_netstat_Tcp_RetransSegs |
| Load average | load_average__1min, ___1min |
node_load1 |
| Load average | load_average__5min, ___5min |
node_load5 |
| Load average | load_average__15min, ___15min |
node_load15 |
У netstat-метрик node_exporter нет лейбла protocol; если запрос группирует по нему, добавьте лейбл через label_replace(<expr>, "protocol", "tcp", "", ""). Всё остальное, что агент собирает на узле, — uname, time__*, raid_*, disk_smart_*, netstat__connections__*, netstat__listen__*, netstat__protocol__packets__errors, cpu_flags, cpu__physical_*, memory__numa__allocated, disk__fs__errors, disk__partition__ops__*, disk__partition__bytes__*, текстовые метрики fs, device, mount_options, hw_address, ipv4_addresses, статус интерфейсов status{job="net"}, net__interface__status, net__ip__status и метрики процессов — по-прежнему собирается под старыми именами.
Метрики пинга
Встроенный в агент плагин monitoring_ping заменяет DaemonSet модуля monitoring-ping. Агент на каждом узле пингует все узлы кластера, которые не помечены как недоступные для планирования (spec.unschedulable) и имеют адрес InternalIP, а также внешние хосты из параметра opagent.pingExternalTargets. Изменения списка узлов или внешних хостов подхватываются без перезапуска агента. Узел, первый адрес InternalIP которого — IPv6-адрес, не пингуется.
Пока на узле работает под monitoring-ping, агент на этом узле не пингует: ряды пинга этого узла продолжают приходить от пода monitoring-ping, и два источника никогда не измеряют одни и те же цели одновременно. Модуль monitoring-ping не меняется и сам не выключается: после выкатки модуля observability с плагином выключите monitoring-ping (d8 platform module disable monitoring-ping); до этого о нём напоминает алерт ObservabilityMonitoringPingModuleEnabled (S8). Со следующего цикла пинга агент пингует на каждом узле, а алерт NodePingPacketLoss создаёт модуль observability.
Имена и лейблы рядов совпадают с рядами модуля monitoring-ping, поэтому дашборды «Nodes ping» и «External ping» продолжают работать без изменений:
| Ряды | Лейблы |
|---|---|
kube_node_ping_packets_sent_total, kube_node_ping_packets_received_total, kube_node_ping_rtt_milliseconds_total, kube_node_ping_rtt_min, kube_node_ping_rtt_max, kube_node_ping_rtt_mdev |
destination_node — имя узла, который пингуется, destination_node_ip_address — его адрес InternalIP |
external_ping_packets_sent_total, external_ping_packets_received_total, external_ping_rtt_milliseconds_total, external_ping_rtt_min, external_ping_rtt_max, external_ping_rtt_mdev |
destination_host — хост из параметра, destination_name — его name или хост, если name не задан |
У всех рядов также есть лейблы job="monitoring-ping", tier="cluster", d8_source="dkp" и node=<имя узла, с которого идёт пинг>.
Внешние хосты задаются в конфигурации модуля observability:
apiVersion: deckhouse.io/v1alpha1
kind: ModuleConfig
metadata:
name: observability
spec:
version: 2
settings:
opagent:
pingExternalTargets:
- host: 8.8.8.8
name: google-dns
- host: ya.ruОграничения: не более 1000 записей, host обязателен, имеет длину от 1 до 253 символов и не состоит из одних пробелов, name — не длиннее 253 символов. Конфигурация, которая их нарушает, отклоняется. Формат host не проверяется: для хоста, который не разрешается в IPv4-адрес, ряды есть, но счётчики пакетов не растут.
Если внешние хосты заданы и в externalTargets модуля monitoring-ping, и в opagent.pingExternalTargets, агент пингует только хосты из opagent.pingExternalTargets; DaemonSet monitoring-ping на тех узлах, где он ещё работает, пингует свой список.