Доступно в редакциях: Open/CE, BE, SE, SE+, Ultimate/EE, Core, Certified Core/CSE Lite (1.73), Certified Pro/CSE Pro (1.73)
Стадия жизненного цикла модуля: General Availability
Каждые 15 минут модуль анализирует состояние кластера и выполняет вытеснение подов, соответствующих условиям, описанным в активных стратегиях. Вытесненные поды вновь проходят процесс планирования с учетом текущего состояния кластера. Это позволяет перераспределить рабочие нагрузки в соответствие с выбранной стратегией.
Модуль основан на проекте descheduler.
Особенности работы модуля
- Модуль может учитывать класс приоритета пода (параметр spec.priorityClassThreshold), ограничивая работу только подами, у которых класс приоритета ниже заданного порога;
- Модуль не вытесняет под в следующих случаях:
- под находится в пространстве имен
d8-*илиkube-system; - под имеет
priorityClassNamesystem-cluster-criticalилиsystem-node-critical; - под связан с локальным хранилищем;
- под связан с DaemonSet;
- вытеснение пода нарушит Pod Disruption Budget (PDB);
- нет доступных узлов для запуска вытесненного пода.
- под находится в пространстве имен
- Поды с классом приоритета
Best effortвытесняются раньше, чем поды с классамиBurstableиGuaranteed.
Для фильтрации подов и узлов модуль использует механизм labelSelector Kubernetes:
podLabelSelector— ограничивает поды по лейблам;namespaceLabelSelector— фильтрует поды по пространствам имен.nodeLabelSelector— выбирает узлы по лейблам.
Поставщик метрик
Если в кластере зарегистрирована API-группа metrics.k8s.io (например, установлен metrics-server), модуль автоматически обнаруживает её и включает поставщик метрик KubernetesMetrics в политике descheduler. Это позволяет при установленной стратегии утилизации LowNodeUtilization использовать данные о фактическом потреблении ресурсов из Metrics API, а не полагаться исключительно на запросы и лимиты подов. Соответственно, значения в параметрах thresholds и targetThresholds начинают трактоваться как процент от фактического потребления, а не от запросов подов. На стратегию HighNodeUtilization это не влияет: она всегда использует запросы и лимиты подов.
От пользователя не требуется никаких действий: модуль обнаруживает API-группу metrics.k8s.io, отслеживая ресурсы APIService, и настраивает политику автоматически. Если metrics-server установлен после запуска модуля, под descheduler будет автоматически перезапущен с обновлённой политикой.
Если API-группа metrics.k8s.io не зарегистрирована в кластере, модуль оценивает потребление ресурсов на основе запросов и лимитов подов.
Вытеснение в фоновом режиме
Модуль запускает descheduler с включённым feature gate EvictionsInBackground из upstream-проекта (--feature-gates EvictionsInBackground=true). Отдельной настройки модуля для него нет: поведение заложено в модуль и не требует конфигурации.
По умолчанию descheduler рассчитывает, что каждое вытеснение завершается сразу: запрос к eviction API либо выполняется, либо отклоняется. Некоторые нагрузки так вытеснить нельзя. Например, поду, обслуживающему виртуальную машину, сначала требуется живая миграция, которая может занимать минуты и требовать повторных попыток.
Если feature gate включён, вытеснение пода с аннотацией descheduler.alpha.kubernetes.io/request-evict-only считается запросом на запуск вытеснения. Контроллер, которому принадлежит под, отклоняет запрос к eviction API с кодом 429 Too Many Requests и проставляет поду аннотацию descheduler.alpha.kubernetes.io/eviction-in-progress на время фактического вытеснения (например, живой миграции). Descheduler отслеживает такие поды и учитывает их в своих лимитах вытеснения, пока под не будет удалён или пока с него не снимут аннотацию. Благодаря этому он не запускает больше вытеснений, чем разрешено, пока предыдущие ещё выполняются.
Поды без аннотации descheduler.alpha.kubernetes.io/request-evict-only вытесняются как обычно, поэтому в кластерах, где нет нагрузок с собственной политикой вытеснения, ничего не меняется.
Feature gate имеет статус alpha в upstream-проекте descheduler (см. KEP-1397). Сам по себе он ничего не меняет: без контроллера, отвечающего на запрос вытеснения описанным образом, descheduler работает ровно так же, как раньше.
Стратегии
HighNodeUtilization
Концентрирует нагрузку на меньшем числе узлов. Требует настройку планировщика и включение автоматического масштабирования.
Чтобы использовать HighNodeUtilization, необходимо явно указать профиль планировщика high-node-utilization для каждого пода (этот профиль не может быть установлен как профиль по умолчанию).
Стратегия определяет недостаточно нагруженные узлы и вытесняет с них поды, чтобы распределить их компактнее, на меньшем числе узлов.
Недостаточно нагруженный узел — узел, использование ресурсов которого меньше всех пороговых значений, заданных в секции параметров strategies.highNodeUtilization.thresholds.
Стратегия включается параметром spec.strategies.highNodeUtilization.enabled.
В GKE нельзя настроить конфигурацию планировщика по умолчанию, но можно использовать стратегию optimize-utilization или развернуть второй пользовательский планировщик.
Использование ресурсов узла учитывает extended-ресурсы и рассчитывается на основе запросов и лимитов подов (requests and limits), а не их фактического потребления. Такой подход обеспечивает согласованность с работой kube-scheduler, который использует аналогичный принцип при размещении подов на узлах.
Стратегия всегда использует запросы и лимиты подов, независимо от того, доступна ли в кластере API-группа metrics.k8s.io (см. Поставщик метрик).
LowNodeUtilization
Более равномерно нагружает узлы.
Стратегия выявляет недостаточно нагруженные узлы и вытесняет поды с других, избыточно нагруженных узлов. Стратегия предполагает, что пересоздание вытесненных подов произойдет на недостаточно нагруженных узлах (при обычном поведении планировщика).
Недостаточно нагруженный узел — узел, использование ресурсов которого меньше всех пороговых значений, заданных в секции параметров strategies.lowNodeUtilization.thresholds.
Избыточно нагруженный узел — узел, использование ресурсов которого больше хотя бы одного из пороговых значений, заданных в секции параметров strategies.lowNodeUtilization.targetThresholds.
Узлы с использованием ресурсов в диапазоне между thresholds и targetThresholds считаются оптимально используемыми. Поды на таких узлах вытесняться не будут.
Стратегия включается параметром spec.strategies.lowNodeUtilization.enabled.
По умолчанию thresholds и targetThresholds задают абсолютные значения в процентах. Если параметр spec.strategies.lowNodeUtilization.useDeviationThresholds равен true, они отсчитываются от средней нагрузки всех узлов кластера в состоянии Ready: узел считается недостаточно нагруженным, если использование ресурсов на нем не выше среднего значения за вычетом thresholds, и избыточно нагруженным, если выше среднего значения с прибавлением targetThresholds. Например, при средней загрузке CPU 40% параметры thresholds: {cpu: 5} и targetThresholds: {cpu: 5} делают узлы с загрузкой не выше 35% недостаточно нагруженными, а выше 45% избыточно нагруженными. Так стратегия удерживает узлы в коридоре ±5% от среднего значения.
Чтобы вытеснять поды постепенно, задайте параметр spec.strategies.lowNodeUtilization.evictionLimits.node - максимальное количество подов, которые стратегия вытесняет с одного узла за один цикл работы descheduler. Виртуальная машина, которая ещё мигрирует с узла, занимает место в лимите в каждом цикле, поэтому для виртуальных машин параметр фактически ограничивает количество одновременных миграций с одного узла.
Если API-группа metrics.k8s.io в кластере не зарегистрирована, использование ресурсов узла учитывает extended-ресурсы и рассчитывается на основе запросов и лимитов подов (requests and limits), а не их фактического потребления. Такой подход обеспечивает согласованность с работой kube-scheduler, который использует аналогичный принцип при размещении подов на узлах.
Если API-группа metrics.k8s.io зарегистрирована (подробнее — в разделе «Поставщик метрик»), стратегия использует данные о фактическом потреблении ресурсов из Metrics API вместо запросов и лимитов. В этом случае значения, которыми оперирует descheduler, близки к выводу kubectl top, но перестают совпадать с оценкой kube-scheduler: узел с исчерпанными запросами может считаться недостаточно нагруженным, и поды с него вытесняться не будут.
Загрузка CPU, усредненная за 15 минут
Мгновенные значения из Metrics API или запросы подов реагируют на кратковременные всплески нагрузки. Чтобы балансировать узлы по устойчивой нагрузке, задайте параметру spec.strategies.lowNodeUtilization.metricsSource значение Prometheus. Тогда стратегия использует загрузку CPU узла, усредненную за последние 15 минут. Prometheus кластера рассчитывает ее по данным node-exporter.
Как работает стратегия в этом режиме:
- Используется только ключ
cpuизthresholdsиtargetThresholdsкак процент CPU узла. Ключ обязателен в обеих секциях, остальные ключи игнорируются. - Должен быть включен модуль
prometheus. Если модуль выключен, стратегия работает как со значениемDefault, а в логе Deckhouse появляется предупреждение. - С
useDeviationThresholds: trueстратегия удерживает узлы в коридоре вокруг средней по кластеру загрузки CPU за 15 минут. - Стратегия не может оценить вклад одного пода в среднее значение, поэтому за цикл вытесняет с каждого избыточно нагруженного узла один под. Если задан
evictionLimits.node, стратегия вытесняет с каждого избыточно нагруженного узла до указанного количества подов: в этом режиме параметр увеличивает число вытеснений и не ограничивает его. Не задавайтеevictionLimits.nodeс этим источником. - Среднее значение отражает вытеснения с задержкой до 15 минут. При интервале работы
Frequentузел остается избыточно нагруженным несколько циклов после вытеснений и снова теряет поды. С этим источником используйте интервалModerate(15 минут, по умолчанию) илиRare(30 минут). - Если Prometheus недоступен или в нем нет данных хотя бы для одного узла в состоянии Ready (на нем не работает node-exporter или не удается его опросить, либо узел только добавлен и еще не опрошен дважды), стратегия этого ресурса Descheduler пропускает цикл. Остальные ресурсы Descheduler продолжают работать.
Descheduler читает метрики через aggregating-proxy в неймспейсе d8-monitoring с токеном своего ServiceAccount. Модуль выдает доступ на чтение, только пока хотя бы один ресурс Descheduler использует этот режим. Пример приведен на странице «Примеры».
Проверка узла назначения
Начиная с Deckhouse 1.78, в кластерах с включённым модулем control-plane-manager стратегия перед вытеснением пода запрашивает у kube-scheduler предполагаемый узел назначения. kube-scheduler выполняет для пода пробный цикл планирования без исходного узла и возвращает узлы с наибольшей оценкой.
Как стратегия использует ответ:
- Под вытесняется, только если каждый узел с наибольшей оценкой в этом цикле недостаточно нагружен по
thresholdsэтого же ресурса Descheduler. СuseDeviationThresholds: trueэто значит не выше среднего минусthresholds. Собственных порогов у проверки нет. - Если kube-scheduler поместит под на узел, который не является недостаточно нагруженным, или не найдет для него узла, под остается на месте, и стратегия проверяет следующий под того же узла.
- Под также остается на месте, если kube-scheduler не ответил или ответил ошибкой: без проверки стратегия под не вытесняет.
- На время проверки kube-scheduler приостанавливает обычное планирование, поэтому число проверок ограничено. После 5 проверок подов одного избыточно нагруженного узла, не разрешивших вытеснение, узел ждет следующего цикла. После 100 проверок за цикл ресурс Descheduler ничего не вытесняет до следующего цикла. Если под не прошёл проверку из-за отсутствия подходящего узла или из-за того, что не все узлы с наибольшей оценкой недостаточно нагружены, остальные поды того же контроллера на исходном узле в этом цикле не проверяются.
Проверка действует для всех ресурсов Descheduler с lowNodeUtilization и не отключается. В управляемом Kubernetes (модуль control-plane-manager выключен) стратегия работает без нее. Метрика descheduler_simulate_target_check_total считает проверки по результату.
RemoveDuplicates
Предотвращает запуск нескольких подов одного контроллера (ReplicaSet, ReplicationController, StatefulSet) или заданий (Job) на одном узле.
Стратегия следит за тем, чтобы на одном узле не находилось больше одного пода ReplicaSet, ReplicationController, StatefulSet или подов одного задания (Job). Если таких подов два или больше, модуль вытесняет лишние поды, чтобы они лучше распределились по кластеру.
Описанная ситуация может возникнуть, если некоторые узлы кластеры вышли из строя по каким-либо причинам, и поды с них были перемещены на другие узлы. Как только вышедшие из строя узлы снова станут доступны для приема нагрузки, эту стратегию можно будет использовать для выселения дублирующих подов с других узлов.
Стратегия включается параметром strategies.removeDuplicates.enabled.
RemovePodsHavingTooManyRestarts
Стратегия вытесняет с узлов поды со слишком большим количеством перезапусков.
Кандидатами на вытеснение становятся поды, у которых суммарное число перезапусков всех контейнеров, включая init-контейнеры, превышает порог podRestartThreshold.
Полезна для вытеснения подов в состоянии CrashLoopBackOff или с постоянными сбоями,
а также для освобождения ресурсов и возможности планирования новых подов на потенциально более здоровых узлах.
RemovePodsViolatingInterPodAntiAffinity
Вытесняет поды, нарушающие правила inter-pod affinity и anti-affinity.
Стратегия гарантирует, что поды, нарушающие правила inter-pod affinity и anti-affinity, будут удалены с узлов.
Например, если на узле находится Под1, а также Под2 и Под3, имеющие правила anti-affinity, которые запрещают им работать на одном узле с подом Под1, то Под1 будет вытеснен с узла, чтобы Под2 и Под3 смогли работать. Такая ситуация может возникнуть, когда правила inter-pod affinity для Под2 и Под3 создаются когда поды уже запущены на узле.
Стратегия включается параметром strategies.removePodsViolatingInterPodAntiAffinity.enabled.
RemovePodsViolatingNodeAffinity
Вытесняет поды, нарушающие правила node affinity.
Стратегия гарантирует, что все поды, которые нарушают правила node affinity, в конечном счете будут удалены с узлов.
По сути, в зависимости от настроек параметра strategies.removePodsViolatingNodeAffinity.nodeAffinityType,
стратегия превращает правило requiredDuringSchedulingIgnoredDuringExecution node affinity пода в правило requiredDuringSchedulingRequiredDuringExecution, а правило preferredDuringSchedulingIgnoredDuringExecution в правило preferredDuringSchedulingPreferredDuringExecution.
Пример для nodeAffinityType: requiredDuringSchedulingIgnoredDuringExecution. Есть под, который был назначен на узел, соответствующий правилу requiredDuringSchedulingIgnoredDuringExecution node affinity на момент размещения. Если со временем этот узел перестанет удовлетворять правилу node affinity, и если появится другой доступный узел, соответствующий этому правилу, стратегия вытеснит под с узла, на который он был изначально назначен.
Пример для nodeAffinityType: preferredDuringSchedulingIgnoredDuringExecution. Есть под, который был назначен на узел, т.к. на момент размещения отсутствовали другие узлы, удовлетворяющие правилу preferredDuringSchedulingIgnoredDuringExecution node affinity. Если со временем в кластере появится доступный узел, соответствующий этому правилу, стратегия вытеснит под с узла, на который он был изначально назначен.
Стратегия включается параметром strategies.removePodsViolatingNodeAffinity.enabled.
RemovePodsViolatingTopologySpreadConstraint
Стратегия гарантирует, что поды, нарушающие ограничения распределения по топологии, будут вытеснены с узлов. Вытесняется минимальное количество подов, необходимое для приведения доменов топологии в соответствие с maxSkew каждого ограничения.
Стратеги полезна для перебалансировки подов между зонами доступности после восстановления зоны из аварии.
Внешние компоненты
Список стороннего программного обеспечения, используемого в модуле descheduler (информация представлена на английском языке):
-
Descheduler 0.37.0
License: Apache License 2.0
A tool to auto-fix scheduling issues Kubernetes does not cover itself.