Модуль ingress-nginx: Custom Resources

Обязательный параметр

• spec.acceptRequestsFromмассив строк

  Список адресов в формате CIDR, которым разрешено подключаться к контроллеру.

  Независимо от inlet’а всегда проверяется непосредственный адрес (в логах содержится в поле original_address), с которого производится подключение, а не «адрес клиента», который может передаваться в некоторых inlet’ах через заголовки или с использованием proxy protocol.

  Параметр реализован с помощью map module, и если адрес, с которого непосредственно производится подключение, не разрешен – NGINX закрывает соединение (используя return 444).

  По умолчанию к контроллеру можно подключаться с любых адресов.

  • Элемент массивастрока

    Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$

• spec.additionalHeadersобъект

  Дополнительные header’ы, которые будут добавлены к каждому запросу. Указываются в формате ключ: значение(строка).

• spec.additionalLogFieldsобъект

  Дополнительные поля, которые будут добавлены в логи nginx. Указываются в формате ключ: значение(строка).

• spec.annotationValidationEnabledбулевый

  Включить валидацию аннотаций Ingress-правил.

  Требуется версия контроллера 1.9.

  По умолчанию: false

• spec.chaosMonkeyбулевый

  Инструмент, позволяющий систематически вызывать случайные прерывания работы подов контроллера.

  Предназначен для проверки Ingress-контроллера на реальную работу отказоустойчивости.

  По умолчанию: false

• spec.configобъект

  Секция настроек Ingress-контроллера, в которую в формате ключ: значение(строка) можно записать любые возможные опции.

  Внимание! Ошибка в указании опций может привести к отказу в работе Ingress-контроллера.

  Внимание! Не рекомендуется использовать данную опцию, так как не гарантируется обратная совместимость или работоспособность Ingress-контроллера.

• spec.controllerVersionстрока

  Версия NGINX Ingress controller.

  По умолчанию используется версия из настроек модуля.

  Допустимые значения: 1.1, 1.6, 1.9

• spec.customErrorsобъект

  Секция с настройкой кастомизации HTTP-ошибок.

  Если секция определена, все параметры в ней являются обязательными, изменение любого параметра приводит к перезапуску всех NGINX Ingress controller’ов.

  • spec.customErrors.codesмассив строк

    Обязательный параметр

    Список кодов ответа (массив), при которых запрос будет перенаправляться на custom default backend.

    • Элемент массивастрока

      Шаблон: ^[1-5][0-9][0-9]$

  • spec.customErrors.namespaceстрока

    Обязательный параметр

    Имя namespace, в котором будет находиться сервис, используемый как custom default backend.

    Пример:

    namespace: default
    

  • spec.customErrors.serviceNameстрока

    Обязательный параметр

    Имя сервиса, который будет использоваться как custom default backend.

    Пример:

    serviceName: custom-errors-backend-service
    

• spec.defaultSSLCertificateобъект

  Сертификат, который используется:

  • при запросах на catch-all-сервер (подразумевается директива server nginx). На catch-all-сервер попадают запросы, для которых нет соответствующего Ingress-ресурса;
  • для Ingress–ресурсов, в которых не задан secretName в секции tls.

  По умолчанию используется самоподписанный сертификат.

  Внимание! Параметр не влияет на сертификаты, используемые в Ingress-ресурсах модулей Deckhouse. Для указания сертификата, который будет использоваться в Ingress-ресурсах модулей Deckhouse, используйте глобальный параметр modules.https.customCertificate.

  • spec.defaultSSLCertificate.secretRefобъект

    Ссылка на Secret для передачи Ingress-контроллеру.

    • spec.defaultSSLCertificate.secretRef.nameстрока

      Имя Secret’а, содержащего SSL–сертификат.

      Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$

    • spec.defaultSSLCertificate.secretRef.namespaceстрока

      Имя namespace, в котором находится Secret с SSL—сертификатом.

      По умолчанию: "d8-ingress-nginx"

      Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

• spec.disableHTTP2булевый

  Выключить ли HTTP/2.

  По умолчанию: false

• spec.enableIstioSidecarбулевый

  Добавить к подам контроллера аннотации для автоматического инжекта сайдкаров Istio. При включении этого параметра к подам Ingress-контроллера добавляются аннотации sidecar.istio.io/inject: "true" и traffic.sidecar.istio.io/includeOutboundIPRanges: "<Service CIDR>". При создании таких подов к ним автоматически будут добавлены сайдкары Istio с помощью mutating webhook. После этого весь трафик в сторону Service CIDR будет перехватываться сайдкаром.

  Чтобы воспользоваться этой функцией, необходимо доработать прикладные Ingress-ресурсы, добавив аннотации:

  • nginx.ingress.kubernetes.io/service-upstream: "true" — с этой аннотацией Ingress-контроллер будет отправлять запросы на ClusterIP сервиса (из диапазона Service CIDR) вместо того, чтобы слать их напрямую в поды приложения. Сайдкар istio-proxy перехватывает трафик только в сторону диапазона Service CIDR, остальные запросы отправляются напрямую;
  • nginx.ingress.kubernetes.io/upstream-vhost: myservice.myns.svc — с данной аннотацией сайдкар сможет идентифицировать прикладной сервис, для которого предназначен запрос.
• spec.geoIP2объект

  Опции для включения GeoIP2.

  • spec.geoIP2.maxmindEditionIDsмассив строк

    Список ревизий баз данных, которые будут скачаны при старте.

    Подробнее…

    По умолчанию: ["GeoLite2-City","GeoLite2-ASN"]

    • Элемент массивастрока

      Допустимые значения: GeoIP2-Anonymous-IP, GeoIP2-Country, GeoIP2-City, GeoIP2-Connection-Type, GeoIP2-Domain, GeoIP2-ISP, GeoIP2-ASN, GeoLite2-ASN, GeoLite2-Country, GeoLite2-City

  • spec.geoIP2.maxmindLicenseKeyстрока

    Лицензионный ключ для скачивания базы данных GeoIP2.

    Указание ключа в конфигурации включает скачивание базы GeoIP2 при каждом старте контроллера. Подробнее о получении ключа.

• spec.hostPortобъект

  Секция настроек для inlet’а HostPort.

  • spec.hostPort.behindL7Proxyбулевый

    Включает обработку и передачу заголовков X-Forwarded-*.

    Внимание! При использовании этой опции необходимо быть увереным, что запросы к Ingress направляются только от доверенных источников. Одним из способов настройки ограничения может служить опция acceptRequestsFrom.

  • spec.hostPort.httpPortцелочисленный

    Порт для небезопасного подключения по HTTP.

    Если параметр не указан, возможность подключения по HTTP отсутствует.

    Обязательный параметр, если не указан httpsPort.

    Пример:

    httpPort: '80'
    

  • spec.hostPort.httpsPortцелочисленный

    Порт для безопасного подключения по HTTPS.

    Если параметр не указан, возможность подключения по HTTPS отсутствует.

    Обязательный параметр, если не указан httpPort.

    Пример:

    httpsPort: '443'
    

  • spec.hostPort.realIPHeaderстрока

    Заголовок, из которого будет получен настоящий IP-адрес клиента.

    Работает только при включении behindL7Proxy.

    По умолчанию: "X-Forwarded-For"

    Пример:

    realIPHeader: CF-Connecting-IP
    

• spec.hostPortWithProxyProtocolобъект

  Секция настроек для inlet’а HostPortWithProxyProtocol.

  • spec.hostPortWithProxyProtocol.httpPortцелочисленный

    Порт для небезопасного подключения по HTTP.

    Если параметр не указан, возможность подключения по HTTP отсутствует.

    Обязательный параметр, если не указан httpsPort.

    Пример:

    httpPort: '80'
    

  • spec.hostPortWithProxyProtocol.httpsPortцелочисленный

    Порт для безопасного подключения по HTTPS.

    Если параметр не указан, возможность подключения по HTTPS отсутствует.

    Обязательный параметр, если не указан httpPort.

    Пример:

    httpsPort: '443'
    

• spec.hstsбулевый

  Включен ли HSTS (подробнее…).

  По умолчанию: false

• spec.hstsOptionsобъект

  Параметры HTTP Strict Transport Security.

  • spec.hstsOptions.includeSubDomainsбулевый

    Применять ли настройки HSTS ко всем поддоменам сайта.

    По умолчанию: false

  • spec.hstsOptions.maxAgeстрока

    Время в секундах, в течение которого браузер должен помнить, что сайт доступен только с помощью HTTPS.

    По умолчанию: "31536000"

    Шаблон: ^[1-9][0-9]*$

    Пример:

    maxAge: '31536000'
    

  • spec.hstsOptions.preloadбулевый

    Добавлять ли сайт в список предзагрузки.

    Эти списки используются современными браузерами и разрешают подключение к сайту только по HTTPS.

    По умолчанию: false

• spec.ingressClassстрока

  Имя Ingress-класса для обслуживания NGINX Ingress controller.

  Позволяет создать несколько контроллеров для обслуживания одного Ingress-класса.

  Важно! Если указать значение “nginx”, дополнительно будут обрабатываться Ingress-ресурсы без аннотации kubernetes.io/ingress.class или поля spec.ingressClassName.

  По умолчанию: "nginx"

  Шаблон: ^[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*$

  Пример:

  ingressClass: nginx
  

• spec.inletстрока

  Обязательный параметр

  Способ приема трафика из внешней сети. Изменение установленного способа невозможно.

  • LoadBalancer — устанавливается Ingress-контроллер и заказывается сервис с типом LoadBalancer;
  • LoadBalancerWithProxyProtocol — устанавливается Ingress-контроллер и заказывается сервис с типом LoadBalancer. Ingress-контроллер использует proxy-protocol для получения настоящего IP-адреса клиента;

  • HostPort — устанавливается Ingress-контроллер, который доступен на портах узлов через hostPort;

    Требуется обязательная установка параметров в секции spec.HostPort.

  • HostPortWithProxyProtocol — устанавливается Ingress-контроллер, который доступен на портах узлов через hostPort и использует proxy-protocol для получения настоящего IP-адреса клиента;

    Требуется обязательная установка параметров в секции spec.HostPortWithProxyProtocol.

    Внимание! При использовании этого инлета, убедитесь, что запросы к Ingress-контроллеру направляются только от доверенных источников. Одним из способов настройки ограничения может служить параметр acceptRequestsFrom.

  • HostWithFailover — устанавливаются два Ingress-контроллера — основной и резервный. Основной контроллер запускается в hostNetwork. Если поды основного контроллера недоступны, трафик уходит в резервный контроллер;

    Внимание! На одном хосте может быть только один контроллер с данным типом inlet’а.

    Внимание! Необходимо, чтобы на узле были свободны следующие порты: 80, 81, 443, 444, 10354, 10355.

    Внимание! Чтобы поменять инлет, удалите правила iptables и перезапустите поды kube-proxy или перезагрузите узлы, на которых размещались Ingress-контроллеры.

  Допустимые значения: LoadBalancer, LoadBalancerWithProxyProtocol, HostPort, HostPortWithProxyProtocol, HostWithFailover

• spec.legacySSLбулевый

  Включены ли старые версии TLS. Также опция разрешает legacy cipher suites для поддержки старых библиотек и программ: OWASP Cipher String ‘C’ . Подробнее здесь.

  По умолчанию включены только TLSv1.2 и самые новые cipher suites.

• spec.loadBalancerобъект

  Необязательный параметр.

  Секция настроек для inlet’а LoadBalancer.

  • spec.loadBalancer.annotationsобъект

    Аннотации, которые будут проставлены сервису для гибкой настройки балансировщика.

    Внимание! Модуль не учитывает особенности указания аннотаций в различных облаках. Если аннотации для заказа LoadBalancer’а применяются только при создании сервиса, для обновления подобных параметров необходимо будет пересоздать IngressNginxController (или создать новый, затем удалив старый).

  • spec.loadBalancer.behindL7Proxyбулевый

    Включает обработку и передачу заголовков X-Forwarded-*.

    Внимание! При использовании этой опции вы должны быть уверены, что запросы к Ingress направляются только от доверенных источников.

  • spec.loadBalancer.realIPHeaderстрока

    Заголовок, из которого будет получен настоящий IP-адрес клиента.

    Работает только при включении behindL7Proxy.

    По умолчанию: "X-Forwarded-For"

    Пример:

    realIPHeader: CF-Connecting-IP
    

  • spec.loadBalancer.sourceRangesмассив строк

    Список адресов в формате CIDR, которым разрешен доступ на балансировщик.

    Облачный провайдер может не поддерживать данную опцию и игнорировать ее.

    • Элемент массивастрока

      Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$

• spec.loadBalancerWithProxyProtocolобъект

  Необязательный параметр.

  Секция настроек для inlet’а LoadBalancerWithProxyProtocol.

  • spec.loadBalancerWithProxyProtocol.annotationsобъект

    Аннотации, которые будут проставлены сервису для гибкой настройки балансировщика.

    Внимание! Модуль не учитывает особенности указания аннотаций в различных облаках. Если аннотации для заказа LoadBalancer’а применяются только при создании сервиса, для обновления подобных параметров необходимо будет пересоздать IngressNginxController (или создать новый, затем удалив старый).

  • spec.loadBalancerWithProxyProtocol.sourceRangesмассив строк

    Список адресов в формате CIDR, которым разрешен доступ на балансировщик.

    Облачный провайдер может не поддерживать данную опцию и игнорировать ее.

    • Элемент массивастрока

      Шаблон: ^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])(\/(3[0-2]|[1-2][0-9]|[0-9]))$

• spec.maxReplicasцелочисленный

  Максимально количество реплик LoadBalancer и LoadBalancerWithProxyProtocol для HPA.

  По умолчанию: 1

  Допустимые значения: 1 <= X

• spec.minReplicasцелочисленный

  Минимальное количество реплик LoadBalancer и LoadBalancerWithProxyProtocol для HPA.

  По умолчанию: 1

  Допустимые значения: 1 <= X

• spec.nodeSelectorобъект

  Как в spec.nodeSelector у подов.

  Если ничего не указано или указано false, будет использоваться автоматика.

  Формат: стандартный список nodeSelector. Поды инстанса унаследуют это поле как есть.

• spec.resourcesRequestsобъект

  Настройки максимальных значений CPU и memory, которые может запросить под при выборе узла (если VPA выключен, максимальные значения становятся значениями по умолчанию).

  • spec.resourcesRequests.modeстрока

    Обязательный параметр

    Режим управления реквестами ресурсов.

    По умолчанию: "VPA"

    Допустимые значения: VPA, Static

  • spec.resourcesRequests.staticобъект

    Настройки статического режима управления.

    • spec.resourcesRequests.static.cpuстрока

      Значение для реквеста к CPU.

      По умолчанию: "350m"

    • spec.resourcesRequests.static.memoryстрока

      Значение для реквеста к memory.

      По умолчанию: "500Mi"

  • spec.resourcesRequests.vpaобъект

    Настройки VPA режима управления.

    • spec.resourcesRequests.vpa.cpuобъект

      Настройки для CPU.

      • spec.resourcesRequests.vpa.cpu.maxстрока

        Максимальное значение, которое может выставить VPA для реквеста к CPU.

        По умолчанию: "50m"

      • spec.resourcesRequests.vpa.cpu.minстрока

        Минимальное значение, которое может выставить VPA для реквеста к CPU.

        По умолчанию: "10m"

    • spec.resourcesRequests.vpa.memoryобъект

      Значение для запроса memory.

      • spec.resourcesRequests.vpa.memory.maxстрока

        Максимальное значение, которое может выставить VPA для реквеста к memory.

        По умолчанию: "200Mi"

      • spec.resourcesRequests.vpa.memory.minстрока

        Минимальное значение, которое может выставить VPA для реквеста к memory.

        По умолчанию: "50Mi"

    • spec.resourcesRequests.vpa.modeстрока

      Режим работы VPA.

      По умолчанию: "Initial"

      Допустимые значения: Initial, Auto

• spec.tolerationsмассив объектов

  Как в spec.tolerations у подов.

  Если ничего не указано или указано false, будет использоваться автоматика.

  Формат: стандартный список toleration. Поды инстанса унаследуют это поле как есть.

  • spec.tolerations.effectстрока

    Допустимые значения: NoSchedule, PreferNoSchedule, NoExecute

  • spec.tolerations.keyстрока
  • spec.tolerations.operatorстрока

    По умолчанию: "Equal"

    Допустимые значения: Exists, Equal

  • spec.tolerations.tolerationSecondsцелочисленный
  • spec.tolerations.valueстрока
• spec.underscoresInHeadersбулевый

  Разрешены ли нижние подчеркивания в заголовках.

  Подробнее….

  Почему не стоит бездумно это включать.

  По умолчанию: false

• spec.validationEnabledбулевый

  Включить валидацию Ingress-правил.

  По умолчанию: true

• spec.waitLoadBalancerOnTerminatingцелочисленный

  Количество секунд до того, как /healthz начнет возвращать код 500, когда под перейдет в статус Terminating.