Модуль log-shipper: Custom Resources

ClusterLogDestination

Scope: Cluster
Version: v1alpha1

Описывает параметры хранилища логов, к которому можно подключить бесконечное количество источников.

metadata.name задаёт имя upstream’а, который будет использоваться в ресурсе ClusterLoggingConfig.

• spec

  объект

  Обязательный параметр

  • spec.buffer

    объект

    Параметры буфера.

    • spec.buffer.disk

      объект

      Параметры буфера на диске.

      • spec.buffer.disk.maxSize

        строка или число

        Максимальный размер буфера на диске. Должен быть не меньше ~256 МБ (268435488 байт).

        Вы можете указать размер как простое целое число или как число с одним из следующих суффиксов: E, P, T, G, M, k, Ei, Pi, Ti, Gi, Mi, Ki.

        Подробнее об указании ресурсов:

        • количество kubernetes;
        • единицы ресурсов памяти.

        Шаблон: ^(\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))(([KMGTPE]i)|[numkMGTPE]|([eE](\+|-)?(([0-9]+(\.[0-9]*)?)|(\.[0-9]+))))?$

        Примеры:

        maxSize: 512Mi
        

        maxSize: 268435488
        

    • spec.buffer.memory

      объект
      • spec.buffer.memory.maxEvents

        число

        Максимальное количество событий в буфере.

    • spec.buffer.type

      строка

      Обязательный параметр

      Тип буфера для использования.

      Допустимые значения: Disk, Memory

    • spec.buffer.whenFull

      строка

      Поведение при заполнении буфера.

      По умолчанию: Block

      Допустимые значения: DropNewest, Block

  • spec.elasticsearch

    объект
    • spec.elasticsearch.auth

      объект
      • spec.elasticsearch.auth.awsAccessKey

        строка

        Закодированный в Base64 AWS ACCESS_KEY.

      • spec.elasticsearch.auth.awsAssumeRole

        строка

        ARN роли в IAM.

      • spec.elasticsearch.auth.awsRegion

        строка

        Регион AWS для аутентификации.

      • spec.elasticsearch.auth.awsSecretKey

        строка

        Закодированный в Base64 AWS SECRET_KEY.

      • spec.elasticsearch.auth.password

        строка

        Закодированный в Base64 пароль для Basic-аутентификации.

      • spec.elasticsearch.auth.strategy

        строка

        Тип аутентификации — Basic или AWS.

        По умолчанию: Basic

        Допустимые значения: Basic, AWS

      • spec.elasticsearch.auth.user

        строка

        Имя пользователя, используемое при Basic-аутентификации.

    • spec.elasticsearch.dataStreamEnabled

      булевый

      Использовать Datastream для хранения логов (https://www.elastic.co/guide/en/elasticsearch/reference/master/data-streams.html).

      Datastreams производительнее для хранения логов и метрик, но они существуют только в Elasticsearch >= 7.16.X.

      По умолчанию: false

    • spec.elasticsearch.docType

      строка

      Использовать doc_type для индексов. Имеет смысл использовать только для Elasticsearch <= 6.X.

      • Для Elasticsearch >= 7.X вам не нужно использовать эту опцию, так как все работает по умолчанию.
      • Для Elasticsearch >= 6.X рекомендуемое значение — _doc, так как его использование позволит легко обновиться до Elasticsearch версии 7.X.
      • Для Elasticsearch < 6.X вы можете использовать любое значение, которое не начинается с _. Например, logs.
    • spec.elasticsearch.endpoint

      строка

      Обязательный параметр

      URL для подключения к Elasticsearch.

    • spec.elasticsearch.index

      строка

      Имя индекса, куда будут сохранены данные. Это поле можно задать динамически.

    • spec.elasticsearch.pipeline

      строка

      Имя pipeline, который будет применен к данным перед записью в индекс.

    • spec.elasticsearch.tls

      объект

      Настройки защищенного TLS-соединения.

      • spec.elasticsearch.tls.caFile

        строка

        Закодированный в Base64 сертификат CA в формате PEM.

      • spec.elasticsearch.tls.clientCrt

        объект

        Конфигурация клиентского сертификата.

        • spec.elasticsearch.tls.clientCrt.crtFile

          строка

          Обязательный параметр

          Закодированный в Base64 сертификат в формате PEM.

          Также необходимо указать ключ в параметре keyFile.

        • spec.elasticsearch.tls.clientCrt.keyFile

          строка

          Обязательный параметр

          Закодированный в Base64 ключ в формате PEM.

          Также необходимо указать сертификат в параметре crtFile.

        • spec.elasticsearch.tls.clientCrt.keyPass

          строка

          Закодированный в Base64 пароль для ключа.

      • spec.elasticsearch.tls.secretRef

        объект

        Ссылка на секрет Kubernetes, содержащий сертификат CA (ca.pem), клиентский сертификат (crt.pem), приватный ключ (key.pem) и пароль ключа для клиентского сертификата (keyPass) в формате PEM, закодированном в Base64. Настройки TLS будут переопределены значениями из секрета. Секрет должен находиться в пространстве имён d8-log-shipper и иметь лейбл log-shipper.deckhouse.io/watch-secret: true.

        • spec.elasticsearch.tls.secretRef.name

          строка

          Имя секрета с TLS сертификатами.

      • spec.elasticsearch.tls.verifyCertificate

        булевый

        Проверка TLS-сертификата удаленного хоста. Сертификат не будет проверен на наличие в списках отозванных сертификатов (Certificate Revocation Lists).

        По умолчанию: true

      • spec.elasticsearch.tls.verifyHostname

        булевый

        Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удаленного хоста.

        По умолчанию: true

  • spec.extraLabels

    объект

    Дополнительные label’ы, которыми будут снабжаться записи логов.

    Вы можете использовать простые шаблоны: {{ app }}.

    Некоторые ключи зарезервированы:

    • parsed_data;
    • pod;
    • pod_labels_*;
    • pod_ip;
    • namespace;
    • image;
    • container;
    • node;
    • pod_owner.

    Подробнее о путях к полям…

    Пример:

    extraLabels:
      forwarder: vector
      key: value
      app_info: "{{ app }}"
      array_member: "{{ array[0] }}"
      symbol_escating_value: "{{ pay\\.day }}"
    

  • spec.kafka

    объект
    • spec.kafka.bootstrapServers

      массив строк

      Обязательный параметр

      Список пар адресов (хост:порт) Kafka-брокеров в кластере Kafka, к которым должны подключиться клиенты для получения метаданных (топиков и партиций).

      По умолчанию: []

      Пример:

      bootstrapServers:
      - 10.14.22.123:9092
      - 10.14.23.332:9092
      

      • Элемент массива

        строка

        Шаблон: ^(.+)\:\d{1,5}$

    • spec.kafka.encoding

      объект

      В каком формате закодировать сообщение.

      • spec.kafka.encoding.cef

        объект

        Поля конфигурации, специфичные для CEF. Применяется только в том случае, если для кодирования установлено значение CEF.

        • spec.kafka.encoding.cef.deviceProduct

          строка

          По умолчанию: log-shipper-agent

        • spec.kafka.encoding.cef.deviceVendor

          строка

          По умолчанию: Deckhouse

        • spec.kafka.encoding.cef.deviceVersion

          строка

          По умолчанию: 1

      • spec.kafka.encoding.codec

        строка

        Доступные форматы для кодирования.

        По умолчанию: JSON

        Допустимые значения: JSON, CEF

    • spec.kafka.keyField

      строка

      Позволяет задать поле key_field.

      Примеры:

      keyField: host
      

      keyField: node
      

      keyField: namespace
      

      keyField: parsed_data.app_info
      

    • spec.kafka.sasl

      объект

      Конфигурация аутентификации SASL для взаимодействия с Kafka.

      • spec.kafka.sasl.mechanism

        строка

        Обязательный параметр

        Механизм аутентификации SASL. Поддерживаются только PLAIN и SCRAM-подобные механизмы.

        Допустимые значения: PLAIN, SCRAM-SHA-256, SCRAM-SHA-512

      • spec.kafka.sasl.password

        строка

        Обязательный параметр

        Пароль пользователя.

        Пример:

        password: qwerty
        

      • spec.kafka.sasl.username

        строка

        Обязательный параметр

        Имя пользователя.

        Пример:

        username: username
        

    • spec.kafka.tls

      объект

      Настройки защищенного TLS-соединения.

      • spec.kafka.tls.caFile

        строка

        Закодированный в Base64 сертификат CA в формате PEM.

      • spec.kafka.tls.clientCrt

        объект

        Конфигурация клиентского сертификата.

        • spec.kafka.tls.clientCrt.crtFile

          строка

          Обязательный параметр

          Закодированный в Base64 сертификат в формате PEM.

          Также необходимо указать ключ в параметре keyFile.

        • spec.kafka.tls.clientCrt.keyFile

          строка

          Обязательный параметр

          Закодированный в Base64 ключ в формате PEM.

          Также необходимо указать сертификат в параметре crtFile.

        • spec.kafka.tls.clientCrt.keyPass

          строка

          Закодированный в Base64 пароль для ключа.

      • spec.kafka.tls.secretRef

        объект

        Ссылка на секрет Kubernetes, содержащий сертификат CA (ca.pem), клиентский сертификат (crt.pem), приватный ключ (key.pem) и пароль ключа для клиентского сертификата (keyPass) в формате PEM, закодированном в Base64. Настройки TLS будут переопределены значениями из секрета. Секрет должен находиться в пространстве имён d8-log-shipper и иметь лейбл log-shipper.deckhouse.io/watch-secret: true.

        • spec.kafka.tls.secretRef.name

          строка

          Имя секрета с TLS-сертификатами.

      • spec.kafka.tls.verifyCertificate

        булевый

        Проверка действия TLS-сертификата удаленного хоста.

        По умолчанию: true

      • spec.kafka.tls.verifyHostname

        булевый

        Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удаленного хоста.

        По умолчанию: true

    • spec.kafka.topic

      строка

      Обязательный параметр

      Имя топика в Kafka для записи событий. Этот параметр поддерживает синтаксис шаблонов, что дает возможность динамического создания топиков.

      Примеры:

      topic: logs
      

      topic: logs-{{unit}}-%Y-%m-%d
      

  • spec.logstash

    объект
    • spec.logstash.endpoint

      строка

      Обязательный параметр

      URL для подключения к Logstash.

    • spec.logstash.tls

      объект

      Настройки защищенного TLS-соединения.

      • spec.logstash.tls.caFile

        строка

        Закодированный в Base64 сертификат CA в формате PEM.

      • spec.logstash.tls.clientCrt

        объект

        Конфигурация клиентского сертификата.

        • spec.logstash.tls.clientCrt.crtFile

          строка

          Обязательный параметр

          Закодированный в Base64 сертификат в формате PEM.

          Также необходимо указать ключ в параметре keyFile.

        • spec.logstash.tls.clientCrt.keyFile

          строка

          Обязательный параметр

          Закодированный в Base64 ключ в формате PEM.

          Также необходимо указать сертификат в параметре crtFile.

        • spec.logstash.tls.clientCrt.keyPass

          строка

          Закодированный в Base64 пароль для ключа.

      • spec.logstash.tls.secretRef

        объект

        Ссылка на секрет Kubernetes, содержащий сертификат CA (ca.pem), клиентский сертификат (crt.pem), приватный ключ (key.pem) и пароль ключа для клиентского сертификата (keyPass) в формате PEM, закодированном в Base64. Настройки TLS будут переопределены значениями из секрета. Секрет должен находиться в пространстве имён d8-log-shipper и иметь лейбл log-shipper.deckhouse.io/watch-secret: true.

        • spec.logstash.tls.secretRef.name

          строка

          Имя секрета с TLS-сертификатами.

      • spec.logstash.tls.verifyCertificate

        булевый

        Проверка действия TLS-сертификата удаленного хоста.

        По умолчанию: true

      • spec.logstash.tls.verifyHostname

        булевый

        Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удаленного хоста.

        По умолчанию: true

  • spec.loki

    объект
    • spec.loki.auth

      объект
      • spec.loki.auth.password

        строка

        Закодированный в Base64 пароль для Basic-аутентификации.

      • spec.loki.auth.strategy

        строка

        Используемый тип аутентификации.

        По умолчанию: Basic

        Допустимые значения: Basic, Bearer

      • spec.loki.auth.token

        строка

        Токен для Bearer-аутентификации.

      • spec.loki.auth.user

        строка

        Имя пользователя, используемое при Basic-аутентификации.

    • spec.loki.endpoint

      строка

      Обязательный параметр

      URL для подключения к Loki.

      Агент автоматически добавляет /loki/api/v1/push к URL при отправке данных.

    • spec.loki.tenantID

      строка

      ID тенанта.

      Эта опция используется только для Grafana Cloud. Для локально запущенного Loki опция ни на что не влияет.

    • spec.loki.tls

      объект

      Настройки защищенного TLS-соединения.

      • spec.loki.tls.caFile

        строка

        Закодированный в Base64 сертификат CA в формате PEM.

      • spec.loki.tls.clientCrt

        объект

        Конфигурация клиентского сертификата

        • spec.loki.tls.clientCrt.crtFile

          строка

          Обязательный параметр

          Закодированный в Base64 сертификат в формате PEM.

          Также необходимо указать ключ в параметре keyFile.

        • spec.loki.tls.clientCrt.keyFile

          строка

          Обязательный параметр

          Закодированный в Base64 ключ в формате PEM.

          Также необходимо указать сертификат в параметре crtFile.

        • spec.loki.tls.clientCrt.keyPass

          строка

          Закодированный в Base64 пароль для ключа.

      • spec.loki.tls.secretRef

        объект

        Ссылка на секрет Kubernetes, содержащий сертификат CA (ca.pem), клиентский сертификат (crt.pem), приватный ключ (key.pem) и пароль ключа для клиентского сертификата (keyPass) в формате PEM, закодированном в Base64. Настройки TLS будут переопределены значениями из секрета. Секрет должен находиться в пространстве имён d8-log-shipper и иметь лейбл log-shipper.deckhouse.io/watch-secret: true.

        • spec.loki.tls.secretRef.name

          строка

          Имя секрета с TLS-сертификатами.

      • spec.loki.tls.verifyCertificate

        булевый

        Проверка TLS-сертификата удаленного хоста.

        Если параметр установлен в false, сертификат не проверяется на наличие в списке отозванных сертификатов (Certificate Revocation Lists).

        По умолчанию: true

      • spec.loki.tls.verifyHostname

        булевый

        Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удаленного хоста.

        По умолчанию: true

  • spec.rateLimit

    объект

    Параметр ограничения потока событий, передаваемых в хранилище.

    • spec.rateLimit.excludes

      массив объектов

      Список фильтров для keyField.

      Только логи, НЕ подпадающие под правила, будут ограничены по количеству записей.

      Примеры:

      excludes:
        field: tier
        operator: Exists
      

      excludes:
        field: foo
        operator: NotIn
        values:
        - dev
        - 42
        - 'true'
        - '3.14'
      

      excludes:
        field: bar
        operator: Regex
        values:
        - "^abc"
        - "^\\d.+$"
      

      • spec.rateLimit.excludes.field

        строка

        Обязательный параметр

        Имя поля для фильтрации.

      • spec.rateLimit.excludes.operator

        строка

        Обязательный параметр

        Оператор, который можно применить для фильтрации:

        • In — ищет сроку или элемент в массиве;
        • NotIn — является инверсией оператора In;
        • Regex — пытается проверить строку в поле с использованием регулярного выражения (только логи, в которых есть поля, подпадающие под регулярное выражение, пройдут в хранилище);
        • NotRegex — является инверсией оператора Regex (в хранилище попадут логи, в которых нет поля или же оно не подпадает под регулярное выражение);
        • Exists — проверяет наличие поля и пропускает логи, только если поле есть;
        • DoesNotExist — проверяет наличие поля и пропускает логи, только если поле отсутствует.

        Допустимые значения: In, NotIn, Regex, NotRegex, Exists, DoesNotExist

      • spec.rateLimit.excludes.values

        массив

        Массив значений или регулярных выражений для соответствующих операций. Не работает для операций Exists и DoesNotExist.

        Можно использовать целые числа или строки. Поля с числами с плавающей запятой и поля логического типа будут преобразованы в строки при сравнении.

    • spec.rateLimit.keyField

      строка

      Имя поля лога, значение которого будет хэшировано, чтобы определить, должно ли событие быть ограничено по скорости.

    • spec.rateLimit.linesPerMinute

      число

      Обязательный параметр

      Количество записей в минуту.

  • spec.socket

    объект
    • spec.socket.address

      строка

      Обязательный параметр

      Адрес сокета.

      Шаблон: ^.*:[1-9][0-9]+$

    • spec.socket.encoding

      объект

      В каком формате закодировать сообщение.

      • spec.socket.encoding.cef

        объект

        Поля конфигурации, специфичные для CEF. Применяется только в том случае, если для кодирования установлено значение CEF.

        • spec.socket.encoding.cef.deviceProduct

          строка

          По умолчанию: log-shipper-agent

        • spec.socket.encoding.cef.deviceVendor

          строка

          По умолчанию: Deckhouse

        • spec.socket.encoding.cef.deviceVersion

          строка

          По умолчанию: 1

      • spec.socket.encoding.codec

        строка

        Доступные форматы для кодирования.

        По умолчанию: JSON

        Допустимые значения: Text, JSON, Syslog, CEF, GELF

    • spec.socket.mode

      строка

      Обязательный параметр

      Допустимые значения: TCP, UDP

    • spec.socket.tcp

      объект
      • spec.socket.tcp.tls

        объект

        Настройки защищенного TLS-соединения.

        • spec.socket.tcp.tls.caFile

          строка

          Закодированный в Base64 сертификат CA в формате PEM.

        • spec.socket.tcp.tls.clientCrt

          объект

          Конфигурация клиентского сертификата.

          • spec.socket.tcp.tls.clientCrt.crtFile

            строка

            Обязательный параметр

            Закодированный в Base64 сертификат в формате PEM.

            Также необходимо указать ключ в параметре keyFile.

          • spec.socket.tcp.tls.clientCrt.keyFile

            строка

            Обязательный параметр

            Закодированный в Base64 ключ в формате PEM.

            Также необходимо указать сертификат в параметре crtFile.

          • spec.socket.tcp.tls.clientCrt.keyPass

            строка

            Закодированный в Base64 пароль для ключа.

        • spec.socket.tcp.tls.secretRef

          объект

          Ссылка на секрет Kubernetes, содержащий сертификат CA (ca.pem), клиентский сертификат (crt.pem), приватный ключ (key.pem) и пароль ключа для клиентского сертификата (keyPass) в формате PEM, закодированном в Base64. Настройки TLS будут переопределены значениями из секрета. Секрет должен находиться в пространстве имён d8-log-shipper и иметь лейбл log-shipper.deckhouse.io/watch-secret: true.

          • spec.socket.tcp.tls.secretRef.name

            строка

            Имя секрета с TLS-сертификатами.

      • spec.socket.tcp.verifyCertificate

        булевый

        Проверка действия TLS-сертификата удаленного хоста.

        Если установлено значение false, сертификат не проверяется в списках отзыва сертификатов.

        По умолчанию: true

      • spec.socket.tcp.verifyHostname

        булевый

        Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удаленного хоста.

        По умолчанию: true

  • spec.splunk

    объект
    • spec.splunk.endpoint

      строка

      Обязательный параметр

      Базовый URL для экземпляра Splunk.

      Пример:

      endpoint: https://http-inputs-hec.splunkcloud.com
      

    • spec.splunk.index

      строка

      Имя индекса, куда будут сохранены данные. Это поле можно задать динамически.

    • spec.splunk.tls

      объект

      Настройки защищенного TLS-соединения.

      • spec.splunk.tls.caFile

        строка

        Закодированный в Base64 сертификат CA в формате PEM.

      • spec.splunk.tls.clientCrt

        объект

        Конфигурация клиентского сертификата.

        • spec.splunk.tls.clientCrt.crtFile

          строка

          Обязательный параметр

          Закодированный в Base64 сертификат в формате PEM.

          Также необходимо указать ключ в параметре keyFile.

        • spec.splunk.tls.clientCrt.keyFile

          строка

          Обязательный параметр

          Закодированный в Base64 ключ в формате PEM.

          Также необходимо указать сертификат в параметре crtFile.

        • spec.splunk.tls.clientCrt.keyPass

          строка

          Закодированный в Base64 пароль для ключа.

      • spec.splunk.tls.secretRef

        объект

        Ссылка на секрет Kubernetes, содержащий сертификат CA (ca.pem), клиентский сертификат (crt.pem), приватный ключ (key.pem) и пароль ключа для клиентского сертификата (keyPass) в формате PEM, закодированном в Base64. Настройки TLS будут переопределены значениями из секрета. Секрет должен находиться в пространстве имён d8-log-shipper и иметь лейбл log-shipper.deckhouse.io/watch-secret: true.

        • spec.splunk.tls.secretRef.name

          строка

          Имя секрета с TLS-сертификатами.

      • spec.splunk.tls.verifyCertificate

        булевый

        Проверка действия TLS-сертификата удаленного хоста.

        По умолчанию: true

      • spec.splunk.tls.verifyHostname

        булевый

        Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удаленного хоста.

        По умолчанию: true

    • spec.splunk.token

      строка

      Обязательный параметр

      Токен по умолчанию для Splunk HEC. Если токен не был передан через metadata, будет использовано значение из этого поля.

  • spec.transformations

    массив объектов

    Список трансформаций, которые могут применяться к логам перед отправкой.

    Возможные варианты:

    • ReplaceKeys — заменяет source на target в заданных ключах лейблов.

      Пример:

      transformations:
      - action: ReplaceKeys
        replaceKeys:
          source: "."
          target: "_"
          labels:
            - .pod_labels
      

    • ParseMessage — преобразует поле message из формата, заданного в sourceFormat, в объект. Если это невозможно, поле message остается без изменений.

      Примеры:

      transformations:
      - action: ParseMessage
        parseMessage:
          sourceFormat: String
          string:
            targetField: msg
      

      transformations:
      - action: ParseMessage
        parseMessage:
          sourceFormat: Klog
      - action: ParseMessage
        parseMessage:
          sourceFormat: JSON
          json:
            depth: 1
      - action: ParseMessage
        parseMessage:
          sourceFormat: String
          string:
            targetField: msg
      

    • DropLabels — удаляет указанные лейблы.

      Пример:

      transformations:
      - action: DropLabels
        dropLabels:
          labels:
            - .first
            - .second
      

    • spec.transformations.action

      строка

      Тип трансформации.

      Допустимые значения: ReplaceKeys, ParseMessage, DropLabels

    • spec.transformations.dropLabels

      объект

      Удаление заданных лейблов.

      • spec.transformations.dropLabels.labels

        массив строк

        Обязательный параметр

        Список лейблов, которые необходимо удалить.

        • Элемент массива

          строка

          Шаблон: ^\.[a-zA-Z0-9_\[\]\\\.\-]+$

    • spec.transformations.parseMessage

      объект

      Преобразует поле message в объект.

      • spec.transformations.parseMessage.json

        объект
        • spec.transformations.parseMessage.json.depth

          целочисленный

          Глубина парсинга JSON.

          Допустимые значения: 1 <= X <= 128

      • spec.transformations.parseMessage.sourceFormat

        строка

        Обязательный параметр

        Формат сообщения для преобразования в объект.

        Допустимые значения: String, JSON, Klog, SysLog, CLF, Logfmt

      • spec.transformations.parseMessage.string

        объект
        • spec.transformations.parseMessage.string.targetField

          строка

          Обязательный параметр

          Имя поля, в которое помещается структурированное сообщение.

          Шаблон: ^[a-zA-Z0-9_\\\.\-]+$

    • spec.transformations.replaceKeys

      объект

      Рекурсивная замена всех совпадений шаблона source на значение target в заданных ключах.

      • spec.transformations.replaceKeys.labels

        массив строк

        Обязательный параметр

        Список лейблов, в которых будет выполняться рекурсивная замена.

        • Элемент массива

          строка

          Шаблон: ^\.[a-zA-Z0-9_\[\]\\\.\-]+$

      • spec.transformations.replaceKeys.source

        строка

        Обязательный параметр

        Шаблон для поиска совпадений. Может быть статической строкой или регулярным выражением.

      • spec.transformations.replaceKeys.target

        строка

        Значение, на которое будут заменены все совпадения шаблона.

        По умолчанию:

  • spec.type

    строка

    Возможные бэкенды для сохранения логов.

    Допустимые значения: Loki, Elasticsearch, Logstash, Vector, Kafka, Splunk, Socket

  • spec.vector

    объект
    • spec.vector.endpoint

      строка

      Обязательный параметр

      Адрес для подключения к Vector. Для общения между экземплярами должен использоваться API v2.

      Шаблон: ^(.+):([0-9]{1,5})$

    • spec.vector.tls

      объект

      Настройки защищенного TLS-соединения.

      • spec.vector.tls.caFile

        строка

        Закодированный в Base64 сертификат CA в формате PEM.

      • spec.vector.tls.clientCrt

        объект

        Конфигурация клиентского сертификата.

        • spec.vector.tls.clientCrt.crtFile

          строка

          Обязательный параметр

          Закодированный в Base64 сертификат в формате PEM.

          Также необходимо указать ключ в параметре keyFile.

        • spec.vector.tls.clientCrt.keyFile

          строка

          Обязательный параметр

          Закодированный в Base64 ключ в формате PEM.

          Также необходимо указать сертификат в параметре crtFile.

        • spec.vector.tls.clientCrt.keyPass

          строка

          Закодированный в Base64 пароль для ключа.

      • spec.vector.tls.secretRef

        объект

        Ссылка на секрет Kubernetes, содержащий сертификат CA (ca.pem), клиентский сертификат (crt.pem), приватный ключ (key.pem) и пароль ключа для клиентского сертификата (keyPass) в формате PEM, закодированном в Base64. Настройки TLS будут переопределены значениями из секрета. Секрет должен находиться в пространстве имён d8-log-shipper и иметь лейбл log-shipper.deckhouse.io/watch-secret: true.

        • spec.vector.tls.secretRef.name

          строка

          Имя секрета с TLS-сертификатами.

      • spec.vector.tls.verifyCertificate

        булевый

        Проверка действия TLS-сертификата удаленного хоста.

        По умолчанию: true

      • spec.vector.tls.verifyHostname

        булевый

        Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удаленного хоста.

        По умолчанию: true

ClusterLoggingConfig

Scope: Cluster

PodLoggingConfig

Scope: Namespaced
Version: v1alpha1

Ресурс для описания источника логов в log-pipeline.

Каждый ресурс PodLoggingConfig описывает правила сбора логов из указанного namespace.

• spec

  объект

  Обязательный параметр

  • spec.clusterDestinationRefs

    массив строк

    Обязательный параметр

    Список бэкендов хранения (CRD ClusterLogDestination), в которые будет отправлено сообщение.

  • spec.keepDeletedFilesOpenedFor

    строка

    Указывает время, в течение которого удаленные файлы будут оставаться открытыми для чтения. Vector будет сохранять метаданные подов в течение этого времени, чтобы читать логи из удаленных подов. Эта опция полезна в случаях недоступности хранилища логов или сетевого разделения. Vector будет держать файлы логов открытыми до их окончательной отправки в пункт назначения.

    Применение опции может повлиять на потребление ресурсов Vector и также быть причиной нехватки места на диске из-за удаленных файлов с логами. Используйте с осторожностью.

    Формат - строка, содержащая единицу времени в часах и минутах: 30m, 1h, 2h30m, 24h.

    Шаблон: ^([0-9]+h([0-9]+m)?|[0-9]+m)$

  • spec.labelFilter

    массив объектов

    Список правил для фильтрации логов по их меткам метаданных.

    Пример:

    labelFilter:
    - field: container
      operator: In
      values:
      - nginx
    - field: pod_labels.tier
      operator: Regex
      values:
      - prod-.+
      - stage-.+
    - field: message
      operator: Regex
      values:
      - ".*search_text.*"
    

    • spec.labelFilter.field

      строка

      Обязательный параметр

      Имя метки для использования в фильтре.

      Не должно быть пустым.

      Шаблон: .+

    • spec.labelFilter.operator

      строка

      Обязательный параметр

      Оператор, который можно применить для фильтрации:

      • In — ищет сроку или элемент в массиве;
      • NotIn — является инверсией оператора In;
      • Regex — пытается проверить строку в поле с использованием регулярного выражения (только логи, в которых есть поля, подпадающие под регулярное выражение, пройдут в хранилище);
      • NotRegex — является инверсией оператора Regex (в хранилище попадут логи, в которых нет поля или же оно не подпадает под регулярное выражение);
      • Exists — проверяет наличие поля и пропускает логи, только если поле есть;
      • DoesNotExist — проверяет наличие поля и пропускает логи, только если поле отсутствует.

      Допустимые значения: In, NotIn, Regex, NotRegex, Exists, DoesNotExist

    • spec.labelFilter.values

      массив

      Массив значений или регулярных выражений для соответствующих операций. Не работает для операций Exists и DoesNotExist.

      Можно использовать целые числа или строки. Поля с числами с плавающей запятой и поля логического типа будут преобразованы в строки при сравнении.

  • spec.labelSelector

    объект

    Задаёт фильтр по меткам пода.

    Подробнее про выражения можно узнать в документации.

    • spec.labelSelector.matchExpressions

      массив объектов

      Список выражений для меток, которые должен иметь под, чтобы подпадать под условие фильтра.

      Пример:

      matchExpressions:
      - key: tier
        operator: In
        values:
        - production
        - staging
      

      • spec.labelSelector.matchExpressions.key

        строка

        Имя метки.

      • spec.labelSelector.matchExpressions.operator

        строка

        Оператор сравнения.

        Допустимые значения: In, NotIn, Exists, DoesNotExist

      • spec.labelSelector.matchExpressions.values

        массив строк

        Значение метки.

        • Элемент массива

          строка

          Шаблон: [a-z0-9]([-a-z0-9]*[a-z0-9])?

          Длина: 1..63

    • spec.labelSelector.matchLabels

      объект

      Список меток, которые должен иметь под, чтобы подпадать под условие фильтра.

      Пример:

      matchLabels:
        foo: bar
        baz: who
      

  • spec.logFilter

    массив объектов

    Список фильтров для логов, которые применяются к полям сообщения в формате JSON.

    Только логи, подпавшие под правила, будут сохранены в хранилище.

    Пример:

    logFilter:
    - field: tier
      operator: Exists
    - field: foo
      operator: NotIn
      values:
      - dev
      - 42
      - 'true'
      - '3.14'
    - field: bar
      operator: Regex
      values:
      - "^abc"
      - "^\\d.+$"
    

    • spec.logFilter.field

      строка

      Обязательный параметр

      Имя поля для фильтрации. Должно быть пустым для логов не в JSON-формате.

    • spec.logFilter.operator

      строка

      Обязательный параметр

      Оператор, который можно применить для фильтрации:

      • In — ищет сроку или элемент в массиве;
      • NotIn — является инверсией оператора In;
      • Regex — пытается проверить строку в поле с использованием регулярного выражения (только логи, в которых есть поля, подпадающие под регулярное выражение, пройдут в хранилище);
      • NotRegex — является инверсией оператора Regex (в хранилище попадут логи, в которых нет поля или же оно не подпадает под регулярное выражение);
      • Exists — проверяет наличие поля и пропускает логи, только если поле есть;
      • DoesNotExist — проверяет наличие поля и пропускает логи, только если поле отсутствует.

      Допустимые значения: In, NotIn, Regex, NotRegex, Exists, DoesNotExist

    • spec.logFilter.values

      массив

      Массив значений или регулярных выражений для соответствующих операций. Не работает для операций Exists и DoesNotExist.

      Можно использовать целые числа или строки. Поля с числами с плавающей запятой и поля логического типа будут преобразованы в строки при сравнении.

  • spec.multilineParser

    объект

    Список паттернов для определения многострочных логов.

    • spec.multilineParser.custom

      объект

      Правила парсинга многострочных логов для парсера Custom.

      • spec.multilineParser.custom.endsWhen

        объект

        Условие, при котором находится последняя строчка многострокового лога.

        • spec.multilineParser.custom.endsWhen.notRegex

          строка

          Регулярное выражение, которое считает мэтчем строки, НЕ попавшие в него.

        • spec.multilineParser.custom.endsWhen.regex

          строка

          Регулярное выражение, которое считает мэтчем строки, попавшие в него.

      • spec.multilineParser.custom.startsWhen

        объект

        Условие, при котором находится первая строчка многострокового лога.

        • spec.multilineParser.custom.startsWhen.notRegex

          строка

          Регулярное выражение, которое считает мэтчем строки, НЕ попавшие в него.

        • spec.multilineParser.custom.startsWhen.regex

          строка

          Регулярное выражение, которое считает мэтчем строки, попавшие в него.

    • spec.multilineParser.type

      строка

      Обязательный параметр

      Типы парсеров:

      • None — не парсить логи;
      • General — парсер, который пытается сливать логи, у которых в начале сообщения стоит пробел или табуляция;
      • Backslash — парсер, который парсит многострочные логи в SHELL-формате с обратным слэшем у строк одного сообщения;
      • LogWithTime — парсер, который ожидает, что любое новое сообщение начинается с временной метки;
      • MultilineJSON — простой парсер JSON-логов, который предполагает, что новое сообщение начинается с символа {;
      • Custom - парсер, который парсит многострочные логи в указанном пользователем в spec.multilineParser.custom формате.

      По умолчанию: None

      Допустимые значения: None, General, Backslash, LogWithTime, MultilineJSON, Custom