ClusterLogDestination

Scope: Cluster
Version: v1alpha1

Описывает параметры хранилища логов, к которому можно подключить бесконечное количество источников.

metadata.name — задаёт имя upstream, который будет использоваться в CR ClusterLoggingConfig.

  • specобъект

    Обязательный параметр

    • elasticsearchобъект
      • authобъект
        • awsAccessKeyстрока

          Закодированный в Base64 AWS ACCESS_KEY.

        • awsAssumeRoleстрока

          ARN роли в IAM.

        • awsRegionстрока

          Регион AWS для аутентификации.

        • awsSecretKeyстрока

          Закодированный в Base64 AWS SECRET_KEY.

        • passwordстрока

          Закодированный в Base64 пароль для Basic-аутентификации.

        • strategyстрока

          Тип аутентификации - Basic или AWS.

          По умолчанию: "Basic"

          Допустимые значения: Basic, AWS

        • userстрока

          Имя пользователя, используемое при Basic-аутентификации.

      • dataStreamEnabledбулевый

        Использовать Datastream для хранения логов (https://www.elastic.co/guide/en/elasticsearch/reference/master/data-streams.html).

        Datastreams производительнее для хранения логов и метрик, но они существуют только в Elasticsearch >= 7.16.X.

        По умолчанию: false

      • docTypeстрока

        Использовать doc_type для индексов. Имеет значение использовать только для Elasticsearch <= 6.X.

        • Для Elasticsearch >= 7.X вам не нужно использовать эту опцию, т.к. все работает по умолчанию;
        • Для Elasticsearch >= 6.X рекомендуемое значение — _doc, т.к. его использование позволит легко обновиться до Elasticsearch версии 7.X;
        • Для Elasticsearch < 6.X вы можете использовать любое значение, которое не начинается с _. Например — logs.
      • endpointстрока

        Обязательный параметр

        Адрес инстанса Elasticsearch.

      • indexстрока

        Имя индекса, куда будут сохранены данные. Это поле можно задать динамически.

      • pipelineстрока

        Имя pipeline, который будет применён к данным перед записью в индекс.

      • tlsобъект

        Настройки защищённого TLS соединения.

        • caFileстрока

          Закодированный в Base64 сертификат CA в формате PEM.

        • clientCrtобъект

          Конфигурация клиентского сертификата.

          • crtFileстрока

            Обязательный параметр

            Закодированный в Base64 сертификат в формате PEM.

            Также, необходимо указать ключ в параметре keyFile.

          • keyFileстрока

            Обязательный параметр

            Закодированный в Base64 ключ в формате PEM.

            Также, необходимо указать сертификат в параметре crtFile.

          • keyPassстрока

            Закодированный в Base64 пароль для ключа.

        • verifyHostnameбулевый

          Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удалённого хоста.

          По умолчанию: true

    • extraLabelsобъект

      Дополнительные label’ы, которыми будут снабжаться записи логов.

      Вы можете использовать простые шаблоны: {{ app }}.

      Некоторые ключи зарезервированы:

      • parsed_data
      • pod
      • pod_labels
      • pod_ip
      • namespace
      • image
      • container
      • node
      • pod_owner

      Подробнее о путях к полям…

      Пример:

      extraLabels:
        forwarder: vector
        key: value
        app_info: "{{ app }}"
        array_member: "{{ array[0] }}"
        symbol_escating_value: "{{ pay\.day }}"
      
    • logstashобъект
      • endpointстрока

        Обязательный параметр

        Адрес приёмника логов.

      • tlsобъект

        Настройки защищённого TLS соединения.

        • caFileстрока

          Закодированный в Base64 сертификат CA в формате PEM.

        • clientCrtобъект

          Конфигурация клиентского сертификата.

          • crtFileстрока

            Обязательный параметр

            Закодированный в Base64 сертификат в формате PEM.

            Также, необходимо указать ключ в параметре keyFile.

          • keyFileстрока

            Обязательный параметр

            Закодированный в Base64 ключ в формате PEM.

            Также, необходимо указать сертификат в параметре crtFile.

          • keyPassстрока

            Закодированный в Base64 пароль для ключа.

        • verifyCertificateбулевый

          Проверка действия TLS-сертификата удаленного хоста.

          По умолчанию: true

        • verifyHostnameбулевый

          Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удалённого хоста.

          По умолчанию: true

    • lokiобъект
      • authобъект
        • passwordстрока

          Закодированный в Base64 пароль для Basic-аутентификации.

        • strategyстрока

          Тип аутентификации — Basic или Bearer`.

          По умолчанию: "Basic"

          Допустимые значения: Basic, Bearer

        • tokenстрока

          Токен для Bearer-аутентификации.

        • userстрока

          Имя пользователя, используемое при Basic-аутентификации.

      • endpointстрока

        Обязательный параметр

        URL для подключения к Loki.

        Агент автоматически добавляет /loki/api/v1/push к URL при отправке данных.

      • tlsобъект

        Настройки защищённого TLS соединения.

        • caFileстрока

          Закодированный в Base64 сертификат CA в формате PEM.

        • clientCrtобъект

          Конфигурация клиентского сертификата

          • crtFileстрока

            Обязательный параметр

            Закодированный в Base64 сертификат в формате PEM.

            Также, необходимо указать ключ в параметре keyFile.

          • keyFileстрока

            Обязательный параметр

            Закодированный в Base64 ключ в формате PEM.

            Также, необходимо указать сертификат в параметре crtFile.

          • keyPassстрока

            Закодированный в Base64 пароль для ключа.

        • verifyHostnameбулевый

          Проверка соответствия имени удаленного хоста и имени, указанного в TLS-сертификате удалённого хоста.

          По умолчанию: true

    • typeстрока

      Возможные бэкенды для сохранения логов.

      Допустимые значения: Loki, Elasticsearch, Logstash

ClusterLoggingConfig

Scope: Cluster
Version: v1alpha1

Описывает источник логов в log-pipeline.

Каждый CustomResource ClusterLoggingConfig описывает правила сбора логов из кластера.

  • specобъект

    Обязательный параметр

    • destinationRefsмассив строк

      Обязательный параметр

      Список бэкендов хранения, в которые будет отправлено сообщение.

    • fileобъект
      • excludeмассив строк

        Список путей и паттернов файлов, которые читать не требуется. Поддерживаются wildcards.

        Пример:

        exclude:
        - "/var/log/nginx/error.log"
        - "/var/log/audit.log"
        
      • includeмассив строк

        Список путей и паттернов для чтения. Поддерживаются wildcards.

        Пример:

        include:
        - "/var/log/*.log"
        - "/var/log/nginx/*.log"
        
      • lineDelimiterстрока

        Задание символа новой строки.

        Пример:

        lineDelimiter: "\\r\\n"
        
    • kubernetesPodsобъект
      • labelSelectorобъект

        Настройка labelSelector позволяет задать фильтр по Pod Labels.

        Подробнее про выражения можно узнать в документации.

        • matchExpressionsмассив объектов

          Список выражений для label, которые должен иметь Pod.

          Пример:

          matchExpressions:
          - key: tier
            operator: In
            values:
            - production
            - staging
          
          • keyстрока
          • operatorстрока

            Допустимые значения: In, NotIn, Exists, DoesNotExist

          • valuesмассив строк
        • matchLabelsобъект

          Список label, которые должен иметь Pod.

          Пример:

          matchLabels:
            foo: bar
            baz: whooo
          
      • namespaceSelectorобъект

        Задать фильтр по Namespace.

        • matchNamesмассив строк
    • logFilterмассив объектов

      Список фильтров для логов.

      Только логи, подпавшие под правила, будут сохранены в хранилище.

      Пример:

      logFilter:
      - field: tier
        operator: Exists
      - field: tier
        operator: In
        values:
        - production
        - staging
      - field: foo
        operator: NotIn
        values: 
        - dev
        - 42
        - "true"
        - "3.14"
      - field: bar
        operator: Regex
        values:
        - ^abc
        - ^\d.+$
      
      • fieldстрока

        Имя поля для фильтрации.

      • operatorстрока

        Оператор, который можно применить для фильтрации:

        • In — ищет сроку или элемент в массиве
        • NotIn — является инверсией оператора In
        • Regex — пытается проверить строку в поле c использование регулярного выражения (только логи, в которых есть поля подпадающие под регулярное выражение пройдут в хранилище)
        • NotRegex — является инверсией оператора Regex, — в хранилище попадут логи, в которых нет поля или же оно не подпадает под регулярное выражение
        • Exists — проверяет наличие поля и пропускает логи только если поле есть
        • DoesNotExist — проверяет наличие поля и пропускает логи только если поле отсутствует

        Допустимые значения: In, NotIn, Regex, NotRegex, Exists, DoesNotExist

      • valuesмассив

        Список регулярных выражений или значений для сравнения.

        Можно использовать целые числа или строки. Поля с числами с плавающей запятой и поля логического типа будут преобразованы в строки при сравнении.

    • multilineParserобъект

      Список паттернов для определения многострочных логов.

      • typeстрока

        Обязательный параметр

        Типы парсеров:

        • None — не парсить логи
        • General — парсер, который пытается сливать логи у которых в начале сообщения стоит пробел или табуляция
        • Backslash — парсер, который парсит многострочные логи в SHELL-формате с обратным слэшом у строк одного сообщения
        • LogWithTime — парсер, который ожидает что любое новое сообщение начинается с временной метки
        • MultilineJSON — простой парсер JSON-логов, который предполагает что новое сообщение начинается с {

        По умолчанию: "None"

        Допустимые значения: None, General, Backslash, LogWithTime, MultilineJSON

    • typeстрока

      Обязательный параметр

      Возможные источники логов.

      KubernetesPods собирает логи с Pod’ов.

      File позволяет читать локальные файлы, доступные на узле.

      Допустимые значения: KubernetesPods, File

PodLoggingConfig

Scope: Namespaced
Version: v1alpha1

CustomResource для описания источника логов в log-pipeline.

Каждый CustomResource PodLoggingConfig описывает правила сбора логов из указанного Namespace.

  • specобъект

    Обязательный параметр

    • clusterDestinationRefsмассив строк

      Обязательный параметр

      Список бэкендов хранения (CRD ClusterLogDestination), в которые будет отправлено сообщение.

    • labelSelectorобъект

      Настройка labelSelector позволяет задать фильтр по Pod Labels.

      Подробнее про выражения можно узнать в документации.

      • matchExpressionsмассив объектов

        Список выражений для label, которые должен иметь Pod.

        Пример:

        matchExpressions:
        - key: tier
          operator: In
          values:
          - production
          - staging
        
        • keyстрока
        • operatorстрока

          Допустимые значения: In, NotIn, Exists, DoesNotExist

        • valuesмассив строк
      • matchLabelsобъект

        Список label, которые должен иметь Pod.

        Пример:

        matchLabels:
          foo: bar
          baz: whooo
        
    • logFilterмассив объектов

      Список фильтров для логов.

      Только логи, подпавшие под правила, будут сохранены в хранилище.

      Пример:

      logFilter:
      - field: tier
        operator: Exists
      - field: tier
        operator: In
        values:
        - production
        - staging
      - field: foo
        operator: NotIn
        values: 
        - dev
        - 42
        - "true"
        - "3.14"
      - field: bar
        operator: Regex
        values:
        - ^abc
        - ^\d.+$
      
      • fieldстрока

        Имя поля для фильтрации.

      • operatorстрока

        Оператор, который можно применить для фильтрации:

        • In — ищет сроку или элемент в массиве
        • NotIn — является инверсией оператора In
        • Regex — пытается проверить строку в поле c использование регулярного выражения (только логи, в которых есть поля подпадающие под регулярное выражение пройдут в хранилище)
        • NotRegex — является инверсией оператора Regex, — в хранилище попадут логи, в которых нет поля или же оно не подпадает под регулярное выражение
        • Exists — проверяет наличие поля и пропускает логи только если поле есть
        • DoesNotExist — проверяет наличие поля и пропускает логи только если поле отсутствует

        Допустимые значения: In, NotIn, Regex, NotRegex, Exists, DoesNotExist

      • valuesмассив

        Список регулярных выражений или значений для сравнения.

        Можно использовать целые числа или строки. Поля с числами с плавающей запятой и поля логического типа будут преобразованы в строки при сравнении.

    • multilineParserобъект

      Список паттернов для опреления многострочных логов

      • typeстрока

        Обязательный параметр

        Типы парсеров:

        • None — не парсить логи
        • General — парсер, который пытается сливать логи у которых в начале сообщения стоит пробел или табуляция
        • Backslash — парсер, который парсит многострочные логи в SHELL-формате с обратным слэшом у строк одного сообщения
        • LogWithTime — парсер, который ожидает что любое новое сообщение начинается с временной метки
        • MultilineJSON — простой парсер JSON-логов, который предполагает что новое сообщение начинается с {

        По умолчанию: "None"

        Допустимые значения: None, General, Backslash, LogWithTime, MultilineJSON