Управление узлами: custom resources

Описывает runtime-параметры группы узлов.

• spec (объект)

  Обязательный параметр.

  • chaos (объект)

    Настройки chaos monkey.

    Пример:

    mode: DrainAndReboot
    period: 24h
    

    • mode (строка)

      Режим работы chaos monkey:

      • DrainAndDelete — при срабатывании делает узлу drain, затем - удаляет его;
      • Disabled — не трогает данную NodeGroup.

      По умолчанию: "Disabled"

      Допустимые значения: Disabled, DrainAndDelete

    • period (строка)

      В какой интервал времени сработает chaos monkey (указывать можно в golang формате).

      По умолчанию: "6h"

      Шаблон: ^[0-9]+[mh]{1}$

  • cloudInstances (объект)

    Параметры заказа облачных виртуальных машин.

    Внимание! Допустимо использовать только совместно с nodeType: CloudEphemeral.

    • classReference (объект)

      Ссылка на объект InstanceClass. Уникален для каждого cloud-provider-модуля.

      Обязательный параметр.

      • kind (строка)

        Тип объекта (например, OpenStackInstanceClass). Тип объекта указан в документации соответствующего cloud-provider-модуля.

        Допустимые значения: OpenStackInstanceClass, GCPInstanceClass, VsphereInstanceClass, AWSInstanceClass, YandexInstanceClass, AzureInstanceClass

      • name (строка)

        Имя нужного InstanceClass-объекта (например, finland-medium).

    • maxPerZone (целочисленный)

      Максимальное количество инстансов в зоне. Проставляется как верхняя граница в cluster-autoscaler.

      Допустимые значения: 0 <= X

      Обязательный параметр.

    • maxSurgePerZone (целочисленный)

      Сколько инстансов создавать одновременно при scale-up.

      По умолчанию: 1

      Допустимые значения: 0 <= X

    • maxUnavailablePerZone (целочисленный)

      Сколько инстансов может быть недоступно при RollingUpdate’е.

      По умолчанию: 0

      Допустимые значения: 0 <= X

    • minPerZone (целочисленный)

      Минимальное количество инстансов в зоне. Проставляется в объект MachineDeployment и в качестве нижней границы в cluster-autoscaler.

      Допустимые значения: 0 <= X

      Обязательный параметр.

    • standby (строка или число)

      Количество подогретых инстансов для этой NodeGroup.

      Значение может быть абсолютным (например, 2) или процентом желаемых узлов (например, 10%). Абсолютное значение рассчитывается из процента от максимального количества узлов путем округления в меньшую сторону, но минимум — 1.

      Шаблон: ^[0-9]+%?$

    • standbyHolder (объект)

      Параметры “занимателя” ресурсов для подогретых инстансов.

      • notHeldResources (объект)

        Ресурсы, которые не будут заняты.

        • cpu (строка или число)

          Количество CPU.

          Значение может быть абсолютным (например, 1) или в millicore-формате (например, 1500m).

          Шаблон: ^[0-9]+m?$

        • memory (строка или число)

          Количество памяти.

          Значение может быть абсолютным в байтах (например, 128974848) или в Kubernetes-формате с суффиксами: G, Gi, M, Mi (например, 750Mi).

          Шаблон: ^[0-9]+(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$

    • zones (массив строк)

      Переопределение перечня зон, в которых создаются инстансы.

      Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.

      Пример:

      - Helsinki
      - Espoo
      - Tampere
      

  • cri (объект)

    Параметры container runtime.

    • containerd (объект)

      Параметры работы Containerd.

      При настройке этих параметров, cri.type должен быть — Containerd.

      • maxConcurrentDownloads (целочисленный)

        Максимальное количество параллельных потоков загрузки для каждой операции pull.

        По умолчанию: 3

    • docker (объект)

      Параметры настройки Docker.

      • manage (булевый)

        Автоматическое управление версией и параметрами Docker.

        По умолчанию: true

      • maxConcurrentDownloads (целочисленный)

        Максимальное количество потоков одновременного скачивания Docker-образов.

        По умолчанию: 3

    • type (строка)

      Тип сontainer runtime.

      Если не указан, используется значение defaultCRI из первичной конфигурации кластера (параметр cluster-configuration.yaml секрета d8-cluster-configuration в namespace kube-system), которая создается при инсталляции.

      Необязательный параметр.

      Допустимые значения: Docker, Containerd, NotManaged

  • disruptions (объект)

    Параметры обновлений приводящих к возможному простою.

    • approvalMode (строка)

      Режим выдачи разрешения на disruptive обновление.

      • Manual — отключить автоматическую выдачу разрешений на disruption. Когда disruption потребуется – загорится специальный алерт.
      • Automatic — автоматически выдавать разрешения на disruption при обновлении (значение по умолчанию).

      Допустимые значения: Manual, Automatic

      Обязательный параметр.

    • automatic (объект)

      Дополнительные параметры для режима Automatic.

      • drainBeforeApproval (булевый)

        Выгон (draining) pod’ов с узла, перед выдачей разрешения на disruption.

        По умолчанию: true

  • kubelet (объект)

    Параметры настройки kubelet.

    • maxPods (целочисленный)

      Максимальное количество pod’ов на узлах данной NodeGroup.

      По умолчанию: 110

    • rootDir (строка)

      Путь к каталогу для файлов kubelet’а (volume mounts, и т.д.).

      По умолчанию: "/var/lib/kubelet"

  • nodeTemplate (объект)

    Настройки Node-объектов в Kubernetes, которые будут добавлены после регистрации узла.

    Пример:

    labels:
      environment: production
      app: warp-drive-ai
    annotations:
      ai.fleet.com/discombobulate: "true"
    taints:
    - effect: NoExecute
      key: ship-class
      value: frigate
    

    • annotations (объект)

      Аналогично стандартному полю metadata.annotations.

      Пример:

      annotations:
        ai.fleet.com/discombobulate: "true"
      

    • labels (объект)

      Аналогично стандартному полю metadata.labels.

      Пример:

      labels:
        environment: production
        app: warp-drive-ai
      

    • taints (массив объектов)

      Аналогично полю .spec.taints из объекта Node.

      Внимание! Доступны только поля effect, key, value.

      Пример:

      taints:
      - effect: NoExecute
        key: ship-class
        value: frigate
      

      • effect (строка)

        Допустимые значения: NoSchedule, PreferNoSchedule, NoExecute

      • key (строка)
      • value (строка)
  • nodeType (строка)

    Тип узлов, которые представляет эта группа.

    • Cloud — узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере.
    • Static — статический узел, размещенный на железном сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров.
    • Hybrid – статический узел (созданный вручную или любыми внешними инструментами), размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров, на таком узле работает CSI и такой узел управляется cloud-controller-manager’ом (объект Node автоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака, соответствующий ему Node-объект будет удален в Kubernetes).

    Допустимые значения: Cloud, Static, Hybrid

    Обязательный параметр.

  • operatingSystem (объект)

    Параметры операционной системы.

    • manageKernel (булевый)

      Автоматическое управление ядром операционной системы.

      По умолчанию: true

Описывает runtime-параметры группы узлов.

• spec (объект)

  Обязательный параметр.

  • chaos (объект)

    Настройки chaos monkey.

    Пример:

    mode: DrainAndReboot
    period: 24h
    

    • mode (строка)

      Режим работы chaos monkey:

      • DrainAndDelete — при срабатывании делает узлу drain, затем - удаляет его;
      • Disabled — не трогает данную NodeGroup.

      По умолчанию: "Disabled"

      Допустимые значения: Disabled, DrainAndDelete

    • period (строка)

      В какой интервал времени сработает chaos monkey (указывать можно в golang формате).

      По умолчанию: "6h"

      Шаблон: ^[0-9]+[mh]{1}$

  • cloudInstances (объект)

    Параметры заказа облачных виртуальных машин.

    Внимание! Допустимо использовать только совместно с nodeType: CloudEphemeral.

    • classReference (объект)

      Ссылка на объект InstanceClass. Уникален для каждого cloud-provider-модуля.

      Обязательный параметр.

      • kind (строка)

        Тип объекта (например, OpenStackInstanceClass). Тип объекта указан в документации соответствующего cloud-provider-модуля.

        Допустимые значения: OpenStackInstanceClass, GCPInstanceClass, VsphereInstanceClass, AWSInstanceClass, YandexInstanceClass, AzureInstanceClass

      • name (строка)

        Имя нужного InstanceClass-объекта (например, finland-medium).

    • maxPerZone (целочисленный)

      Максимальное количество инстансов в зоне. Проставляется как верхняя граница в cluster-autoscaler.

      Допустимые значения: 0 <= X

      Обязательный параметр.

    • maxSurgePerZone (целочисленный)

      Сколько инстансов создавать одновременно при scale-up.

      По умолчанию: 1

      Допустимые значения: 0 <= X

    • maxUnavailablePerZone (целочисленный)

      Сколько инстансов может быть недоступно при RollingUpdate’е.

      По умолчанию: 0

      Допустимые значения: 0 <= X

    • minPerZone (целочисленный)

      Минимальное количество инстансов в зоне. Проставляется в объект MachineDeployment и в качестве нижней границы в cluster-autoscaler.

      Допустимые значения: 0 <= X

      Обязательный параметр.

    • standby (строка или число)

      Количество подогретых инстансов для этой NodeGroup.

      Значение может быть абсолютным (например, 2) или процентом желаемых узлов (например, 10%). Абсолютное значение рассчитывается из процента от максимального количества узлов путем округления в меньшую сторону, но минимум — 1.

      Шаблон: ^[0-9]+%?$

    • standbyHolder (объект)

      Параметры “занимателя” ресурсов для подогретых инстансов.

      • notHeldResources (объект)

        Ресурсы, которые не будут заняты.

        • cpu (строка или число)

          Количество CPU.

          Значение может быть абсолютным (например, 1) или в millicore-формате (например, 1500m).

          Шаблон: ^[0-9]+m?$

        • memory (строка или число)

          Количество памяти.

          Значение может быть абсолютным в байтах (например, 128974848) или в Kubernetes-формате с суффиксами: G, Gi, M, Mi (например, 750Mi).

          Шаблон: ^[0-9]+(E|P|T|G|M|K|Ei|Pi|Ti|Gi|Mi|Ki)?$

    • zones (массив строк)

      Переопределение перечня зон, в которых создаются инстансы.

      Значение по умолчанию зависит от выбранного облачного провайдера и обычно соответствует всем зонам используемого региона.

      Пример:

      - Helsinki
      - Espoo
      - Tampere
      

  • cri (объект)

    Параметры container runtime.

    • containerd (объект)

      Параметры работы Containerd.

      При настройке этих параметров, cri.type должен быть — Containerd.

      • maxConcurrentDownloads (целочисленный)

        Максимальное количество параллельных потоков загрузки для каждой операции pull.

        По умолчанию: 3

    • type (строка)

      Тип сontainer runtime.

      Если не указан, используется значение defaultCRI из первичной конфигурации кластера (параметр cluster-configuration.yaml секрета d8-cluster-configuration в namespace kube-system), которая создается при инсталляции.

      Необязательный параметр.

      Допустимые значения: Docker, Containerd, NotManaged

  • disruptions (объект)

    Параметры обновлений приводящих к возможному простою.

    • approvalMode (строка)

      Режим выдачи разрешения на disruptive обновление.

      • Manual — отключить автоматическую выдачу разрешений на disruption. Когда disruption потребуется – загорится специальный алерт.
      • Automatic — автоматически выдавать разрешения на disruption при обновлении (значение по умолчанию).

      Допустимые значения: Manual, Automatic

      Обязательный параметр.

    • automatic (объект)

      Дополнительные параметры для режима Automatic.

      • drainBeforeApproval (булевый)

        Выгон (draining) pod’ов с узла, перед выдачей разрешения на disruption.

        По умолчанию: true

  • docker (объект)

    Параметры настройки Docker.

    При настройке этих параметров, cri.type должен быть — Docker.

    • manage (булевый)

      Автоматическое управление версией и параметрами Docker.

      По умолчанию: true

    • maxConcurrentDownloads (целочисленный)

      Максимальное количество потоков одновременного скачивания Docker-образов.

      По умолчанию: 3

  • kubelet (объект)

    Параметры настройки kubelet.

    • maxPods (целочисленный)

      Максимальное количество pod’ов на узлах данной NodeGroup.

      По умолчанию: 110

    • rootDir (строка)

      Путь к каталогу для файлов kubelet’а (volume mounts, и т.д.).

      По умолчанию: "/var/lib/kubelet"

  • kubernetesVersion (строка)

    Желаемая minor-версия Kubernetes.

    По умолчанию соответствует глобально выбранной для кластера версии (см. документацию по установке) или, если таковая не определена, текущей версии control-plane’а.

    Допустимые значения: 1.14, 1.15, 1.16, 1.17, 1.18, 1.19, 1.20, 1.21

    Пример: "1.19"

  • nodeTemplate (объект)

    Настройки Node-объектов в Kubernetes, которые будут добавлены после регистрации узла.

    Пример:

    labels:
      environment: production
      app: warp-drive-ai
    annotations:
      ai.fleet.com/discombobulate: "true"
    taints:
    - effect: NoExecute
      key: ship-class
      value: frigate
    

    • annotations (объект)

      Аналогично стандартному полю metadata.annotations.

      Пример:

      annotations:
        ai.fleet.com/discombobulate: "true"
      

    • labels (объект)

      Аналогично стандартному полю metadata.labels.

      Пример:

      labels:
        environment: production
        app: warp-drive-ai
      

    • taints (массив объектов)

      Аналогично полю .spec.taints из объекта Node.

      Внимание! Доступны только поля effect, key, value.

      Пример:

      taints:
      - effect: NoExecute
        key: ship-class
        value: frigate
      

      • effect (строка)

        Допустимые значения: NoSchedule, PreferNoSchedule, NoExecute

      • key (строка)
      • value (строка)
  • nodeType (строка)

    Тип узлов, которые представляет эта группа.

    • Cloud — узлы для этой группы будут автоматически создаваться (и удаляться) в настроенном облачном провайдере.
    • Static — статический узел, размещенный на железном сервере или виртуальной машине. Узел не управляется cloud-controller-manager’ом, даже если включен один из облачных провайдеров.
    • Hybrid – статический узел (созданный вручную или любыми внешними инструментами), размещенный в том же облаке, с которым настроена интеграция у одного из облачных провайдеров, на таком узле работает CSI и такой узел управляется cloud-controller-manager’ом (объект Node автоматически обогащается информацией о зоне и регионе по данным, полученным от облака; при удалении узла из облака, соответствующий ему Node-объект будет удален в Kubernetes).

    Допустимые значения: Cloud, Static, Hybrid

    Обязательный параметр.

  • operatingSystem (объект)

    Параметры операционной системы.

    • manageKernel (булевый)

      Автоматическое управление ядром операционной системы.

      По умолчанию: true

  • static (объект)

    Параметры статического узла.

    • internalNetworkCIDRs (массив строк)

      CIDR подсети.