How to run kube-bench in my cluster?

Как запустить kube-bench в кластере?

First, you have to exec in Deckhouse Pod:

1. Зайдите внутрь пода Deckhouse:

shell kubectl -n d8-system exec -ti svc/deckhouse-leader -c deckhouse – bash

shell kubectl -n d8-system exec -ti svc/deckhouse-leader -c deckhouse – bash

Then you have to select which node you want to run kube-bench.

1. Выберите, на каком узле запустить kube-bench.

• Run on random node:

• Запуск на случайном узле:

shell curl -s https://raw.githubusercontent.com/aquasecurity/kube-bench/main/job.yaml | kubectl create -f -

shell curl -s https://raw.githubusercontent.com/aquasecurity/kube-bench/main/job.yaml | kubectl create -f -

• Run on specific node, e.g. control-plane node:

• Запуск на конкретном узле, например на control-plane:

shell curl -s https://raw.githubusercontent.com/aquasecurity/kube-bench/main/job.yaml | kubectl apply -f - –dry-run=client -o json | jq ‘.spec.template.spec.tolerations=[{“operator”: “Exists”}] | .spec.template.spec.nodeSelector={“node-role.kubernetes.io/control-plane”: “”}’ | kubectl create -f -

shell curl -s https://raw.githubusercontent.com/aquasecurity/kube-bench/main/job.yaml | kubectl apply -f - –dry-run=client -o json | jq ‘.spec.template.spec.tolerations=[{“operator”: “Exists”}] | .spec.template.spec.nodeSelector={“node-role.kubernetes.io/control-plane”: “”}’ | kubectl create -f -

Then you can check report:

1. Проверьте результат выполнения:

shell kubectl logs job.batch/kube-bench

shell kubectl logs job.batch/kube-bench

Deckhouse set the log retention period to 7 days. However, according to the security requirements specified in kube-bench, logs should be retained for at least 30 days. Use separate storage for logs if you need to keep logs for more than 7 days.

В Deckhouse установлен срок хранения логов — 7 дней. Однако, в соответствии с требованиями безопасности указанными в kube-bench, логи должны храниться не менее 30 дней. Используйте отдельное хранилище для логов, если вам необходимо хранить логи более 7 дней.

How to collect debug info?

Как собрать информацию для отладки?

We always appreciate helping users with debugging complex issues. Please follow these steps so that we can help you:

Мы всегда рады помочь пользователям с расследованием сложных проблем. Пожалуйста, выполните следующие шаги, чтобы мы смогли вам помочь:

1. Collect all the necessary information by running the following command:

1. Выполните следующую команду, чтобы собрать необходимые данные:

1. Send the archive to the Deckhouse team for further debugging.

1. Отправьте получившийся архив команде Deckhouse для дальнейшего расследования.

Data that will be collected:

• Deckhouse queue state
• global Deckhouse values. Except for the values of kubeRBACProxyCA and registry.dockercfg
• enabled modules list
• list of modules in maintenance mode
• events from all namespaces
• controllers and pods manifests from namespaces owned by Deckhouse
• nodegroups state
• nodes state
• machines state
• instances state
• staticinstances state
• deckhouse pods version
• all deckhousereleases objects
• Deckhouse logs
• machine controller manager logs
• cloud controller manager logs
• cluster autoscaler logs
• Vertical Pod Autoscaler admission controller logs
• Vertical Pod Autoscaler recommender logs
• Vertical Pod Autoscaler updater logs
• Prometheus logs
• all firing alerts from Prometheus

Данные, которые будут собраны:

How to debug pod problems with ephemeral containers?

• состояние очереди Deckhouse;
• Deckhouse values. За исключением значений kubeRBACProxyCA и registry.dockercfg;
• список включенных модулей;
• список модулей в режиме maintenance;
• events из всех пространств имен;
• манифесты controller’ов и подов из всех пространств имен Deckhouse;
• все объекты nodegroups;
• все объекты nodes;
• все объекты machines;
• все объекты instances;
• все объекты staticinstances;
• данные о текущей версии пода deckhouse;
• все объекты deckhousereleases;
• логи Deckhouse;
• логи machine controller manager;
• логи cloud controller manager;
• логи cluster autoscaler;
• логи Vertical Pod Autoscaler admission controller;
• логи Vertical Pod Autoscaler recommender;
• логи Vertical Pod Autoscaler updater;
• логи Prometheus;
• все горящие уведомления в Prometheus.

Run the following command:

Как отлаживать проблемы в подах с помощью ephemeral containers?

shell kubectl -n debug -it --image=ubuntu

Выполните следующую команду:

More info in official documentation.

shell kubectl -n debug -it --image=ubuntu

How to debug node problems with ephemeral containers?

Подробнее можно почитать в официальной документации.

Run the following command:

Как отлаживать проблемы на узлах с помощью ephemeral containers?

shell kubectl debug node/mynode -it –image=ubuntu

Выполните следующую команду:

More info in official documentation.

shell kubectl debug node/mynode -it –image=ubuntu

Подробнее можно почитать в официальной документации.