|
|
List of required vSphere resources
| Список необходимых ресурсов vSphere
|
- User with required set of permissions.
- Network with DHCP server and access to the Internet
- Datacenter with a tag in
k8s-region category.
- Cluster with a tag in
k8s-zone category.
- Datastore with required tags.
- Template — prepared VM image.
|
- User с необходимым набором прав.
- Network с DHCP и доступом в интернет.
- Datacenter с соответствующим тегом
k8s-region .
- Cluster с соответствующим тегом
k8s-zone .
- Datastore в любом количестве с соответствующими тегами.
- Template — подготовленный образ виртуальной машины.
|
vSphere configuration
| Конфигурация vSphere
|
Installing govc
| Установка govc
|
You’ll need the vSphere CLI — govc — to proceed with the rest of the guide.
| Для дальнейшей конфигурации vSphere вам понадобится vSphere CLI — govc.
|
After the installation is complete, set the environment variables required to work with vCenter:
| После установки задайте переменные окружения для работы с vCenter:
|
shell
export GOVC_URL=example.com
export GOVC_USERNAME=@vsphere.local
export GOVC_PASSWORD=
export GOVC_INSECURE=1
| shell
export GOVC_URL=example.com
export GOVC_USERNAME=@vsphere.local
export GOVC_PASSWORD=
export GOVC_INSECURE=1
|
| Создание тегов и категорий тегов
|
Instead of “regions” and “zones”, VMware vSphere provides Datacenter and Cluster objects. We will use tags to match them with “regions”/”zones”. These tags fall into two categories: one for “regions” tags and the other for “zones” tags.
| В VMware vSphere нет понятий «регион» и «зона». «Регионом» в vSphere является Datacenter , а «зоной» — Cluster . Для создания этой связи используются теги.
|
Create a tag category using the following commands:
| Создайте категории тегов с помощью команд:
|
shell
govc tags.category.create -d “Kubernetes Region” k8s-region
govc tags.category.create -d “Kubernetes Zone” k8s-zone
| shell
govc tags.category.create -d “Kubernetes Region” k8s-region
govc tags.category.create -d “Kubernetes Zone” k8s-zone
|
Create tags in each category. If you intend to use multiple “zones” (Cluster ), create a tag for each one of them:
| Создайте теги в каждой категории. Если вы планируете использовать несколько «зон» (Cluster ), создайте тег для каждой из них:
|
shell
govc tags.create -d “Kubernetes Region” -c k8s-region test-region
govc tags.create -d “Kubernetes Zone Test 1” -c k8s-zone test-zone-1
govc tags.create -d “Kubernetes Zone Test 2” -c k8s-zone test-zone-2
| shell
govc tags.create -d “Kubernetes Region” -c k8s-region test-region
govc tags.create -d “Kubernetes Zone Test 1” -c k8s-zone test-zone-1
govc tags.create -d “Kubernetes Zone Test 2” -c k8s-zone test-zone-2
|
Attach the “region” tag to Datacenter :
| Назначьте тег «региона» на Datacenter :
|
shell
govc tags.attach -c k8s-region test-region /
| shell
govc tags.attach -c k8s-region test-region /
|
Attach “zone” tags to the Cluster objects:
| Назначьте теги «зон» на объекты Cluster :
|
shell
govc tags.attach -c k8s-zone test-zone-1 //host/
govc tags.attach -c k8s-zone test-zone-2 //host/
| shell
govc tags.attach -c k8s-zone test-zone-1 //host/
govc tags.attach -c k8s-zone test-zone-2 //host/
|
Datastore configuration
| Конфигурация Datastore
|
For dynamic PersistentVolume provisioning, a Datastore must be available on each ESXi host (shared datastore).
| Для динамического заказа PersistentVolume необходимо, чтобы Datastore был доступен на каждом хосте ESXi (shared datastore).
|
Assign the “region” and “zone” tags to the Datastore objects to automatically create a StorageClass in the Kubernetes cluster:
| Для автоматического создания StorageClass в кластере Kubernetes назначьте созданные ранее теги «региона» и «зоны» на объекты Datastore :
|
shell
govc tags.attach -c k8s-region test-region //datastore/
govc tags.attach -c k8s-zone test-zone-1 //datastore/
| shell
govc tags.attach -c k8s-region test-region //datastore/
govc tags.attach -c k8s-zone test-zone-1 //datastore/
|
govc tags.attach -c k8s-region test-region //datastore/
govc tags.attach -c k8s-zone test-zone-2 //datastore/
| govc tags.attach -c k8s-region test-region //datastore/
govc tags.attach -c k8s-zone test-zone-2 //datastore/
|
Creating and assigning a role
| Создание и назначение роли
|
We’ve intentionally skipped User creation since there are many ways to authenticate a user in the vSphere.
| Ввиду разнообразия подключаемых к vSphere SSO-провайдеров шаги по созданию пользователя в данной статье не рассматриваются.
|
This all-encompassing Role should be enough for all Deckhouse components. For a detailed list of privileges, refer to the documentation. If you need a more granular Role, please contact your Deckhouse support.
| Роль, которую предлагается создать далее, включает в себя все возможные права для всех компонентов Deckhouse.
Для получения детального списка привилегий, обратитесь к документации.
При необходимости получения более гранулярных прав обратитесь в техподдержку Deckhouse.
|
Create a role with the corresponding permissions:
| Создайте роль с необходимыми правами:
|
shell
govc role.create deckhouse
Cns.Searchable Datastore.AllocateSpace Datastore.Browse Datastore.FileManagement
Global.GlobalTag Global.SystemTag Network.Assign StorageProfile.View
$(govc role.ls Admin | grep -F -e ‘Folder.’ -e ‘InventoryService.’ -e ‘Resource.’ -e ‘VirtualMachine.’)
| shell
govc role.create deckhouse
Cns.Searchable Datastore.AllocateSpace Datastore.Browse Datastore.FileManagement
Global.GlobalTag Global.SystemTag Network.Assign StorageProfile.View
$(govc role.ls Admin | grep -F -e ‘Folder.’ -e ‘InventoryService.’ -e ‘Resource.’ -e ‘VirtualMachine.’)
|
Assign the role to a user on the vCenter object:
| Назначьте пользователю роль на объекте vCenter :
|
shell
govc permissions.set -principal @vsphere.local -role deckhouse /
| shell
govc permissions.set -principal @vsphere.local -role deckhouse /
|
Preparing a virtual machine image
| Подготовка образа виртуальной машины
|
It is recommended to use a pre-built cloud image/OVA file provided by the OS vendor to create a Template :
| Для создания шаблона виртуальной машины (Template ) рекомендуется использовать готовый cloud-образ/OVA-файл, предоставляемый вендором ОС:
|
|
|
Virtual machine image requirements
| Если вы планируете использовать дистрибутив отечественной ОС, обратитесь к вендору ОС для получения образа/OVA-файла.
|
Deckhouse uses cloud-init to configure a virtual machine after startup. To do this, the following packages must be installed in the image:
| Требования к образу виртуальной машины
|
| Deckhouse использует cloud-init для настройки виртуальной машины после запуска. Для этого в образе должны быть установлены следующие пакеты:
|
To add SSH keys to user’s authorized keys, the default_user parameter must be specified in the /etc/cloud/cloud.cfg file.
|
|
Infrastructure
| Для добавления SSH-ключа, в файле /etc/cloud/cloud.cfg должен быть указан параметр default_user .
|
Networking
| Инфраструктура
|
A VLAN with DHCP and Internet access is required for the running cluster:
- If the VLAN is public (public addresses), then you have to create a second network to deploy cluster nodes (DHCP is not needed in this network).
- If the VLAN is private (private addresses), then this network can be used for cluster nodes.
| Сети
|
Inbound traffic
| Для работы кластера необходим VLAN с DHCP и доступом в интернет:
- Если VLAN публичный (публичные адреса), нужна вторая сеть, в которой необходимо развернуть сеть узлов кластера (в этой сети DHCP не нужен).
- Если VLAN внутренний (приватные адреса), эта же сеть будет сетью узлов кластера.
|
- You can use an internal load balancer (if present) and direct traffic directly to the front nodes of the cluster.
- If there is no load balancer, you can use MetalLB in BGP mode to organize fault-tolerant load balancers (recommended). In this case, front nodes of the cluster will have two interfaces. For this, you will need:
- A dedicated VLAN for traffic exchange between BGP routers and MetalLB. This VLAN must have DHCP and Internet access.
- IP addresses of BGP routers.
- ASN — the AS number on the BGP router.
- ASN — the AS number in the cluster.
- A range to announce addresses from.
| Входящий трафик
|
Using the data store
|
- Если у вас имеется внутренний балансировщик запросов, можно обойтись им и направлять трафик напрямую на frontend-узлы кластера.
- Если балансировщика нет, для организации отказоустойчивых LoadBalancer’ов рекомендуется использовать MetalLB в режиме BGP. В кластере будут созданы frontend-узлы с двумя интерфейсами. Для этого дополнительно потребуются:
- отдельный VLAN для обмена трафиком между BGP-роутерами и MetalLB. В этом VLAN’e должны быть DHCP и доступ в интернет;
- IP-адреса BGP-роутеров;
- ASN (номер автономной системы) на BGP-роутере;
- ASN (номер автономной системы) в кластере;
- диапазон, из которого анонсировать адреса.
|
Various types of storage can be used in the cluster; for the minimum configuration, you will need:
- Datastore for provisioning PersistentVolumes to the Kubernetes cluster.
- Datastore for provisioning root disks for the VMs (it can be the same Datastore as for PersistentVolume).
| Использование хранилища данных
|
| В кластере может одновременно использоваться различное количество типов хранилищ. В минимальной конфигурации потребуются:
Datastore , в котором Kubernetes-кластер будет заказывать PersistentVolume ;
Datastore , в котором будут заказываться root-диски для виртуальной машины (это может быть тот же Datastore , что и для PersistentVolume ).
|