Como criar uma estação de trabalho de administrador

Nesta página, explicamos como criar a máquina virtual (VM) da estação de trabalho do administrador pela primeira vez. Nesta página, também explicamos como configurar o daemon do Docker da estação de trabalho para funcionar com um proxy.

Consulte também Como fazer upgrade de uma estação de trabalho de administrador atual.

Visão geral

Use a versão 0.11 do HashiCorp Terraform (em inglês) para provisionar uma máquina virtual (VM) de estação de trabalho do administrador no vSphere e use a estação de trabalho do administrador para instalar o GKE On-Prem. Faça o download do arquivo Open Virtual Appliance (OVA) da estação de trabalho do administrador e use o Terraform para implantar a VM no vSphere (link em inglês).

Antes de começar

1. Faça o download do OVA da estação de trabalho de administrador.
2. Leia a visão geral da estação de trabalho de administrador.

Como implantar o OVA da estação de trabalho de administrador

Para implantar o OVA, siga estas etapas:

1. Salve uma das configurações do Terraform a seguir, dependendo do uso de DHCP ou IPs estáticos. Salve os arquivos TF e TFVARS. O arquivo TF é a configuração do HCL do Terraform, e o arquivo TFVARS declara as variáveis a serem usadas na configuração:

   Observação: no momento, é necessário usar a versão 0.11 do Terraform para usar esses arquivos. O nome do arquivo .tfvars precisa ser terraform.tfvars.

   dhcp.tf

   #########################
   ####### VARIABLES #######
   #########################
   
   # vSphere username
   variable "vsphere_user" { }
   # vSphere password
   variable "vsphere_password" { }
   # vSphere server address
   variable "vsphere_server" { }
   # Install this public key in the created VM
   variable "ssh_public_key_path" { default = "~/.ssh/vsphere_workstation.pub" }
   # vSphere network to use for the VM
   variable "network" { default = "VM Network"}
   # Hostname for the VM
   variable "vm_name" { default = "vsphere-workstation" }
   # vSphere datacenter to create this VM in
   variable "datacenter" { }
   # vSphere datastore to create this VM in
   variable "datastore" { }
   # vSphere cluster to create this VM in
   variable "cluster" { }
   # vSphere resource pool to create this VM in
   variable "resource_pool" { }
   # Number of CPUs for this VM. Recommended minimum 4.
   variable "num_cpus" { default = 4 }
   # Memory in MB for this VM. Recommended minimum 8192.
   variable "memory" { default = 8192 }
   # The VM template to clone
   variable "vm_template" { }
   # Enable the provided Docker registry. If you use your own registry, set to "false"
   variable "registry_enable" { default = "true" }
   # Username to set for the Docker registry
   variable "registry_username" { default = "gke" }
   # Password to set for the Docker registry
   variable "registry_password" { default = "password" }
   # Optional DNS hostname for the registry's certificate
   variable "registry_dns_hostname" { default = "" }
   
   #########################
   ##### FOR UPGRADING #####
   #########################
   # Path on disk to the htpasswd file
   variable "registry_htpasswd" { default = "" } // filepath
   # Path on disk to the certificate for the Docker registry in the admin workstation
   variable "registry_cert" { default = "" } // filepath
   # Path on disk to the registry's CA
   variable "registry_ca" { default = "" } // filepath
   # Path on disk to the registry's private key
   variable "registry_private_key" { default = "" } // filepath
   
   ##########################
   ##########################
   
   provider "vsphere" {
     version        = "~> 1.5"
     user           = "${var.vsphere_user}"
     password       = "${var.vsphere_password}"
     vsphere_server = "${var.vsphere_server}"
   
     # if you have a self-signed cert
     allow_unverified_ssl = true
   }
   
   ### vSphere Data ###
   
   data "vsphere_datastore" "datastore" {
     name          = "${var.datastore}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   data "vsphere_datacenter" "dc" {
     name = "${var.datacenter}"
   }
   
   data "vsphere_compute_cluster" "cluster" {
     name          = "${var.cluster}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   data "vsphere_resource_pool" "pool" {
     name          = "${var.resource_pool}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   data "vsphere_network" "network" {
     name          = "${var.network}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   data "vsphere_virtual_machine" "template_from_ovf" {
     name          = "${var.vm_template}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   data "template_file" "dhcp_ip_config" {
     template = <<EOF
   network:
     version: 2
     ethernets:
       ens192:
         dhcp4: true
   EOF
   }
   
   data "template_file" "user_data" {
     template = <<EOF
   #cloud-config
   apt:
     primary:
       - arches: [default]
         uri: http://us-west1.gce.archive.ubuntu.com/ubuntu/
   write_files:
     - path: /etc/netplan/99-dhcp.yaml
       permissions: '0644'
       encoding: base64
       content: |
         $${dhcp_ip_config}
   runcmd:
     - netplan apply
     - /var/lib/gke/guest-startup.sh $${reg_enable} $${reg_username} $${reg_password} $${reg_dns_hostname} $${reg_htpasswd} $${reg_cert} $${reg_private_key} $${reg_ca}
   EOF
     vars = {
       dhcp_ip_config = "${base64encode(data.template_file.dhcp_ip_config.rendered)}"
   
       reg_enable = "${var.registry_enable}"
       reg_username = "${var.registry_username}"
       reg_password = "${var.registry_password}"
       reg_dns_hostname = "${var.registry_dns_hostname}"
   
       reg_htpasswd = ""
       reg_cert = ""
       reg_private_key = ""
       reg_ca = ""
   
       #########################
       ##### FOR UPGRADING #####
       # reg_htpasswd = "${file(var.registry_htpasswd)}"
       # reg_cert = "${file(var.registry_cert)}"
       # reg_private_key = "${file(var.registry_private_key)}"
       # reg_ca = "${file(var.registry_ca)}"
       #########################
     }
   }
   
   ### vSphere Resources ###
   
   resource "vsphere_virtual_machine" "vm" {
     name             = "${var.vm_name}"
     resource_pool_id = "${data.vsphere_resource_pool.pool.id}"
     datastore_id     = "${data.vsphere_datastore.datastore.id}"
     num_cpus         = "${var.num_cpus}"
     memory           = "${var.memory}"
     guest_id         = "${data.vsphere_virtual_machine.template_from_ovf.guest_id}"
     enable_disk_uuid = "true"
     scsi_type = "${data.vsphere_virtual_machine.template_from_ovf.scsi_type}"
     network_interface {
       network_id   = "${data.vsphere_network.network.id}"
       adapter_type = "${data.vsphere_virtual_machine.template_from_ovf.network_interface_types[0]}"
     }
   
     wait_for_guest_net_timeout = 15
   
     nested_hv_enabled = false
     cpu_performance_counters_enabled = false
   
     disk {
       label            = "disk0"
       size             = "${max(50, data.vsphere_virtual_machine.template_from_ovf.disks.0.size)}"
       eagerly_scrub    = "${data.vsphere_virtual_machine.template_from_ovf.disks.0.eagerly_scrub}"
       thin_provisioned = "${data.vsphere_virtual_machine.template_from_ovf.disks.0.thin_provisioned}"
     }
   
     cdrom {
       client_device = true
     }
   
     vapp {
       properties = {
         hostname    = "${var.vm_name}"
         public-keys = "${file(var.ssh_public_key_path)}"
         user-data   = "${base64encode(data.template_file.user_data.rendered)}"
       }
     }
   
     clone {
       template_uuid = "${data.vsphere_virtual_machine.template_from_ovf.id}"
     }
   }
   
   output "ip_address" {
     value = "${vsphere_virtual_machine.vm.default_ip_address}"
   }

   dhcp.tfvars

   vsphere_user = "[e-mail]"
   vsphere_password = ""
   # vSphere server IP or DNS name
   vsphere_server = ""
   ssh_public_key_path = "~/.ssh/vsphere_workstation.pub"
   
   vm_name = "admin-workstation"
   
   datastore = ""
   datacenter = ""
   cluster = ""
   resource_pool = ""
   network = "VM Network"
   
   num_cpus = 4
   memory = 8192
   vm_template = "gke-on-prem-admin-appliance-vsphere-1.0.2-gke.3"
   
   # docker registry credentials
   registry_enable = "true"
   registry_username = "gke"
   registry_password = "password"
   registry_dns_hostname = ""
   
   # only needed when re-creating the workstation and you want to
   # reuse registry certs. Each value is a filepath relative to this file.
   # registry_htpasswd=""
   # registry_cert=""
   # registry_ca=""
   # registry_private_key=""

   static-ip.tf

   #########################
   ####### VARIABLES #######
   #########################
   
   # vSphere username
   variable "vsphere_user" { }
   # vSphere password
   variable "vsphere_password" { }
   # vSphere server address
   variable "vsphere_server" { }
   # Install this public key in the created VM
   variable "ssh_public_key_path" { default = "~/.ssh/vsphere_workstation.pub" }
   # vSphere network to use for the VM
   variable "network" { default = "VM Network"}
   # Hostname for the VM
   variable "vm_name" { default = "vsphere-workstation" }
   # vSphere datacenter to create this VM in
   variable "datacenter" { }
   # vSphere datastore to create this VM in
   variable "datastore" { }
   # vSphere cluster to create this VM in
   variable "cluster" { }
   # vSphere resource pool to create this VM in
   variable "resource_pool" { }
   # Number of CPUs for this VM. Recommended minimum 4.
   variable "num_cpus" { default = 4 }
   # Memory in MB for this VM. Recommended minimum 8192.
   variable "memory" { default = 8192 }
   # The VM template to clone
   variable "vm_template" { }
   # The IP address to assign this this VM
   variable "ipv4_address" { }
   # Netmask prefix length
   variable "ipv4_netmask_prefix_length" { }
   # Default gateway to use
   variable "ipv4_gateway" { }
   # DNS resolvers to use
   variable "dns_nameservers" { }
   # Enable the provided Docker registry. If you use your own registry, set to "false"
   variable "registry_enable" { default = "true" }
   # Username to set for the Docker registry
   variable "registry_username" { default = "gke" }
   # Password to set for the Docker registry
   variable "registry_password" { default = "password" }
   # Optional DNS hostname for the registry's certificate
   variable "registry_dns_hostname" { default = "" }
   
   #########################
   ##### FOR UPGRADING #####
   #########################
   # Path on disk to the htpasswd file
   variable "registry_htpasswd" { default = "" } // filepath
   # Path on disk to the certificate for the Docker registry in the admin workstation
   variable "registry_cert" { default = "" } // filepath
   # Path on disk to the registry's CA
   variable "registry_ca" { default = "" } // filepath
   # Path on disk to the registry's private key
   variable "registry_private_key" { default = "" } // filepath
   
   ##########################
   ##########################
   
   provider "vsphere" {
     version        = "~> 1.5"
     user           = "${var.vsphere_user}"
     password       = "${var.vsphere_password}"
     vsphere_server = "${var.vsphere_server}"
   
     # if you have a self-signed cert
     allow_unverified_ssl = true
   }
   
   ### vSphere Data ###
   
   data "vsphere_datastore" "datastore" {
     name          = "${var.datastore}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   data "vsphere_datacenter" "dc" {
     name = "${var.datacenter}"
   }
   
   data "vsphere_compute_cluster" "cluster" {
     name          = "${var.cluster}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   data "vsphere_resource_pool" "pool" {
     name          = "${var.resource_pool}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   data "vsphere_network" "network" {
     name          = "${var.network}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   data "vsphere_virtual_machine" "template_from_ovf" {
     name          = "${var.vm_template}"
     datacenter_id = "${data.vsphere_datacenter.dc.id}"
   }
   
   ##########################
   ### IF USING STATIC IP ###
   ##########################
   data "template_file" "static_ip_config" {
     template = <<EOF
   network:
     version: 2
     ethernets:
       ens192:
         dhcp4: no
         dhcp6: no
         addresses: ["${var.ipv4_address}/${var.ipv4_netmask_prefix_length}"]
         gateway4: ${var.ipv4_gateway}
         nameservers:
           addresses: [${var.dns_nameservers}]
   EOF
   }
   
   data "template_file" "user_data" {
     template = <<EOF
   #cloud-config
   apt:
     primary:
       - arches: [default]
         uri: http://us-west1.gce.archive.ubuntu.com/ubuntu/
   write_files:
     - path: /tmp/static-ip.yaml
       permissions: '0644'
       encoding: base64
       content: |
         $${static_ip_config}
   runcmd:
     - /var/lib/gke/guest-startup.sh $${reg_enable} $${reg_username} $${reg_password} $${reg_dns_hostname} $${reg_htpasswd} $${reg_cert} $${reg_private_key} $${reg_ca}
   EOF
     vars = {
       static_ip_config = "${base64encode(data.template_file.static_ip_config.rendered)}"
   
       reg_enable = "${var.registry_enable}"
       reg_username = "${var.registry_username}"
       reg_password = "${var.registry_password}"
       reg_dns_hostname = "${var.registry_dns_hostname}"
   
       reg_htpasswd = ""
       reg_cert = ""
       reg_private_key = ""
       reg_ca = ""
   
       ########################
       #### FOR UPGRADING #####
       # reg_htpasswd = "${file(var.registry_htpasswd)}"
       # reg_cert = "${file(var.registry_cert)}"
       # reg_private_key = "${file(var.registry_private_key)}"
       # reg_ca = "${file(var.registry_ca)}"
       ########################
     }
   }
   ##########################
   ### IF USING STATIC IP ###
   ##########################
   
   ### vSphere Resources ###
   
   resource "vsphere_virtual_machine" "vm" {
     name             = "${var.vm_name}"
     resource_pool_id = "${data.vsphere_resource_pool.pool.id}"
     datastore_id     = "${data.vsphere_datastore.datastore.id}"
     num_cpus         = "${var.num_cpus}"
     memory           = "${var.memory}"
     guest_id         = "${data.vsphere_virtual_machine.template_from_ovf.guest_id}"
     enable_disk_uuid = "true"
     scsi_type = "${data.vsphere_virtual_machine.template_from_ovf.scsi_type}"
     network_interface {
       network_id   = "${data.vsphere_network.network.id}"
       adapter_type = "${data.vsphere_virtual_machine.template_from_ovf.network_interface_types[0]}"
     }
   
     wait_for_guest_net_timeout = 15
   
     nested_hv_enabled = false
     cpu_performance_counters_enabled = false
   
     disk {
       label            = "disk0"
       size             = "${max(50, data.vsphere_virtual_machine.template_from_ovf.disks.0.size)}"
       eagerly_scrub    = "${data.vsphere_virtual_machine.template_from_ovf.disks.0.eagerly_scrub}"
       thin_provisioned = "${data.vsphere_virtual_machine.template_from_ovf.disks.0.thin_provisioned}"
     }
   
     cdrom {
       client_device = true
     }
   
     vapp {
       properties = {
         hostname    = "${var.vm_name}"
         public-keys = "${file(var.ssh_public_key_path)}"
         user-data   = "${base64encode(data.template_file.user_data.rendered)}"
       }
     }
   
     clone {
       template_uuid = "${data.vsphere_virtual_machine.template_from_ovf.id}"
     }
   }
   
   output "ip_address" {
     value = "${vsphere_virtual_machine.vm.default_ip_address}"
   }

   static-ip.tfvars

   vsphere_user = "[e-mail]"
   vsphere_password = ""
   # vSphere server IP or DNS name
   vsphere_server = ""
   ssh_public_key_path = "~/.ssh/vsphere_workstation.pub"
   
   vm_name = "admin-workstation"
   
   datastore = ""
   datacenter = ""
   cluster = ""
   resource_pool = ""
   network = "VM Network"
   
   num_cpus = 4
   memory = 8192
   vm_template = "gke-on-prem-admin-appliance-vsphere-1.0.2-gke.3"
   
   # XXX.XXX.XXX.XXX
   ipv4_address = "100.115.250.100"
   # Eg 22
   ipv4_netmask_prefix_length = "22"
   # XXX.XXX.XXX.XXX
   ipv4_gateway = "100.115.251.254"
   # comma separated DNS servers
   dns_nameservers = "8.8.8.8,8.8.4.4"
   
   # docker registry credentials
   registry_enable = "true"
   registry_username = "gke"
   registry_password = "password"
   registry_dns_hostname = ""
   
   # only needed when re-creating the workstation and you want to
   # reuse registry certs. Each value is a filepath relative to this file.
   # registry_htpasswd=""
   # registry_cert=""
   # registry_ca=""
   # registry_private_key=""

2. Crie um par de chave-valor SSH para se autenticar na VM da estação de trabalho de administrador:

   ssh-keygen -t rsa -f ~/.ssh/vsphere_workstation -N ""

3. Crie um diretório para seus arquivos do Terraform:

   mkdir [TERRAFORM_DIR]

   [TERRAFORM_DIR] é o caminho de um diretório em que você quer manter os arquivos do Terraform.

4. Copie a configuração do Terraform correspondente à configuração da rede do host para [TERRAFORM_DIR]/terraform.tf e [TERRAFORM_DIR]/terraform.tfvars.

5. Em terraform.tfvars, insira valores para as seguintes variáveis, que especificam elementos do seu ambiente vSphere:

   • vsphere_server
   • vspher_user
   • vsphere_password
   • datastore
   • datacenter
   • cluster
   • resource_pool
   • network
   • vm_template (criado em uma etapa anterior executando govc markastemplate)

   Insira um valor para vm_name. Este é o nome da estação de trabalho de administrador que você está prestes a criar. Pode ser qualquer nome de sua escolha.

   Se você estiver usando endereços IP estáticos, insira valores para as seguintes variáveis:

   • ipv4_address
   • ipv4_netmask_prefix_length
   • ipv4_gateway
   • dns_nameservers

   Se você quiser usar o registro do Docker que é executado na VM da estação de trabalho de administrador, defina registry_enable como "verdadeiro". Também insira valores para estas variáveis:

   • registry_username
   • registry_password

   Se você quiser ter um nome de host de DNS para o registro do Docker executado na VM da estação de trabalho de administrador, insira um valor para registry_dns_hostname. Isso é útil se a VM da estação de trabalho de administrador não tem um endereço IP estático.

   Se você quiser usar seu próprio registro particular do Docker, defina registry_enable como "falso".

6. Crie a VM da estação de trabalho de administrador. Isso pode levar alguns minutos:

   cd [TERRAFORM_DIR]
   terraform init && terraform apply -auto-approve -input=false

   Observação: o nome do arquivo TFVARS precisa ser terraform.tfvars. Caso contrário, você precisará usar o parâmetro --var-file para especificar o arquivo de variáveis.

Conectar-se à sua estação de trabalho de administrador

1. Mude para o diretório que contém a configuração do Terraform.

2. Recupere o endereço IP da VM da estação de trabalho de administrador:

   terraform output ip_address

3. Execute o SSH na VM da estação de trabalho de administrador usando a chave e o endereço IP gerados:

   ssh -i ~/.ssh/vsphere_workstation ubuntu@$(terraform output ip_address)

   ou, se quiser apenas usar o endereço:

   ssh -i ~/.ssh/vsphere_workstation ubuntu@[IP_ADDRESS]

Como verificar se a estação de trabalho de administrador está configurada corretamente

Verifique se gkectl e docker estão instalados:

gkectl version
docker version

Se você definir registry_enable como "verdadeiro", poderá verificar se as imagens do Docker para os componentes do GKE On-Prem foram carregadas no daemon do Docker da VM da estação de trabalho de administrador:

docker images

Pode levar 15 minutos ou mais para que todas as imagens do Docker sejam carregadas.

Com o tempo, é possível verificar se a VM da estação de trabalho de administrador está executando um registro do Docker:

docker ps

A saída mostra o contêiner que está executando o registro do Docker:

IMAGE ...                      COMMAND ...              NAMES
docker-registry:v2.7.1-gke.0   "registry serve /e..."   registry2

Como configurar o Docker para extrair o proxy

Observação: saiba mais sobre o registro do Docker. Conclua as etapas a seguir na VM da estação de trabalho de administrador.

Se sua rede for executada por trás de um proxy e sua VM da estação de trabalho de administrador estiver executando um registro do Docker, será necessário configurar o daemon do Docker em execução na estação de trabalho de administrador para extrair imagens com o proxy:

1. Reúna os endereços dos seus proxies HTTP e HTTPS.

2. Reúna os endereços IP e os nomes de host de cada host com os quais você precisa entrar em contato sem usar proxy, incluindo estes endereços:

   • O endereço IP do servidor vCenter
   • Os endereços IP de todos os hosts ESXi
   • Outros endereços IP que você pretende configurar no balanceador de carga
   • O intervalo 192.168.0.0/16

   Na estação de trabalho de administrador, adicione esses endereços à variável no_proxy:

   printf -v no_proxy '%s,' [ADDRESSES];
   

   É possível exportar o intervalo para uma variável de ambiente para referência futura. Lembre-se de que seus aplicativos e processos podem usar essa variável:

   export no_proxy="${no_proxy%,}";
   

3. Abra o arquivo de configuração (em inglês) do Docker, armazenado em /root/.docker/config.json, /home/[USER]/.docker/config.json ou em outro lugar, dependendo da configuração.

4. Em config.json, adicione as seguintes linhas:

   "proxies": {
   
   "default": {
          "httpProxy": "[HTTP_PROXY]",
          "httpsProxy": "[HTTPS_PROXY]",
          "noProxy": "[ADDRESSES]"
              }
   }

   em que:

   • [HTTP_PROXY] é o proxy HTTP, se você tiver um;
   • [HTTPS_PROXY] é o proxy HTTPS, se você tiver um;
   • [ADDRESSES] é uma lista delimitada por vírgulas de endereços e nomes de host com que você precisa entrar em contato sem usar proxy.

5. Reinicie o Docker para que as alterações entrem em vigor:

   sudo systemctl restart docker

Solução de problemas

Para mais informações, consulte Solução de problemas.

Limite de sessão no provedor do vSphere do Terraform

O GKE On-Prem usa o provedor do vSphere do Terraform para abrir VMs no ambiente vSphere. O limite de sessões no provedor é de 1.000 sessões. A implementação atual não fecha as sessões ativas após o uso. Podem ocorrer erros 503 se você tiver muitas sessões em execução.

As sessões são fechadas automaticamente após 300 segundos.

Sintomas

Se você tiver muitas sessões em execução, talvez você encontre o seguinte erro:

Error connecting to CIS REST endpoint: Login failed: body:
  {"type":"com.vmware.vapi.std.errors.service_unavailable","value":
  {"messages":[{"args":["1000","1000"],"default_message":"Sessions count is
  limited to 1000. Existing sessions are 1000.",
  "id":"com.vmware.vapi.endpoint.failedToLoginMaxSessionCountReached"}]}},
  status: 503 Service Unavailable

Causas possíveis

Há muitas sessões de provedor do Terraform em execução no seu ambiente.

Resolução

No momento, isso está funcionando conforme o esperado. As sessões são fechadas automaticamente após 300 segundos. Para mais informações, consulte o problema nº 618 no GitHub.

Como usar um proxy para o Docker: oauth2: cannot fetch token

Sintomas

Ao usar um proxy, você encontra o seguinte erro:

oauth2: cannot fetch token: Post https://oauth2.googleapis.com/token: proxyconnect tcp: tls: oversized record received with length 20527

Causas possíveis

É possível que você tenha fornecido um proxy HTTPS em vez de HTTP.

Resolução

Na configuração do Docker, altere o endereço do proxy para http:// em vez de https://.

Como verificar se as licenças são válidas

Lembre-se de verificar se as licenças são válidas, especialmente se você estiver usando licenças de teste. Pode haver falhas inesperadas se as licenças F5, host ESXi ou vCenter tiverem expirado.

openssl não pode validar o OVA da estação de trabalho de administrador

Sintomas

Executar openssl dgst no arquivo OVA da estação de trabalho de administrador não retorna Verified OK

Causas possíveis

Há um problema no arquivo OVA que impede a validação bem-sucedida.

Resolução

Tente fazer o download e implantar o OVA da estação de trabalho de administrador novamente, conforme descrito em Fazer o download do OVA da estação de trabalho de administrador . Se o problema persistir, entre em contato com o Google para receber ajuda.

A seguir

Antes de instalar o GKE On-Prem, veja algumas opções de configuração opcionais:

• Como ativar o balanceamento de carga manual.
• Use seu próprio registro privado do Docker.
• Configure IPs estáticos para seus clusters.