O GKE On-Prem requer:
- um ambiente VMware vSphere 6.5, que inclui o vSphere 6.5, o vCenter 6.5 e o vSphere ESXI 6.5;
- um balanceador de carga de rede de camada 4. Por padrão, o GKE On-Prem se integra ao F5 BIG-IP (em inglês) versões 12.x ou 13.x. Também é possível ativar o balanceamento de carga manual e usar um balanceador de carga L4 próprio.
Antes de começar, leia a visão geral do GKE On-Prem.
Requisitos de hardware
O GKE On-Prem permite que você escolha uma ampla variedade de opções de hardware. Para saber mais sobre os requisitos de hardware herdados do vSphere, consulte a Especificação de hardware do VMware/vSphere 6.5 (em inglês).
O Google está trabalhando com vários parceiros de OEM para oferecer soluções de hardware validadas. Escolha as opções desses parceiros para receber as soluções de trabalho reconhecidas e os benefícios do suporte colaborativo (quando o Google e nossos parceiros trabalham em conjunto para resolver problemas de instalação).
Nossos parceiros de OEM incluem atualmente o seguinte. À medida que novas plataformas e parceiros se unem à família de soluções Anthos, esta lista é atualizada:
- Cisco
- Dell
- HPE
- Intel
- Lenovo
Requisitos do vSphere
Instale o GKE On-Prem em um ambiente VMware vSphere 6.5. Para saber mais sobre como instalar o vSphere, consulte a Visão geral do processo de instalação e configuração do vSphere (em inglês) na documentação da VMware.
O vSphere 6.5 inclui os seguintes componentes:
Siga as seções abaixo para saber como configurar uma instalação do vSphere atual para uso com o GKE On-Prem.
Edição da licença e requisitos da versão
Atualmente, o GKE On-Prem requer o VMware vSphere 6.5. Especificamente, você precisa dos seguintes produtos licenciados da VMware:
- VMware ESXI 6.5, com uma edição de licença Enterprise Plus, instalado em cada um dos hosts no seu data center.
- VMware vCenter 6.5, com uma edição de licença Standard, instalado em um host no seu data center.
Para mais informações, consulte os seguintes recursos da VMware:
- Comparação das edições do VMware vSphere (em inglês)
- Comparação dos recursos do VMware vSphere (em inglês)
Privilégios da conta de usuário do vCenter
A conta de usuário do vSphere usada para instalar os clusters do GKE On-Prem precisa ter privilégios suficientes. O papel Administrador do vCenter oferece aos usuários acesso completo a todos os objetos do vCenter.
Se preferir, crie um papel personalizado com o conjunto mínimo de privilégios necessários, detalhado na tabela abaixo.
Para saber como gerenciar permissões, consulte Como gerenciar permissões de componentes do vCenter (em inglês).
Máquinas virtuais criadas durante a instalação
Durante uma nova instalação, o GKE On-Prem cria várias máquinas virtuais (VMs ou "nós") no vSphere. Na tabela a seguir, descrevemos as especificações dessas VMs e a finalidade delas.
Além disso, o GKE On-Prem cria um disco permanente de 100 GB para armazenar os dados do cluster de administrador.
Cluster de administrador
| Nome | Prefixo do sistema | Campo de configuração | Especificações | Finalidade |
|---|---|---|---|---|
| Plano de controle do cluster de administrador | gke-admin-master |
N/A |
|
Executa o plano de controle de administrador no cluster de administrador. |
| VMs de complementos | gke-admin-node |
N/A |
Duas VMs em execução com as seguintes especificações:
|
Execute os complementos do plano de controle de administrador no cluster de administrador. |
| Plano de controle do cluster de usuário | [USER_CLUSTER_NAME]-user-N |
usercluster.masternode |
|
Cada cluster de usuário tem o próprio plano de controle. As VMs do plano de controle de usuário são executadas no cluster de administrador. É possível criar um ou três planos de controle de usuário. Se você criar três planos de controle de usuário, o GKE On-Prem criará três VMs, uma para cada plano de controle, com estas especificações. |
Clusters de usuário
| Nome | Prefixo do sistema | Campo de configuração | Especificações | Finalidade |
|---|---|---|---|---|
| Nós de trabalho do cluster de usuário | [USER_CLUSTER_NAME]-user |
usercluster.workernode |
Estes são os valores padrão para os nós de trabalho do cluster de usuário:
|
Um "nó" do cluster de usuário (também chamado de "máquina") é uma máquina virtual em que as cargas de trabalho são executadas. Ao criar um cluster de usuário, você decide quantos nós ele precisa executar. A configuração necessária para cada nó depende das cargas de trabalho que você executa. Para informações sobre o número máximo de clusters e nós que é possível criar, consulte Cotas e limites. É possível adicionar ou remover VMs de um cluster de usuário atual. Consulte Como redimensionar um cluster. |
PersistentVolumeClaims em clusters de administrador e usuário
Seu armazenamento de dados do vSphere precisa ter espaço para atender aos PersistentVolumeClaims (PVCs) criados pelo Prometheus e pelo Pacote de operações do Google Cloud nos clusters de administrador e usuário. Por exemplo, o Prometheus precisa de armazenamento suficiente para alguns dias de métricas, e o Pacote de operações do Google Cloud precisa de armazenamento para armazenar registros em buffer durante uma interrupção da rede.
Cada cluster tem os seguintes PVCs:
- Statefulset do Prometheus local: 250 GiB * 2 réplicas = 500 GiB
- Statefulset do Prometheus do Stackdriver: 250 GiB * 1 réplica = 250 GiB
- Statefulset do agregador de registros: 100 GiB * 2 réplicas = 200 GiB
Network Time Protocol
Todas as VMs no seu ambiente vSphere precisam usar o mesmo servidor Network Time Protocol (NTP) (em inglês).
Se a estação de trabalho do administrador e os nós do cluster usarem endereços IP estáticos, especifique o endereço IP de um servidor NTP no campo tod do arquivo hostconfig.
Se a estação de trabalho do administrador e os nós do cluster receberem os endereços IP de um servidor DHCP, configure o servidor DHCP para fornecer o endereço de um servidor NTP. Se o DHCP não especificar um servidor NTP, o GKE On-Prem usará ontp.ubuntu.com por padrão.
Requisitos do balanceador de carga
O GKE On-Prem tem dois modos de balanceamento de carga: integrado e manual. O modo integrado é compatível com F5 BIG-IP. O modo manual é compatível com os seguintes balanceadores de carga:
- Citrix
- Seesaw
Seja qual for o balanceador de carga escolhido, o ambiente precisa atender aos seguintes requisitos de rede.
Como separar VIPs para balanceamento de carga
Você precisa separar vários VIPs que pretende usar para balanceamento de carga. Separe um VIP para cada uma das seguintes finalidades:
| Componente | Descrição |
|---|---|
| Plano de controle de administrador | Acessa o servidor da API Kubernetes do cluster de
administrador. O arquivo kubeconfig do cluster de administrador menciona esse VIP no campo |
| Complementos do plano de controle de administrador | Gerencia a comunicação entre as VMs dos complementos do plano de controle de administrador. |
| Entrada do plano de controle de administrador | Usada para interagir com os serviços em execução no cluster de administrador. O Istio gerencia a entrada no cluster, e os serviços precisam ser explicitamente configurados para acesso externo. |
| Um VIP para cada plano de controle de cluster de usuário | Concede acesso aos servidores da API Kubernetes de cada cluster de usuário. O arquivo kubeconfig de cada cluster de usuário menciona um desses VIPs. |
| Um VIP para o controlador de entrada de cada cluster de usuário | Usado para interagir com serviços em execução nos clusters de usuário. |
| Um VIP para upgrades de cluster | Usado pelo GKE On-Prem durante os upgrades do cluster. |
Como separar blocos CIDR
Você precisa separar blocos CIDR para os seguintes intervalos:
Intervalo |
Descrição |
|---|---|
Intervalo de IPs do pod |
|
Intervalo de IPs de serviço |
|
Abrir o firewall para eventos de ciclo de vida do cluster
Verifique se o firewall permite o tráfego a seguir. A menos que especificado de outra forma, o protocolo padrão é TCP:
De |
Até |
Eventos de ciclo de vida |
|---|---|---|
|
Plano de controle de administrador, planos de controle de usuário, nós do cluster de usuário |
Acesso de saída a *.googleapis.com, que é resolvido para os intervalos de IPs do netblock do Google (porta 443) para acesso ao Google Cloud Storage e ao Container Registry. |
|
|
VMs do plano de controle de administrador e usuário |
IP do vCenter (porta 443) |
Adicionar novas máquinas |
|
VM da estação de trabalho de administrador |
IP do vCenter (porta 443) |
Inicialização do cluster |
|
VM da estação de trabalho de administrador |
SSH (porta 22) para planos de controle de administrador e usuário |
|
Requisitos e restrições para conectividade de serviço e pod
Considere as seguintes áreas de conectividade ao se preparar para o GKE On-Prem:
|
Categoria |
Requisito/restrição |
|---|---|
|
Roteamento |
Você precisa garantir que as VMs do vSphere sejam roteadas entre si. |
|
Intervalos de IPs |
Para o cluster de administrador e para cada cluster de usuário que você pretende criar, é preciso separar dois blocos CIDR IPv4 diferentes: um para IPs de pods e um para IPs de serviços. |
|
SSL |
N/A |
|
Encapsulamento |
O provedor CNI a ser usado é o Calico (em inglês). |
Requisitos e restrições para clusters
Considere as seguintes áreas ao planejar os clusters do GKE On-Prem:
Categoria |
Requisito/restrição |
|---|---|
Roteamento |
|
Descoberta de serviço |
Para cada cluster de usuário que usa a entrada com HTTPS, você adiciona entradas DNS que apontam para o VIP do controlador de entrada do cluster. |
Requisitos do F5 BIG-IP
O F5 BIG-IP integra-se ao GKE On-Prem, tornando-o a escolha recomendada. Saiba como instalar o F5 BIG-IP.
Para configurar o balanceador de carga F5 BIG-IP, siga as instruções abaixo:
Permissões de conta de usuário no F5 BIG-IP
O GKE On-Prem requer uma conta de usuário no F5 BIG-IP com o papel Administrador. Consulte a documentação sobre os papéis de usuário (em inglês) do F5.
Durante a instalação, você insere no GKE On-Prem suas credenciais do F5 BIG-IP. A conta fornecida precisa ter o papel Administrador de acordo com o Guia do usuário do conector do contêiner F5 (em inglês), com a afirmação de que o controlador BIG-IP requer permissões de administrador para oferecer a funcionalidade completa.Partições no F5 BIG-IP
Você precisa criar uma partição administrativa no F5 BIG-IP para cada cluster que pretende criar antecipadamente. Inicialmente, você precisa criar pelo menos duas partições: uma para o cluster de administrador e outra para um cluster de usuário. Consulte a documentação Como configurar partições administrativas para controlar o acesso do usuário (em inglês) do F5.
Não use uma partição administrativa para nada que não seja o cluster associado.