Nesta página, mostramos como configurar regras de proxy e firewall para o GKE no VMware.
Como incluir endereços do proxy na lista de permissões
Se a organização exigir que o tráfego de saída passe por um servidor proxy,
inclua os endereços a seguir na lista de permissões no servidor proxy. Observe que www.googleapis.com
é necessário em vez de googleapis.com
:
- dl.google.com 1
- gcr.io
- www.googleapis.com
- accounts.google.com
- anthos.googleapis.com
- anthosgke.googleapis.com
- cloudresourcemanager.googleapis.com
- compute.googleapis.com
- connectgateway.googleapis.com
- container.googleapis.com
- gkeconnect.googleapis.com 2
- gkehub.googleapis.com
- gkeonprem.googleapis.com
- gkeonprem.mtls.googleapis.com
- iam.googleapis.com
- iamcredentials.googleapis.com
- kubernetesmetadata.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- oauth2.googleapis.com
- opsconfigmonitoring.googleapis.com
- securetoken.googleapis.com
- servicecontrol.googleapis.com
- serviceusage.googleapis.com
- storage.googleapis.com
- sts.googleapis.com
- lançamentos.hashicorp.com (opcional) 3
Observações:
1 dl.google.com
é exigido pelo instalador do SDK do Google Cloud.
2 Se o cluster foi registrado na frota
usando uma região do Google Cloud, você precisa adicionar
REGION-gkeconnect.googleapis.com
à lista de permissões (por
exemplo, us-central1-gkeconnect.googleapis.com
). Se você não especificar uma
região, o cluster usará a instância do serviço global Connect, e você
adicionará gkeconnect.googleapis.com
à lista de permissões. Se você precisar encontrar o local da associação da frota do cluster, execute gcloud container fleet memberships list
. Para
mais informações, consulte
gkeConnect.location
.
3 Se você não usar o cliente do Terraform na
estação de trabalho do administrador para executar comandos como terraform apply
, não
será necessário incluir releases.hashicorp.com
na lista de permissões. Se você usa o cliente do Terraform
na estação de trabalho do administrador, pode adicionar releases.hashicorp.com
à lista de permissões para verificar se a versão do cliente do Terraform que está usando é a
mais recente executando o
comando
terraform version
.
Além disso, se o servidor do vCenter tiver um endereço IP externo, inclua esse endereço na lista de permissões no servidor proxy.
Regras de firewall
Configure as regras de firewall para permitir o tráfego a seguir:
Regras de firewall para endereços IP disponíveis no cluster do administrador
Os endereços IP disponíveis no cluster do administrador estão listados no Arquivo de bloco de IP. Esses endereços IP são usados para os nós do plano de controle do cluster do administrador, nós do complemento do cluster do administrador e nó do plano de controle do cluster de usuário. Como os endereços IP do cluster do administrador não são atribuídos a nós específicos, é necessário verificar se todas as regras de firewall listadas na tabela a seguir se aplicam a todos os endereços IP disponíveis para o cluster do administrador.
De |
Porta de origem |
To |
Porta |
Protocolo |
Descrição |
---|---|---|---|---|---|
Nó do plano de controle do cluster do administrador |
1024 - 65535 |
API vCenter Server |
443 |
TCP/https |
Redimensionamento de cluster. |
Nós complementares do cluster de administrador |
1024 - 65535 |
API vCenter Server |
443 |
TCP/https |
Gerenciamento do ciclo de vida do cluster do usuário. |
Nós complementares do cluster de administrador |
32768- 60999 |
VIP do servidor da API Kubernetes do cluster de administrador VIPs dos servidores da API Kubernetes dos clusters de usuário |
443 |
TCP/https |
Criar cluster de usuário. Atualização de cluster de usuário. Upgrade do cluster de usuário. Exclusão de cluster de usuário. |
Nós do plano de controle do cluster de administrador |
32768- 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para os clusters de administrador ou usuário VIPs dos servidores da API DNS vCenter do cluster de usuário VIP do servidor da API DNS do cluster do Kubernetes do cluster de administrador VIP do servidor da API DNS do cluster do cluster de administrador |
443 |
TCP/https |
Verificações de simulação (validação). Ao criar, atualizar ou fazer upgrade de clusters de usuário. Ao criar, atualizar ou fazer upgrade do cluster de administrador. |
Nós do plano de controle do cluster de administrador |
32768- 60999 |
Registro do Docker local do cluster de usuário |
Depende do registro |
TCP/https |
Verificações de simulação (validação). Obrigatório se o cluster de usuário do GKE no VMware estiver configurado para usar um registro particular local do Docker em vez de gcr.io. quando você cria ou faz upgrade de clusters de usuário. Quando você cria ou faz upgrade do cluster de administrador. |
Nós do plano de controle do cluster de administrador |
32768- 60999 |
Nós do cluster de administrador Nós do cluster de usuário VIPs do balanceador de carga do cluster de administrador VIPs do balanceador de carga do cluster de usuário |
icmp |
Verificações de simulação (validação). Ao criar, atualizar ou fazer upgrade de clusters de usuário. Ao criar, atualizar ou fazer upgrade do cluster de administrador. |
|
Nós do plano de controle do cluster de administrador |
32768- 60999 |
Nós de trabalho do cluster de usuário |
22 |
ssh |
Verificações de simulação (validação). Quando você faz upgrade de clusters de usuário. Quando você faz upgrade do cluster de administrador. |
Nó do plano de controle do cluster de usuário |
1024 - 65535 |
API vCenter Server |
443 |
TCP/https |
Redimensionamento de cluster. |
Nó do plano de controle do cluster de usuário |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com ou REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
O acesso é necessário para o registro da frota. Consulte a observação 2 depois da lista de URLs para adicionar à lista de permissões. |
Coletor do Cloud Logging, que é executado em um nó de complemento do cluster de administrador |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
Coletor de metadados do Cloud, que é executado em um nó de complemento do cluster de administrador |
1024 - 65535 |
opsconfigmonitoring.googleapis.com |
443 |
TCP/https |
|
Coletor do Cloud Monitoring, que é executado em um nó de complemento do cluster de administrador |
1024 - 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
Nó do plano de controle do cluster do administrador |
1024 - 65535 |
API F5 BIG-IP |
443 |
TCP/https |
|
Nó do plano de controle do cluster de usuário |
1024 - 65535 |
API F5 BIG-IP |
443 |
TCP/https |
|
Nó do plano de controle do cluster do administrador |
1024 - 65535 |
Registro local do Docker |
Depende do registro |
TCP/https |
Obrigatório se o GKE VMware estiver configurado para usar um registro particular local do Docker em vez de gcr.io. |
Nó do plano de controle do cluster de usuário |
1024 - 65535 |
Registro local do Docker |
Depende do registro |
TCP/https |
Obrigatório se o GKE VMware estiver configurado para usar um registro particular local do Docker em vez de gcr.io. |
Nó do plano de controle do cluster do administrador |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador |
443 |
TCP/https |
Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker. |
Nó do plano de controle do cluster de usuário |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador |
443 |
TCP/https |
Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker. |
Nós de trabalho do cluster de administrador |
1024 - 65535 |
Nós de trabalho do cluster de administrador |
Tudo |
179 - bgp 443 - https 5473 - Calico/Typha 9443 - métricas do envoy 10250 - porta de nó do kubelet |
Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall. |
Nós do cluster de administrador |
1024 - 65535 |
CIDR do pod do cluster de administrador |
todas |
qualquer um |
O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod. |
Nós de trabalho do cluster de administrador |
all |
Nós do cluster de usuário |
22 |
ssh |
Obrigatório para o kubeception. Servidor de API para comunicação do kubelet em um túnel SSH. Ignore para o Controlplane V2. |
Nós do cluster de administrador |
1024 - 65535 |
IPs de VMs do Seesaw LB do cluster de administrador |
20255, 20257 |
TCP/http |
Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw. |
Nós do cluster de administrador |
1024 - 65535 |
Nós do cluster de administrador |
7946 |
TCP/UDP |
Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB. |
Nós do cluster de administrador |
Tudo |
VIP do plano de controle do cluster de usuário |
443 |
https |
Obrigatório para o plano de controle V2. Permite que nós e pods no cluster de administrador se comuniquem com o servidor da API Kubernetes do cluster de usuário. |
Nós do cluster de administrador |
Tudo |
Nós do plano de controle do cluster de usuários |
443 |
https |
Obrigatório para o plano de controle V2. Permite que nós e pods no cluster de administrador se comuniquem com o servidor da API Kubernetes do cluster de usuário usando o endereço IP de um nó do plano de controle do cluster de usuário. |
Regras de firewall para nós do cluster de usuário
Nos nós do cluster de usuário, os endereços IP são listados no arquivo de bloco de IP.
Assim como nos nós do cluster do administrador, você não sabe qual endereço IP será usado para cada nó. Portanto, todas as regras nos nós do cluster de usuário se aplicam a cada um desses nós.
De |
Porta de origem |
To |
Porta |
Protocolo |
Descrição |
---|---|---|---|---|---|
Nós de trabalho do cluster de usuário |
all |
gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para este cluster |
443 |
TCP/https |
Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker. |
Nós de trabalho do cluster de usuário |
all |
API F5 BIG-IP |
443 |
TCP/https |
|
Nós de trabalho do cluster de usuário |
all |
VIP do servidor pushprox, que é executado no cluster do administrador. |
8443 |
TCP/https |
Tráfego do Prometheus. |
Nós de trabalho do cluster de usuário |
all |
Nós de trabalho do cluster de usuário |
todas |
22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - métricas do envoy 10250 - porta de nó do kubelet" |
Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall. |
Nós de trabalho do cluster de usuário |
all |
VIP do plano de controle de usuário |
443 |
TCP/https |
|
Nós de trabalho do cluster de usuário |
Tudo |
VIP do plano de controle de usuário |
8132 |
GRPC |
Obrigatório para o kubeception. Conexão do Konnectivity. Ignore para o Controlplane V2. |
Nós do cluster de administrador |
Tudo |
Servidor vCenter do cluster de usuário |
443 |
https |
Permite que o cluster de administrador gerencie o ciclo de vida do cluster de usuários. Obrigatório se os clusters de administrador e de usuário tiverem servidores vCenter diferentes. |
Nós do cluster de usuário |
1024 - 65535 |
CIDR do pod de cluster de usuário |
todas |
qualquer um |
O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod. |
Coletor do Cloud Logging, que é executado em um nó de trabalho de cluster de usuário aleatório |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
O agente do Connect, que é executado em um nó de trabalho de cluster de usuário aleatório. |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com ou REGION-gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com |
443 |
TCP/https |
Tráfego do Connect. Consulte a observação 2 após a lista de URLs para adicionar à lista de permissões. |
Coletor de metadados do Cloud, que é executado em um nó de trabalho de cluster de usuário aleatório |
1024 - 65535 |
opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com |
443 |
TCP/https |
|
Coletor do Cloud Monitoring, que é executado em um nó de trabalho de cluster de usuário aleatório |
1024 - 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
Nós do cluster de usuário |
1024 - 65535 |
IPs de VMs do Seesaw LB do cluster de usuário |
20255, 20257 |
TCP/http |
Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw. |
Nós de cluster de usuários com EnableLoadBalancer=true |
1024 - 65535 |
Nós de cluster de usuários com EnableLoadBalancer=true |
7946 |
TCP/UDP |
Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB. |
Rede do cluster de usuário |
all |
VIP do plano de controle do cluster de usuário |
443 |
TCP/https |
Regras de firewall para os componentes restantes
Essas regras se aplicam a todos os outros componentes não listados nas tabelas dos nós do cluster do administrador e dos nós do cluster de usuário.
De |
Porta de origem |
To |
Porta |
Protocolo |
Descrição |
---|---|---|---|---|---|
CIDR do pod do cluster de administrador |
1024 - 65535 |
CIDR do pod do cluster de administrador |
todas |
qualquer um |
O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod. |
CIDR do pod do cluster de administrador |
1024 - 65535 |
Nós do cluster de administrador |
todas |
qualquer um |
Retorna o tráfego de tráfego externo. |
CIDR do pod de cluster de usuário |
1024 - 65535 |
CIDR do pod de cluster de usuário |
todas |
qualquer um |
O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod. |
CIDR do pod de cluster de usuário |
1024 - 65535 |
Nós do cluster de usuário |
todas |
qualquer um |
Retorna o tráfego de tráfego externo. |
Clientes e usuários finais do aplicativo |
all |
VIP da entrada do Istio |
80, 443 |
TCP |
Tráfego de usuário final para o serviço de entrada de um cluster de usuário. |
Servidor do Jump para implantar a estação de trabalho do administrador |
intervalo de portas temporárias |
API vCenter Server IPs ESXi VMkernel (mgt) de hosts no cluster de destino |
443 |
TCP/https |
Verifique o intervalo de portas temporárias de `cat /proc/sys/net/ipv4/ip_local_port_range`. |
Estação de trabalho do administrador |
32768- 60999 |
gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados neste cluster |
443 |
TCP/https |
Faz o download de imagens do Docker a partir de registros públicos do Docker. |
Estação de trabalho do administrador |
32768- 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis com serviceusage.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para os clusters de administrador ou de usuário VIPs dos servidores da API Kubernetes dos clusters de usuários VIP do servidor da API Kubernetes do cluster de administrador API vCenter Server API F5 BIG-IP |
443 |
TCP/https |
Verificações de simulação (validação). Ao criar, atualizar, atualizar ou excluir clusters usando |
Estação de trabalho do administrador |
32768- 60999 |
API vCenter Server API F5 BIG-IP |
443 |
TCP/https |
Criação de cluster de administrador. Criar cluster de usuário. |
Estação de trabalho do administrador |
32768- 60999 |
IPs ESXi VMkernel (mgt) dos hosts no cluster de destino |
443 |
TCP/https |
A estação de trabalho do administrador faz o upload do OVA para o armazenamento de dados por meio dos hosts ESXi |
Estação de trabalho do administrador |
32768- 60999 |
VIP do servidor da API Kubernetes do cluster de administrador VIPs dos servidores da API Kubernetes dos clusters de usuário |
443 |
TCP/https |
Criação de cluster de administrador. Atualização de cluster de administrador. Criar cluster de usuário. Atualização de cluster de usuário. Exclusão de cluster de usuário. |
Estação de trabalho do administrador |
32768- 60999 |
Nós do plano de controle do cluster do administrador e nós de worker |
443 |
TCP/https |
Criação de cluster de administrador. Atualizações do plano de controle. |
Estação de trabalho do administrador |
32768- 60999 |
Todos os nós de cluster de administrador e todos os nós de cluster de usuário |
443 |
TCP/https |
Validação de rede como parte do comando
|
Estação de trabalho do administrador |
32768- 60999 |
VIP da entrada do Istio do cluster de administrador VIP da entrada do Istio dos clusters de usuário |
443 |
TCP/https |
Validação de rede como parte do comando
|
Estação de trabalho do administrador |
32768- 60999 |
oauth2.googleapis.com logging.googleapis.com monitoring.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
Acesso ao Cloud Logging e Monitoring. |
Estação de trabalho do administrador |
32768- 60999 |
IPs de VMs do Seesaw LB nos clusters de administrador e de usuário VIPs do Seesaw LB de clusters de administrador e usuário |
20256, 20258 |
TCP/http/gRPC |
Verificação de integridade de LBs. Só é necessário se você estiver usando o pacote do LB Seesaw. |
Estação de trabalho do administrador |
32768- 60999 |
IP do nó do plano de controle do cluster |
22 |
TCP |
Obrigatório se você precisar de acesso SSH da estação de trabalho de administrador para o plano de controle do cluster do administrador. |
Estação de trabalho do administrador | 32768- 60999 | releases.hashicorp.com | 443 | TCP/https | Opcional. Consulte a observação 3 após a lista de URLs para adicionar à lista de permissões. |
IPs de VM do LB |
32768- 60999 |
IPs de nós do cluster correspondente |
10256: verificação de integridade do nó |
TCP/http |
Verificação de integridade do nó. O healthCheckNodePort serve para serviços com o externalTrafficPolicy definido como local. Só é necessário se você estiver usando o pacote do LB Seesaw. |
IP próprio do F5 |
1024 - 65535 |
Todos os nós de cluster de administrador e de usuário |
30000 - 32767 |
qualquer um |
Para o tráfego do plano de dados que a carga do F5 BIG-IP equilibra por meio de um servidor virtual VIP para as portas do nó em nós do cluster do Kubernetes. Normalmente, o IP próprio do F5 está na mesma rede/sub-rede que os nós do cluster do Kubernetes. |