Regras de proxy e firewall

Version 1.15 

• Versão mais recente
• Versão 1.16
• Versões anteriores (sem suporte)

Nesta página, mostramos como configurar regras de proxy e firewall para o GKE no VMware.

Observação: não é possível usar o proxy SSL MITM para o proxy, porque isso requer a implantação automática de um certificado de CA extra para o proxy, o que não conta com suporte. Observação: na versão 1.10, o konnectivity está ativado por padrão. É preciso criar uma regra de firewall para que os nós de trabalho do usuário possam acessar as portas 8132 no endereço VIP do plano de controle do usuário e receber pacotes de retorno.

Como incluir endereços do proxy na lista de permissões

Se a organização exigir que o tráfego de saída passe por um servidor proxy, inclua os endereços a seguir na lista de permissões no servidor proxy. Observe que www.googleapis.com é necessário em vez de googleapis.com:

• dl.google.com ¹
• gcr.io
• www.googleapis.com
• accounts.google.com
• anthos.googleapis.com
• anthosgke.googleapis.com
• cloudresourcemanager.googleapis.com
• compute.googleapis.com
• connectgateway.googleapis.com
• container.googleapis.com
• gkeconnect.googleapis.com
• gkehub.googleapis.com
• gkeonprem.googleapis.com
• gkeonprem.mtls.googleapis.com
• iam.googleapis.com
• iamcredentials.googleapis.com
• logging.googleapis.com
• monitoring.googleapis.com
• oauth2.googleapis.com
• opsconfigmonitoring.googleapis.com
• securetoken.googleapis.com
• servicecontrol.googleapis.com
• serviceusage.googleapis.com
• stackdriver.googleapis.com
• storage.googleapis.com
• sts.googleapis.com
• lançamentos.hashicorp.com ²

Observações:

¹ dl.google.com é exigido pelo instalador do SDK do Google Cloud.

² Se você não usar o cliente do Terraform na estação de trabalho do administrador para executar comandos como terraform apply, não será necessário incluir releases.hashicorp.com na lista de permissões. Se você usa o cliente do Terraform na estação de trabalho do administrador, pode adicionar releases.hashicorp.com à lista de permissões para verificar se a versão do cliente do Terraform que está usando é a mais recente executando o comando terraform version.

Além disso, se o servidor do vCenter tiver um endereço IP externo, inclua esse endereço na lista de permissões no servidor proxy.

Regras de firewall

Configure as regras de firewall para permitir o tráfego a seguir:

Regras de firewall para endereços IP disponíveis no cluster do administrador

Os endereços IP disponíveis no cluster do administrador estão listados no Arquivo de bloco de IP. Esses endereços IP são usados para os nós do plano de controle do cluster do administrador, nós do complemento do cluster do administrador e nó do plano de controle do cluster de usuário. Como os endereços IP do cluster do administrador não são atribuídos a nós específicos, é necessário verificar se todas as regras de firewall listadas na tabela a seguir se aplicam a todos os endereços IP disponíveis para o cluster do administrador.

Observação: um nó de worker do cluster do administrador pode ser um nó de complemento do cluster do administrador ou um nó do plano de controle do cluster de usuário.

De	Porta de origem	To	Porta	Protocolo	Descrição
Nó do plano de controle do cluster do administrador	1024 - 65535	API vCenter Server	443	TCP/https	Redimensionamento de cluster.
Nós complementares do cluster de administrador	1024 - 65535	API vCenter Server	443	TCP/https	Gerenciamento do ciclo de vida do cluster do usuário.
Nós complementares do cluster de administrador	32768- 60999	VIP do servidor da API Kubernetes do cluster de administrador VIPs dos servidores da API Kubernetes dos clusters de usuário	443	TCP/https	Criar cluster de usuário. Atualização de cluster de usuário. Upgrade do cluster de usuário. Exclusão de cluster de usuário.
Nós complementares do cluster de administrador	32768- 60999	gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para os clusters de administrador ou usuário VIPs dos servidores da API DNS vCenter do cluster de usuário VIP do servidor da API DNS do cluster do Kubernetes do cluster de administrador VIP do servidor da API DNS do cluster do cluster de administrador	443	TCP/https	Verificações de simulação (validação). Ao criar, atualizar, fazer upgrade ou excluir clusters de usuário usando o console do Google Cloud, a CLI gcloud ou o Terraform.
Nós complementares do cluster de administrador	32768- 60999	Registro do Docker local do cluster de usuário	Depende do registro	TCP/https	Verificações de simulação (validação). Ao criar, atualizar, fazer upgrade ou excluir clusters de usuário usando o console do Google Cloud, a CLI gcloud ou o Terraform.
Nós complementares do cluster de administrador	32768- 60999	Nós do cluster de administrador Nós do cluster de usuário VIPs do balanceador de carga do cluster de administrador VIPs do balanceador de carga do cluster de usuário		icmp	Verificações de simulação (validação). Ao criar, atualizar, fazer upgrade ou excluir clusters de usuário usando o console do Google Cloud, a CLI gcloud ou o Terraform.
Nó do plano de controle do cluster de usuário	1024 - 65535	API vCenter Server	443	TCP/https	Redimensionamento de cluster.
Nó do plano de controle do cluster de usuário	1024 - 65535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com gkehub.googleapis.com	443	TCP/https	É necessário acesso para registrar o hub.
Coletor do Cloud Logging, que é executado em um nó de complemento do cluster de administrador	1024 - 65535	oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com	443	TCP/https
Coletor de metadados do Cloud, que é executado em um nó de complemento do cluster de administrador	1024 - 65535	opsconfigmonitoring.googleapis.com	443	TCP/https
Coletor do Cloud Monitoring, que é executado em um nó de complemento do cluster de administrador	1024 - 65535	oauth2.googleapis.com monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com	443	TCP/https
Nó do plano de controle do cluster do administrador	1024 - 65535	API F5 BIG-IP	443	TCP/https
Nó do plano de controle do cluster de usuário	1024 - 65535	API F5 BIG-IP	443	TCP/https
Nó do plano de controle do cluster do administrador	1024 - 65535	Registro local do Docker	Depende do registro	TCP/https	Obrigatório se o GKE VMware estiver configurado para usar um registro particular local do Docker em vez de gcr.io.
Nó do plano de controle do cluster de usuário	1024 - 65535	Registro local do Docker	Depende do registro	TCP/https	Obrigatório se o GKE VMware estiver configurado para usar um registro particular local do Docker em vez de gcr.io.
Nó do plano de controle do cluster do administrador	1024 - 65535	gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador	443	TCP/https	Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker.
Nó do plano de controle do cluster de usuário	1024 - 65535	gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador	443	TCP/https	Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker.
Nós de trabalho do cluster de administrador	1024 - 65535	Nós de trabalho do cluster de administrador	Tudo	179 - bgp 443 - https 5473 - Calico/Typha 9443 - métricas do envoy 10250 - porta de nó do kubelet	Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall.
Nós do cluster de administrador	1024 - 65535	CIDR do pod do cluster de administrador	todas	qualquer um	O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod.
Nós de trabalho do cluster de administrador	all	Nós do cluster de usuário	22	ssh	Obrigatório para o kubeception. Servidor de API para comunicação do kubelet em um túnel SSH.
Nós do cluster de administrador	1024 - 65535	IPs de VMs do Seesaw LB do cluster de administrador	20255, 20257	TCP/http	Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw.
Nós do cluster de administrador	1024 - 65535	Nós do cluster de administrador	7946	TCP/UDP	Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB.
Nós do cluster de administrador	Tudo	VIP do plano de controle do cluster de usuário	443	https	Obrigatório para o plano de controle V2. Permite que nós e pods no cluster de administrador se comuniquem com o servidor da API Kubernetes do cluster de usuário.
Nós do cluster de administrador	Tudo	Nós do plano de controle do cluster de usuários	443	https	Obrigatório para o plano de controle V2. Permite que nós e pods no cluster de administrador se comuniquem com o servidor da API Kubernetes do cluster de usuário usando o endereço IP de um nó do plano de controle do cluster de usuário.

Regras de firewall para nós do cluster de usuário

Nos nós do cluster de usuário, os endereços IP são listados no arquivo de bloco de IP.

Assim como nos nós do cluster do administrador, você não sabe qual endereço IP será usado para cada nó. Portanto, todas as regras nos nós do cluster de usuário se aplicam a cada um desses nós.

De	Porta de origem	To	Porta	Protocolo	Descrição
Nós de trabalho do cluster de usuário	all	gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para este cluster	443	TCP/https	Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker.
Nós de trabalho do cluster de usuário	all	API F5 BIG-IP	443	TCP/https
Nós de trabalho do cluster de usuário	all	VIP do servidor pushprox, que é executado no cluster do administrador.	8443	TCP/https	Tráfego do Prometheus.
Nós de trabalho do cluster de usuário	all	Nós de trabalho do cluster de usuário	todas	22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - métricas do envoy 10250 - porta de nó do kubelet"	Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall.
Nós de trabalho do cluster de usuário	all	VIP do plano de controle de usuário	443	TCP/https
Nós de trabalho do cluster de usuário	Tudo	VIP do plano de controle de usuário	8132	GRPC	Obrigatório para o kubeception. Conexão do Konnectivity.
Nós do cluster de administrador	Tudo	Servidor vCenter do cluster de usuário	443	https	Permite que o cluster de administrador gerencie o ciclo de vida do cluster de usuários. Obrigatório se os clusters de administrador e de usuário tiverem servidores vCenter diferentes.
Nós do cluster de usuário	1024 - 65535	CIDR do pod de cluster de usuário	todas	qualquer um	O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod.
Coletor do Cloud Logging, que é executado em um nó de trabalho de cluster de usuário aleatório	1024 - 65535	oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com www.googleapis.com	443	TCP/https
O agente do Connect, que é executado em um nó de trabalho de cluster de usuário aleatório.	1024 - 65535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com	443	TCP/https	Tráfego do Connect.
Coletor de metadados do Cloud, que é executado em um nó de trabalho de cluster de usuário aleatório	1024 - 65535	opsconfigmonitoring.googleapis.com	443	TCP/https
Coletor do Cloud Monitoring, que é executado em um nó de trabalho de cluster de usuário aleatório	1024 - 65535	oauth2.googleapis.com Monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com	443	TCP/https
Nós do cluster de usuário	1024 - 65535	IPs de VMs do Seesaw LB do cluster de usuário	20255, 20257	TCP/http	Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw.
Nós de cluster de usuários com EnableLoadBalancer=true	1024 - 65535	Nós de cluster de usuários com EnableLoadBalancer=true	7946	TCP/UDP	Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB.
Rede do cluster de usuário	all	VIP do plano de controle do cluster de usuário	443	TCP/https

Regras de firewall para os componentes restantes

Essas regras se aplicam a todos os outros componentes não listados nas tabelas dos nós do cluster do administrador e dos nós do cluster de usuário.

De	Porta de origem	To	Porta	Protocolo	Descrição
CIDR do pod do cluster de administrador	1024 - 65535	CIDR do pod do cluster de administrador	todas	qualquer um	O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod.
CIDR do pod do cluster de administrador	1024 - 65535	Nós do cluster de administrador	todas	qualquer um	Retorna o tráfego de tráfego externo.
CIDR do pod de cluster de usuário	1024 - 65535	CIDR do pod de cluster de usuário	todas	qualquer um	O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod.
CIDR do pod de cluster de usuário	1024 - 65535	Nós do cluster de usuário	todas	qualquer um	Retorna o tráfego de tráfego externo.
Clientes e usuários finais do aplicativo	all	VIP da entrada do Istio	80, 443	TCP	Tráfego de usuário final para o serviço de entrada de um cluster de usuário.
Servidor do Jump para implantar a estação de trabalho do administrador	intervalo de portas temporárias	API vCenter Server IPs ESXi VMkernel (mgt) de hosts no cluster de destino	443	TCP/https	Verifique o intervalo de portas temporárias de `cat /proc/sys/net/ipv4/ip_local_port_range`.
Estação de trabalho do administrador	32768- 60999	gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados neste cluster	443	TCP/https	Faz o download de imagens do Docker a partir de registros públicos do Docker.
Estação de trabalho do administrador	32768- 60999	gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis com serviceusage.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para os clusters de administrador ou de usuário VIPs dos servidores da API Kubernetes dos clusters de usuários VIP do servidor da API Kubernetes do cluster de administrador API vCenter Server API F5 BIG-IP	443	TCP/https	Verificações de simulação (validação). Ao criar, atualizar, atualizar ou excluir clusters usando gkectl.
Estação de trabalho do administrador	32768- 60999	API vCenter Server API F5 BIG-IP	443	TCP/https	Criação de cluster de administrador. Criar cluster de usuário.
Estação de trabalho do administrador	32768- 60999	IPs ESXi VMkernel (mgt) dos hosts no cluster de destino	443	TCP/https	A estação de trabalho do administrador faz o upload do OVA para o armazenamento de dados por meio dos hosts ESXi
Estação de trabalho do administrador	32768- 60999	VIP do servidor da API Kubernetes do cluster de administrador VIPs dos servidores da API Kubernetes dos clusters de usuário	443	TCP/https	Criação de cluster de administrador. Atualização de cluster de administrador. Criar cluster de usuário. Atualização de cluster de usuário. Exclusão de cluster de usuário.
Estação de trabalho do administrador	32768- 60999	Nós do plano de controle do cluster do administrador e nós de worker	443	TCP/https	Criação de cluster de administrador. Atualizações do plano de controle.
Estação de trabalho do administrador	32768- 60999	Todos os nós de cluster de administrador e todos os nós de cluster de usuário	443	TCP/https	Validação de rede como parte do comando gkectl check-config.
Estação de trabalho do administrador	32768- 60999	VIP da entrada do Istio do cluster de administrador VIP da entrada do Istio dos clusters de usuário	443	TCP/https	Validação de rede como parte do comando gkectl check-config.
Estação de trabalho do administrador	32768- 60999	oauth2.googleapis.com logging.googleapis.com monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com	443	TCP/https	Acesso ao Cloud Logging e Monitoring.
Estação de trabalho do administrador	32768- 60999	IPs de VMs do Seesaw LB nos clusters de administrador e de usuário VIPs do Seesaw LB de clusters de administrador e usuário	20256, 20258	TCP/http/gRPC	Verificação de integridade de LBs. Só é necessário se você estiver usando o pacote do LB Seesaw.
Estação de trabalho do administrador	32768- 60999	IP do nó do plano de controle do cluster	22	TCP	Obrigatório se você precisar de acesso SSH da estação de trabalho de administrador para o plano de controle do cluster do administrador.
Estação de trabalho do administrador	32768- 60999	releases.hashicorp.com	443	TCP/https	Opcional. Consulte a observação 2 após a lista de URLs para adicionar à lista de permissões.
IPs de VM do LB	32768- 60999	IPs de nós do cluster correspondente	10256: verificação de integridade do nó 30000 - 32767: healthCheckNodePort	TCP/http	Verificação de integridade do nó. O healthCheckNodePort serve para serviços com o externalTrafficPolicy definido como local. Só é necessário se você estiver usando o pacote do LB Seesaw.
IP próprio do F5	1024 - 65535	Todos os nós de cluster de administrador e de usuário	30000 - 32767	qualquer um	Para o tráfego do plano de dados que a carga do F5 BIG-IP equilibra por meio de um servidor virtual VIP para as portas do nó em nós do cluster do Kubernetes. Normalmente, o IP próprio do F5 está na mesma rede/sub-rede que os nós do cluster do Kubernetes.