Regras de proxy e firewall

Version 1.13 

• Versão mais recente
• Versão 1.16
• Versões anteriores (sem suporte)

Nesta página, mostramos como configurar regras de proxy e firewall para clusters do Anthos no VMware (GKE On-Prem).

Observação: não é possível usar o proxy SSL MITM para o proxy, porque isso requer a implantação automática de um certificado de CA extra para o proxy, o que não conta com suporte. Observação: na versão 1.10, o konnectivity está ativado por padrão. É preciso criar uma regra de firewall para que os nós de trabalho do usuário possam acessar as portas 8132 no endereço VIP do plano de controle do usuário e receber pacotes de retorno.

Como incluir endereços do proxy na lista de permissões

Se a organização exigir que o tráfego de saída passe por um servidor proxy, inclua os endereços a seguir na lista de permissões no servidor proxy. Observe que www.googleapis.com é necessário em vez de googleapis.com:

• dl.google.com (obrigatório para o instalador do SDK do Google Cloud)
• gcr.io
• www.googleapis.com
• accounts.google.com
• anthos.googleapis.com
• anthosgke.googleapis.com
• cloudresourcemanager.googleapis.com
• compute.googleapis.com
• connectgateway.googleapis.com
• container.googleapis.com
• gkeconnect.googleapis.com
• gkehub.googleapis.com
• gkeonprem.googleapis.com
• gkeonprem.mtls.googleapis.com
• iam.googleapis.com
• iamcredentials.googleapis.com
• logging.googleapis.com
• monitoring.googleapis.com
• oauth2.googleapis.com
• opsconfigmonitoring.googleapis.com
• securetoken.googleapis.com
• servicecontrol.googleapis.com
• serviceusage.googleapis.com
• stackdriver.googleapis.com
• storage.googleapis.com
• sts.googleapis.com
• checkpoint-api.hashicorp.com
• releases.hashicorp.com (Opcional. Obrigatório apenas se você usar o Terraform para criar uma estação de trabalho de administrador.

Se você usar gkeadm para instalar clusters do Anthos no VMware, não será necessário permitir a lista de URLs hashicorp acima.

Além disso, se o servidor do vCenter tiver um endereço IP externo, inclua esse endereço na lista de permissões no servidor proxy.

Regras de firewall

Configure as regras de firewall para permitir o tráfego a seguir:

Regras de firewall para endereços IP disponíveis no cluster do administrador

Os endereços IP disponíveis no cluster do administrador estão listados no Arquivo de bloco de IP. Esses endereços IP são usados para os nós do plano de controle do cluster do administrador, nós do complemento do cluster do administrador e nó do plano de controle do cluster de usuário. Como os endereços IP do cluster do administrador não são atribuídos a nós específicos, é necessário verificar se todas as regras de firewall listadas na tabela a seguir se aplicam a todos os endereços IP disponíveis para o cluster do administrador.

Observação: um nó de worker do cluster do administrador pode ser um nó de complemento do cluster do administrador ou um nó do plano de controle do cluster de usuário.

De	Porta de origem	To	Porta	Protocolo	Descrição
Nó do plano de controle do cluster do administrador	1024 - 65535	API vCenter Server	443	TCP/https	Redimensionamento de cluster.
Nós complementares do cluster de administrador	1024 - 65535	API vCenter Server	443	TCP/https	Gerenciamento do ciclo de vida do cluster do usuário.
Nó do plano de controle do cluster de usuário	1024 - 65535	API vCenter Server	443	TCP/https	Redimensionamento de cluster.
Nó do plano de controle do cluster de usuário	1024 - 65535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com gkehub.googleapis.com	443	TCP/https	É necessário acesso para registrar o hub.
Coletor do Cloud Logging, que é executado em um nó de complemento do cluster de administrador	1024 - 65535	oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com	443	TCP/https
Coletor de metadados do Cloud, que é executado em um nó de complemento do cluster de administrador	1024 - 65535	opsconfigmonitoring.googleapis.com	443	TCP/https
Coletor do Cloud Monitoring, que é executado em um nó de complemento do cluster de administrador	1024 - 65535	oauth2.googleapis.com monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com	443	TCP/https
Nó do plano de controle do cluster do administrador Nós complementares do cluster de administrador	1024 - 65535	API F5 BIG-IP	443	TCP/https
Nó do plano de controle do cluster de usuário	1024 - 65535	API F5 BIG-IP	443	TCP/https
Nó do plano de controle do cluster do administrador	1024 - 65535	Registro local do Docker	Depende do registro	TCP/https	Obrigatório se os clusters do Anthos no VMware estiverem configurados para usar um registro local privado do Docker em vez de gcr.io.
Nó do plano de controle do cluster de usuário	1024 - 65535	Registro local do Docker	Depende do registro	TCP/https	Obrigatório se os clusters do Anthos no VMware estiverem configurados para usar um registro local privado do Docker em vez de gcr.io.
Nó do plano de controle do cluster do administrador	1024 - 65535	gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador	443	TCP/https	Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker.
Nó do plano de controle do cluster de usuário	1024 - 65535	gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador	443	TCP/https	Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker.
Nós de trabalho do cluster de administrador	1024 - 65535	Nós de trabalho do cluster de administrador	todas	179 - bgp 443 - https 5473 - Calico/Typha 9443 - métricas do envoy 10250 - porta de nó do kubelet	Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall.
Nós do cluster de administrador	1024 - 65535	CIDR do pod do cluster de administrador	todas	qualquer um	O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod.
Nós de trabalho do cluster de administrador	all	Nós do cluster de usuário	22	ssh	Servidor de API para comunicação do kubelet em um túnel SSH.
Nós do cluster de administrador	1024 - 65535	IPs de VMs do Seesaw LB do cluster de administrador	20255, 20257	TCP/http	Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw.
Nós do cluster de administrador	1024 - 65535	Nós do cluster de administrador	7946	TCP/UDP	Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB.

Regras de firewall para nós do cluster de usuário

Nos nós do cluster de usuário, os endereços IP são listados no arquivo de bloco de IP.

Assim como nos nós do cluster do administrador, você não sabe qual endereço IP será usado para cada nó. Portanto, todas as regras nos nós do cluster de usuário se aplicam a cada um desses nós.

De	Porta de origem	To	Porta	Protocolo	Descrição
Nós de trabalho do cluster de usuário	all	gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para este cluster	443	TCP/https	Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker.
Nós de trabalho do cluster de usuário	all	API F5 BIG-IP	443	TCP/https
Nós de trabalho do cluster de usuário	all	VIP do servidor pushprox, que é executado no cluster do administrador.	8443	TCP/https	Tráfego do Prometheus.
Nós de trabalho do cluster de usuário	all	Nós de trabalho do cluster de usuário	todas	22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - métricas do envoy 10250 - porta de nó do kubelet"	Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall.
Nós de trabalho do cluster de usuário	all	VIP do plano de controle de usuário	443	TCP/https
Nós de trabalho do cluster de usuário	all	VIP do plano de controle de usuário	8132	GRPC	Conexão do Konnectivity.
Nós do cluster de usuário	1024 - 65535	CIDR do pod de cluster de usuário	todas	qualquer um	O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod.
Coletor do Cloud Logging, que é executado em um nó de trabalho de cluster de usuário aleatório	1024 - 65535	oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com www.googleapis.com	443	TCP/https
O agente do Connect, que é executado em um nó de trabalho de cluster de usuário aleatório.	1024 - 65535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com	443	TCP/https	Tráfego do Connect.
Coletor de metadados do Cloud, que é executado em um nó de trabalho de cluster de usuário aleatório	1024 - 65535	opsconfigmonitoring.googleapis.com	443	TCP/https
Coletor do Cloud Monitoring, que é executado em um nó de trabalho de cluster de usuário aleatório	1024 - 65535	oauth2.googleapis.com Monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com	443	TCP/https
Nós do cluster de usuário	1024 - 65535	IPs de VMs do Seesaw LB do cluster de usuário	20255, 20257	TCP/http	Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw.
Nós de cluster de usuários com EnableLoadBalancer=true	1024 - 65535	Nós de cluster de usuários com EnableLoadBalancer=true	7946	TCP/UDP	Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB.
Rede do cluster de usuário	all	VIP do plano de controle do cluster de usuário	443	TCP/https

Regras de firewall para os componentes restantes

Essas regras se aplicam a todos os outros componentes não listados nas tabelas dos nós do cluster do administrador e dos nós do cluster de usuário.

De	Porta de origem	To	Porta	Protocolo	Descrição
CIDR do pod do cluster de administrador	1024 - 65535	CIDR do pod do cluster de administrador	todas	qualquer um	O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod.
CIDR do pod do cluster de administrador	1024 - 65535	Nós do cluster de administrador	todas	qualquer um	Retorna o tráfego de tráfego externo.
CIDR do pod de cluster de usuário	1024 - 65535	CIDR do pod de cluster de usuário	todas	qualquer um	O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod.
CIDR do pod de cluster de usuário	1024 - 65535	Nós do cluster de usuário	todas	qualquer um	Retorna o tráfego de tráfego externo.
Clientes e usuários finais do aplicativo	all	VIP da entrada do Istio	80, 443	TCP	Tráfego de usuário final para o serviço de entrada de um cluster de usuário.
Servidor do Jump para implantar a estação de trabalho do administrador	intervalo de portas temporárias	checkpoint-api.hashicorp.com releases.hashicorp.com API vCenter Server IPs ESXi VMkernel (mgt) dos hosts no cluster de destino	443	TCP/https	Implantação do Terraform da estação de trabalho do administrador. (Opcional. Obrigatório apenas se você usar o Terraform para criar uma estação de trabalho de administrador.) Verifique o intervalo de portas temporárias em "cat /proc/sys/net/ipv4/ip_local_port_range".
Estação de trabalho do administrador	32768- 60999	gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados neste cluster	443	TCP/https	Faz o download de imagens do Docker a partir de registros públicos do Docker.
Estação de trabalho do administrador Nó do complemento do cluster de administrador	32768- 60999	gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis com serviceusage.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para os clusters de administrador ou de usuário VIPs dos servidores da API Kubernetes dos clusters de usuários VIP do servidor da API Kubernetes do cluster de administrador API vCenter Server API F5 BIG-IP	443	TCP/https	Verificações de simulação (validação). Estação de trabalho do administrador: ao criar, atualizar, fazer upgrade ou excluir clusters usando gkectl. Nó de complementos do cluster de administrador: ao criar, atualizar, fazer upgrade ou excluir clusters de usuários usando o console do Google Cloud.
Estação de trabalho do administrador	32768- 60999	API vCenter Server API F5 BIG-IP	443	TCP/https	Criação de cluster de administrador. Criação de cluster de usuário.
Estação de trabalho do administrador	32768- 60999	IPs ESXi VMkernel (mgt) dos hosts no cluster de destino	443	TCP/https	A estação de trabalho do administrador faz o upload do OVA para o armazenamento de dados por meio dos hosts ESXi
Estação de trabalho do administrador	32768- 60999	IP do nó da VM do plano de controle do cluster do administrador	443	TCP/https	Criação de cluster de administrador.
Estação de trabalho do administrador Nó do complemento do cluster de administrador	32768- 60999	VIP do servidor da API Kubernetes do cluster de administrador VIPs dos servidores da API Kubernetes dos clusters de usuário	443	TCP/https	Criação de cluster de administrador. Criação de cluster de usuário. Atualização de cluster de usuário. Exclusão de cluster de usuário.
Estação de trabalho do administrador	32768- 60999	Nós do plano de controle do cluster do administrador e nós de worker	443	TCP/https	Criação de cluster de administrador. Atualizações do plano de controle.
Estação de trabalho do administrador	32768- 60999	Todos os nós de cluster de administrador e todos os nós de cluster de usuário	443	TCP/https	Validação de rede como parte do comando gkectl check-config.
Estação de trabalho do administrador	32768- 60999	VIP da entrada do Istio do cluster de administrador VIP da entrada do Istio dos clusters de usuário	443	TCP/https	Validação de rede como parte do comando gkectl check-config.
Estação de trabalho do administrador	32768- 60999	IPs de VMs do Seesaw LB nos clusters de administrador e de usuário VIPs do Seesaw LB de clusters de administrador e usuário	20256, 20258	TCP/http/gRPC	Verificação de integridade de LBs. Só é necessário se você estiver usando o pacote do LB Seesaw.
Estação de trabalho do administrador	32768- 60999	IP do nó do plano de controle do cluster	22	TCP	Obrigatório se você precisar de acesso SSH da estação de trabalho de administrador para o plano de controle do cluster do administrador.
IPs de VM do LB	32768- 60999	IPs de nós do cluster correspondente	10256: verificação de integridade do nó 30000 - 32767: healthCheckNodePort	TCP/http	Verificação de integridade do nó. O healthCheckNodePort serve para serviços com o externalTrafficPolicy definido como local. Só é necessário se você estiver usando o pacote do LB Seesaw.
IP próprio do F5	1024 - 65535	Todos os nós de cluster de administrador e de usuário	30000 - 32767	qualquer um	Para o tráfego do plano de dados que a carga do F5 BIG-IP equilibra por meio de um servidor virtual VIP para as portas do nó em nós do cluster do Kubernetes. Normalmente, o IP próprio do F5 está na mesma rede/sub-rede que os nós do cluster do Kubernetes.