Nesta página, mostramos como configurar regras de proxy e firewall para o Google Distributed Cloud (somente software) para VMware. Esta página é destinada a especialistas em redes que implementam sistemas de segurança de dados, como firewalls. Para saber mais sobre papéis comuns e tarefas de exemplo referenciados no conteúdo do Google Cloud, consulte Tarefas e papéis de usuário comuns do GKE Enterprise.
Como incluir endereços do proxy na lista de permissões
Se a organização exigir que o tráfego de saída passe por um servidor proxy,
inclua os endereços a seguir na lista de permissões no servidor proxy. Observe que www.googleapis.com
é necessário em vez de googleapis.com
:
- dl.google.com 1
- gcr.io
- www.googleapis.com
- accounts.google.com
- anthos.googleapis.com
- anthosgke.googleapis.com
- cloudresourcemanager.googleapis.com
- compute.googleapis.com
- connectgateway.googleapis.com
- container.googleapis.com
- gkeconnect.googleapis.com 2
- gkehub.googleapis.com
- gkeonprem.googleapis.com
- gkeonprem.mtls.googleapis.com
- iam.googleapis.com
- iamcredentials.googleapis.com
- kubernetesmetadata.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- oauth2.googleapis.com
- opsconfigmonitoring.googleapis.com
- securetoken.googleapis.com
- servicecontrol.googleapis.com
- serviceusage.googleapis.com
- storage.googleapis.com
- sts.googleapis.com
- releases.hashicorp.com (Opcional) 3
Observações:
1 O dl.google.com
é necessário para o instalador do SDK Google Cloud.
2 Se o cluster foi registrado na frota usando uma região do Google Cloud, é necessário adicionar REGION-gkeconnect.googleapis.com
à lista de permissões (por exemplo, us-central1-gkeconnect.googleapis.com
). Se você não especificou uma região, o cluster usa a instância de serviço global do Connect, e você adiciona gkeconnect.googleapis.com
à lista de permissões. Se você precisar encontrar o local da assinatura de frota do cluster, execute gcloud container fleet memberships list
. Confira mais informações em gkeConnect.location
3 Se você não usar o cliente do Terraform na sua estação de trabalho do administrador para executar comandos como terraform apply
, não será preciso adicionar releases.hashicorp.com
à lista de permissões. Se você usa o cliente do Terraform na estação de trabalho do administrador, pode adicionar releases.hashicorp.com
à lista de permissões para verificar se a versão do cliente do Terraform que você está usando é a mais recente executando o comando terraform version
.
Além disso, se o servidor do vCenter tiver um endereço IP externo, inclua esse endereço na lista de permissões no servidor proxy.
Regras de firewall para clusters de administrador
Os endereços IP do cluster de administrador dependem de o Controlplane V2 estar ativado ou não no cluster de usuário e da versão em que o cluster foi criado.
Quando o Controlplane V2 está ativado, o plano de controle de um cluster de usuário é executado no próprio cluster de usuário. Quando o Controlplane V2 não está ativado, o plano de controle de um cluster de usuário é executado em um ou mais nós no cluster de administrador, chamado de kubeception.
Na versão 1.28 e mais recentes, os novos clusters de administrador de HA não têm nós complementares.
Os endereços IP dos nós de complemento do cluster de administrador (se houver) e dos nós do plano de controle do cluster de usuário kubeception estão listados no arquivo de bloco de IP do cluster de administrador. Os nós do plano de controle do cluster de administrador são configurados na seção network.controlPlaneIPBlock.ips
do arquivo de configuração do cluster de administrador.
Como os endereços IP no arquivo de bloco de IP do cluster de administrador não são atribuídos a nós específicos, é necessário verificar se todas as regras de firewall listadas na tabela a seguir se aplicam a todos os endereços IP disponíveis para o cluster de administrador.
Configure as regras de firewall para permitir o tráfego a seguir:
De |
Porta de origem |
Para |
Porta |
Protocolo |
Descrição |
---|---|---|---|---|---|
Nó do plano de controle do cluster do administrador |
1024 - 65535 |
API vCenter Server |
443 |
TCP/https |
Redimensionamento de cluster. |
Nós complementares do cluster de administrador |
1024 - 65535 |
API vCenter Server |
443 |
TCP/https |
Gerenciamento do ciclo de vida do cluster do usuário. |
Nós complementares do cluster de administrador |
32768- 60999 |
VIP do servidor da API Kubernetes do cluster de administrador VIPs dos servidores da API Kubernetes dos clusters de usuário |
443 |
TCP/https |
Criar cluster de usuário. Atualização de cluster de usuário. Upgrade do cluster de usuário. Exclusão de cluster de usuário. |
Nós do plano de controle do cluster de administrador |
32768- 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para os clusters de administrador ou de usuário VIPs dos servidores da API Kubernetes dos clusters de usuários VIP do servidor da API Kubernetes do cluster de administrador API vCenter Server API F5 BIG_IP do cluster de administrador API F5 BIG_IP do cluster de usuário Servidores NTP do cluster de administrador Servidores NTP do cluster de usuário Servidores DNS do cluster de administrador Servidores DNS do cluster de usuário |
443 |
TCP/https |
Verificações de simulação (validação). Ao criar, atualizar ou fazer upgrade de clusters de usuários. Ao criar, atualizar ou fazer upgrade do cluster de administrador. |
Nós do plano de controle do cluster do administrador |
32768- 60999 |
Registro do Docker local no cluster de usuários |
Depende do registro |
TCP/https |
Verificações de simulação (validação). Obrigatório se um cluster de usuário estiver configurado para usar um registro particular local do Docker em vez de gcr.io. Ao criar ou fazer upgrade de clusters de usuários. Ao criar ou fazer upgrade do cluster de administrador. |
Nós do plano de controle do cluster de administrador |
32768- 60999 |
Nós do cluster de administrador Nós do cluster de usuário VIPs do Load Balancer do cluster de administrador VIPs do Load Balancer do cluster de usuário |
icmp |
Verificações de simulação (validação). Ao criar, atualizar ou fazer upgrade de clusters de usuários. Ao criar, atualizar ou fazer upgrade do cluster de administrador. |
|
Nós do plano de controle do cluster de administrador |
32768- 60999 |
Nós de trabalho do cluster de usuário |
22 |
ssh |
Verificações de simulação (validação). Quando você faz upgrade de clusters de usuário. Quando você faz upgrade do cluster de administrador. |
Nó do plano de controle do cluster de usuário (somente Kubeception) |
1024 - 65535 |
API vCenter Server |
443 |
TCP/https |
Redimensionamento de cluster. |
Nó do plano de controle do cluster de usuário (somente Kubeception) |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com ou REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
Você precisa acessar a página de registro da frota. Consulte a observação 2 após a lista de URLs para adicionar à lista de permissões. |
Nó do plano de controle do cluster de usuário (somente Kubeception) |
1024 - 65535 |
API F5 BIG-IP |
443 |
TCP/https |
|
Nó do plano de controle do cluster de usuário (somente Kubeception) |
1024 - 65535 |
Registro local do Docker |
Depende do registro |
TCP/https |
Obrigatório se o Google Distributed Cloud estiver configurado para usar um registro particular local do Docker em vez de gcr.io. |
Nó do plano de controle do cluster de usuário (somente Kubeception) |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador |
443 |
TCP/https |
Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker. |
Coletor do Cloud Logging, que é executado em um nó de complemento do cluster de administrador |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
Coletor de metadados do Cloud, que é executado em um nó de complemento do cluster de administrador |
1024 - 65535 |
opsconfigmonitoring.googleapis.com |
443 |
TCP/https |
|
Coletor do Cloud Monitoring, que é executado em um nó de complemento do cluster de administrador |
1024 - 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
Nó do plano de controle do cluster do administrador |
1024 - 65535 |
API F5 BIG-IP |
443 |
TCP/https |
|
Nó do plano de controle do cluster do administrador |
1024 - 65535 |
Registro local do Docker |
Depende do registro |
TCP/https |
Obrigatório se o Google Distributed Cloud estiver configurado para usar um registro particular local do Docker em vez de gcr.io. |
Nó do plano de controle do cluster do administrador |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador |
443 |
TCP/https |
Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker. |
Nós de trabalho do cluster de administrador |
1024 - 65535 |
Nós de trabalho do cluster de administrador |
Tudo |
179 - bgp 443 - https 5473 - Calico/Typha 9443 - métricas do envoy 10250 - porta de nó do kubelet |
Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall. |
Nós do cluster de administrador |
1024 - 65535 |
CIDR do pod do cluster de administrador |
todos |
qualquer |
O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod. |
Nós de trabalho do cluster de administrador |
todos |
Nós do cluster de usuário |
22 |
ssh |
Obrigatório para o kubeception. Servidor de API para comunicação do kubelet em um túnel SSH. Ignore para o Controlplane V2. |
Nós do cluster de administrador |
1024 - 65535 |
IPs de VMs do Seesaw LB do cluster de administrador |
20255, 20257 |
TCP/http |
Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw. |
Nós do cluster de administrador |
1024 - 65535 |
Nós do cluster de administrador |
7946 |
TCP/UDP |
Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB. |
Nós do cluster de administrador |
Tudo |
VIP do plano de controle do cluster de usuário |
443 |
https |
Obrigatório para o plano de controle V2. Permite que nós e pods no cluster de administrador se comuniquem com o servidor da API Kubernetes do cluster de usuário. |
Nós do cluster de administrador |
Tudo |
Nós do plano de controle do cluster de usuários |
443 |
https |
Obrigatório para o plano de controle V2. Permite que nós e pods no cluster de administrador se comuniquem com o servidor da API Kubernetes do cluster de usuário usando o endereço IP de um nó do plano de controle do cluster de usuário. |
Regras de firewall para nós do cluster de usuário
Nos nós do cluster de usuário, os endereços IP são listados no arquivo de bloco de IP.
Assim como nos nós do cluster do administrador, você não sabe qual endereço IP será usado para cada nó. Portanto, todas as regras nos nós do cluster de usuário se aplicam a cada um desses nós.
De |
Porta de origem |
Para |
Porta |
Protocolo |
Descrição |
---|---|---|---|---|---|
Nó do plano de controle do cluster de usuário (somente no Control Plane V2) |
1024 - 65535 |
API vCenter Server |
443 |
TCP/https |
Redimensionamento de cluster. |
Nó do plano de controle do cluster de usuário (somente no Control Plane V2) |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com ou REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
Você precisa acessar a página de registro da frota. Consulte a observação 2 após a lista de URLs para adicionar à lista de permissões. |
Nó do plano de controle do cluster de usuário (somente no Control Plane V2) |
1024 - 65535 |
Registro local do Docker |
Depende do registro |
TCP/https |
Obrigatório se o Google Distributed Cloud estiver configurado para usar um registro particular local do Docker em vez de gcr.io. |
Nó do plano de controle do cluster de usuário (somente no Control Plane V2) |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador |
443 |
TCP/https |
Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker. |
Nó do plano de controle do cluster de usuário (somente no Control Plane V2) |
1024 - 65535 |
API F5 BIG-IP |
443 |
TCP/https |
|
Nós de trabalho do cluster de usuário |
todos |
gcr.io oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para este cluster |
443 |
TCP/https |
Faz o download de imagens de registros públicos do Docker. Não é necessário se você estiver usando um registro particular do Docker. |
Nós de trabalho do cluster de usuário |
todos |
API F5 BIG-IP |
443 |
TCP/https |
|
Nós de trabalho do cluster de usuário |
todos |
VIP do servidor pushprox, que é executado no cluster do administrador. |
8443 |
TCP/https |
Tráfego do Prometheus. |
Nós de trabalho do cluster de usuário |
todos |
Nós de trabalho do cluster de usuário |
todos |
22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - métricas do envoy 10250 - porta de nó do kubelet" |
Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall. |
Nós de trabalho do cluster de usuário |
todos |
VIP do plano de controle de usuário |
443 |
TCP/https |
|
Nós de trabalho do cluster de usuário |
Tudo |
VIP do plano de controle de usuário |
8132 |
GRPC |
Obrigatório para o kubeception. Conexão do Konnectivity. Ignore para o Controlplane V2. |
Nós do cluster de administrador |
Tudo |
Servidor vCenter do cluster de usuário |
443 |
https |
Permite que o cluster de administrador gerencie o ciclo de vida do cluster de usuários. Obrigatório se os clusters de administrador e de usuário tiverem servidores vCenter diferentes. |
Nós do cluster de usuário |
1024 - 65535 |
CIDR do pod de cluster de usuário |
todos |
qualquer |
O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod. |
Coletor do Cloud Logging, que é executado em um nó de trabalho de cluster de usuário aleatório |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
O agente do Connect, que é executado em um nó de trabalho de cluster de usuário aleatório. |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com ou REGION-gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com |
443 |
TCP/https |
Tráfego do Connect. Consulte a observação 2 após a lista de URLs para a lista de permissões. |
Coletor de metadados do Cloud, que é executado em um nó de trabalho de cluster de usuário aleatório |
1024 - 65535 |
opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com |
443 |
TCP/https |
|
Coletor do Cloud Monitoring, que é executado em um nó de trabalho de cluster de usuário aleatório |
1024 - 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
Nós do cluster de usuário |
1024 - 65535 |
IPs de VMs do Seesaw LB do cluster de usuário |
20255, 20257 |
TCP/http |
Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw. |
Nós de cluster de usuários com EnableLoadBalancer=true |
1024 - 65535 |
Nós de cluster de usuários com EnableLoadBalancer=true |
7946 |
TCP/UDP |
Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB. |
Rede do cluster de usuário |
todos |
VIP do plano de controle do cluster de usuário |
443 |
TCP/https |
Regras de firewall para os componentes restantes
Essas regras se aplicam a todos os outros componentes não listados nas tabelas dos nós do cluster do administrador e dos nós do cluster de usuário.
De |
Porta de origem |
Para |
Porta |
Protocolo |
Descrição |
---|---|---|---|---|---|
CIDR do pod do cluster de administrador |
1024 - 65535 |
CIDR do pod do cluster de administrador |
todos |
qualquer |
O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod. |
CIDR do pod do cluster de administrador |
1024 - 65535 |
Nós do cluster de administrador |
todos |
qualquer |
Retorna o tráfego de tráfego externo. |
CIDR do pod de cluster de usuário |
1024 - 65535 |
CIDR do pod de cluster de usuário |
todos |
qualquer |
O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod. |
CIDR do pod de cluster de usuário |
1024 - 65535 |
Nós do cluster de usuário |
todos |
qualquer |
Retorna o tráfego de tráfego externo. |
Clientes e usuários finais do aplicativo |
todos |
VIP da entrada do Istio |
80, 443 |
TCP |
Tráfego de usuário final para o serviço de entrada de um cluster de usuário. |
Servidor do Jump para implantar a estação de trabalho do administrador |
intervalo de portas temporárias |
API vCenter Server IPs ESXi VMkernel (mgt) dos hosts no cluster de destino |
443 |
TCP/https |
Verifique o intervalo de portas temporárias em "cat /proc/sys/net/ipv4/ip_local_port_range". |
Estação de trabalho do administrador |
32768- 60999 |
gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados neste cluster |
443 |
TCP/https |
Faz o download de imagens do Docker a partir de registros públicos do Docker. |
Estação de trabalho do administrador |
32768- 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis com serviceusage.googleapis.com storage.googleapis.com Qualquer URL *.googleapis.com necessário para os serviços ativados para os clusters de administrador ou de usuário VIPs dos servidores da API Kubernetes dos clusters de usuários VIP do servidor da API Kubernetes do cluster de administrador API vCenter Server API F5 BIG-IP |
443 |
TCP/https |
Verificações de simulação (validação). Ao criar, atualizar, atualizar ou excluir clusters usando |
Estação de trabalho do administrador |
32768- 60999 |
API vCenter Server API F5 BIG-IP |
443 |
TCP/https |
Criação de cluster de administrador. Criar cluster de usuário. |
Estação de trabalho do administrador |
32768- 60999 |
IPs ESXi VMkernel (mgt) dos hosts no cluster de destino |
443 |
TCP/https |
A estação de trabalho do administrador faz o upload do OVA para o armazenamento de dados por meio dos hosts ESXi |
Estação de trabalho do administrador |
32768- 60999 |
VIP do servidor da API Kubernetes do cluster de administrador VIPs dos servidores da API Kubernetes dos clusters de usuário |
443 |
TCP/https |
Criação de cluster de administrador. Atualização de cluster de administrador. Criar cluster de usuário. Atualização de cluster de usuário. Exclusão de cluster de usuário. |
Estação de trabalho do administrador |
32768- 60999 |
Nós do plano de controle do cluster do administrador e nós de worker |
443 |
TCP/https |
Criação de cluster de administrador. Atualizações do plano de controle. |
Estação de trabalho do administrador |
32768- 60999 |
Todos os nós de cluster de administrador e todos os nós de cluster de usuário |
443 |
TCP/https |
Validação de rede como parte do comando
|
Estação de trabalho do administrador |
32768- 60999 |
VIP da entrada do Istio do cluster de administrador VIP da entrada do Istio dos clusters de usuário |
443 |
TCP/https |
Validação de rede como parte do comando
|
Estação de trabalho do administrador |
32768- 60999 |
oauth2.googleapis.com logging.googleapis.com monitoring.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
Acesso ao Cloud Logging e Monitoring. |
Estação de trabalho do administrador |
32768- 60999 |
IPs de VMs do Seesaw LB nos clusters de administrador e de usuário VIPs do Seesaw LB de clusters de administrador e usuário |
20256, 20258 |
TCP/http/gRPC |
Verificação de integridade de LBs. Só é necessário se você estiver usando o pacote do LB Seesaw. |
Estação de trabalho do administrador |
32768- 60999 |
IP do nó do plano de controle do cluster |
22 |
TCP |
Obrigatório se você precisar de acesso SSH da estação de trabalho de administrador para o plano de controle do cluster do administrador. |
Estação de trabalho do administrador | 32768- 60999 | releases.hashicorp.com | 443 | TCP/https | Opcional. Consulte a nota 3 após a lista de URLs para adicionar à lista de permissões. |
IPs de VM do LB |
32768- 60999 |
IPs de nós do cluster correspondente |
10256: verificação de integridade do nó |
TCP/http |
Verificação de integridade do nó. O healthCheckNodePort serve para serviços com o externalTrafficPolicy definido como local. Só é necessário se você estiver usando o pacote do LB Seesaw. |
IP próprio do F5 |
1024 - 65535 |
Todos os nós de cluster de administrador e de usuário |
30000 - 32767 |
qualquer |
Para o tráfego do plano de dados que a carga do F5 BIG-IP equilibra por meio de um servidor virtual VIP para as portas do nó em nós do cluster do Kubernetes. Normalmente, o IP próprio do F5 está na mesma rede/sub-rede que os nós do cluster do Kubernetes. |