Regras de proxy e firewall

Nesta página, mostramos como configurar regras de proxy e firewall para o Google Distributed Cloud (somente software) para VMware. Esta página é destinada a especialistas em redes que implementam sistemas de segurança de dados, como firewalls. Para saber mais sobre papéis comuns e tarefas de exemplo referenciados no conteúdo do Google Cloud, consulte Tarefas e papéis de usuário comuns do GKE Enterprise.

Como incluir endereços do proxy na lista de permissões

Se a organização exigir que o tráfego de saída passe por um servidor proxy, inclua os endereços a seguir na lista de permissões no servidor proxy. Observe que www.googleapis.com é necessário em vez de googleapis.com:

  • dl.google.com 1
  • gcr.io
  • www.googleapis.com
  • accounts.google.com
  • anthos.googleapis.com
  • anthosgke.googleapis.com
  • cloudresourcemanager.googleapis.com
  • compute.googleapis.com
  • connectgateway.googleapis.com
  • container.googleapis.com
  • gkeconnect.googleapis.com 2
  • gkehub.googleapis.com
  • gkeonprem.googleapis.com
  • gkeonprem.mtls.googleapis.com
  • iam.googleapis.com
  • iamcredentials.googleapis.com
  • kubernetesmetadata.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • oauth2.googleapis.com
  • opsconfigmonitoring.googleapis.com
  • securetoken.googleapis.com
  • servicecontrol.googleapis.com
  • serviceusage.googleapis.com
  • storage.googleapis.com
  • sts.googleapis.com
  • releases.hashicorp.com (Opcional) 3

Observações:

1 O dl.google.com é necessário para o instalador do SDK Google Cloud.

2 Se o cluster foi registrado na frota usando uma região do Google Cloud, é necessário adicionar REGION-gkeconnect.googleapis.com à lista de permissões (por exemplo, us-central1-gkeconnect.googleapis.com). Se você não especificou uma região, o cluster usa a instância de serviço global do Connect, e você adiciona gkeconnect.googleapis.com à lista de permissões. Se você precisar encontrar o local da assinatura de frota do cluster, execute gcloud container fleet memberships list. Confira mais informações em gkeConnect.location

3 Se você não usar o cliente do Terraform na sua estação de trabalho do administrador para executar comandos como terraform apply, não será preciso adicionar releases.hashicorp.com à lista de permissões. Se você usa o cliente do Terraform na estação de trabalho do administrador, pode adicionar releases.hashicorp.com à lista de permissões para verificar se a versão do cliente do Terraform que você está usando é a mais recente executando o comando terraform version.

Além disso, se o servidor do vCenter tiver um endereço IP externo, inclua esse endereço na lista de permissões no servidor proxy.

Regras de firewall para clusters de administrador

Os endereços IP do cluster de administrador dependem de o Controlplane V2 estar ativado ou não no cluster de usuário e da versão em que o cluster foi criado.

  • Quando o Controlplane V2 está ativado, o plano de controle de um cluster de usuário é executado no próprio cluster de usuário. Quando o Controlplane V2 não está ativado, o plano de controle de um cluster de usuário é executado em um ou mais nós no cluster de administrador, chamado de kubeception.

  • Na versão 1.28 e mais recentes, os novos clusters de administrador de HA não têm nós complementares.

Os endereços IP dos nós de complemento do cluster de administrador (se houver) e dos nós do plano de controle do cluster de usuário kubeception estão listados no arquivo de bloco de IP do cluster de administrador. Os nós do plano de controle do cluster de administrador são configurados na seção network.controlPlaneIPBlock.ips do arquivo de configuração do cluster de administrador.

Como os endereços IP no arquivo de bloco de IP do cluster de administrador não são atribuídos a nós específicos, é necessário verificar se todas as regras de firewall listadas na tabela a seguir se aplicam a todos os endereços IP disponíveis para o cluster de administrador.

Configure as regras de firewall para permitir o tráfego a seguir:

De

Porta de origem

Para

Porta

Protocolo

Descrição

Nó do plano de controle do cluster do administrador

1024 - 65535

API vCenter Server

443

TCP/https

Redimensionamento de cluster.

Nós complementares do cluster de administrador

1024 - 65535

API vCenter Server

443

TCP/https

Gerenciamento do ciclo de vida do cluster do usuário.

Nós complementares do cluster de administrador

32768- 60999

VIP do servidor da API Kubernetes do cluster de administrador

VIPs dos servidores da API Kubernetes dos clusters de usuário

443

TCP/https

Criar cluster de usuário.

Atualização de cluster de usuário.

Upgrade do cluster de usuário.

Exclusão de cluster de usuário.

Nós do plano de controle do cluster de administrador

32768- 60999

gcr.io
cloudresourcemanager.googleapis.com
compute.googleapis.com
iam.googleapis.com
oauth2.googleapis.com
serviceusage.googleapis.com
storage.googleapis.com
Qualquer URL *.googleapis.com necessário para os serviços ativados para os clusters de administrador ou de usuário
VIPs dos servidores da API Kubernetes dos clusters de usuários
VIP do servidor da API Kubernetes do cluster de administrador
API vCenter Server
API F5 BIG_IP do cluster de administrador
API F5 BIG_IP do cluster de usuário
Servidores NTP do cluster de administrador
Servidores NTP do cluster de usuário
Servidores DNS do cluster de administrador
Servidores DNS do cluster de usuário

443

TCP/https

Verificações de simulação (validação).

Ao criar, atualizar ou fazer upgrade de clusters de usuários.

Ao criar, atualizar ou fazer upgrade do cluster de administrador.

Nós do plano de controle do cluster do administrador

32768- 60999

Registro do Docker local no cluster de usuários

Depende do registro

TCP/https

Verificações de simulação (validação).

Obrigatório se um cluster de usuário estiver configurado para usar um registro particular local do Docker em vez de gcr.io.

Ao criar ou fazer upgrade de clusters de usuários.

Ao criar ou fazer upgrade do cluster de administrador.

Nós do plano de controle do cluster de administrador

32768- 60999

Nós do cluster de administrador
Nós do cluster de usuário
VIPs do Load Balancer do cluster de administrador
VIPs do Load Balancer do cluster de usuário

icmp

Verificações de simulação (validação).

Ao criar, atualizar ou fazer upgrade de clusters de usuários.

Ao criar, atualizar ou fazer upgrade do cluster de administrador.

Nós do plano de controle do cluster de administrador

32768- 60999

Nós de trabalho do cluster de usuário

22

ssh

Verificações de simulação (validação).

Quando você faz upgrade de clusters de usuário.

Quando você faz upgrade do cluster de administrador.

Nó do plano de controle do cluster de usuário (somente Kubeception)

1024 - 65535

API vCenter Server

443

TCP/https

Redimensionamento de cluster.

Nó do plano de controle do cluster de usuário (somente Kubeception)

1024 - 65535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com ou REGION-gkeconnect.googleapis.com
gkehub.googleapis.com

443

TCP/https

Você precisa acessar a página de registro da frota. Consulte a observação 2 após a lista de URLs para adicionar à lista de permissões.

Nó do plano de controle do cluster de usuário (somente Kubeception)

1024 - 65535

API F5 BIG-IP

443

TCP/https

Nó do plano de controle do cluster de usuário (somente Kubeception)

1024 - 65535

Registro local do Docker

Depende do registro

TCP/https

Obrigatório se o Google Distributed Cloud estiver configurado para usar um registro particular local do Docker em vez de gcr.io.

Nó do plano de controle do cluster de usuário (somente Kubeception)

1024 - 65535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador
443

TCP/https

Faz o download de imagens de registros públicos do Docker.

Não é necessário se você estiver usando um registro particular do Docker.

Coletor do Cloud Logging, que é executado em um nó de complemento do cluster de administrador

1024 - 65535

oauth2.googleapis.com
logging.googleapis.com
servicecontrol.googleapis.com
storage.googleapis.com
www.googleapis.com

443

TCP/https

Coletor de metadados do Cloud, que é executado em um nó de complemento do cluster de administrador

1024 - 65535

opsconfigmonitoring.googleapis.com

443

TCP/https

Coletor do Cloud Monitoring, que é executado em um nó de complemento do cluster de administrador

1024 - 65535

oauth2.googleapis.com
monitoring.googleapis.com

443

TCP/https

Nó do plano de controle do cluster do administrador

1024 - 65535

API F5 BIG-IP

443

TCP/https

Nó do plano de controle do cluster do administrador

1024 - 65535

Registro local do Docker

Depende do registro

TCP/https

Obrigatório se o Google Distributed Cloud estiver configurado para usar um registro particular local do Docker em vez de gcr.io.

Nó do plano de controle do cluster do administrador

1024 - 65535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador

443

TCP/https

Faz o download de imagens de registros públicos do Docker.

Não é necessário se você estiver usando um registro particular do Docker.

Nós de trabalho do cluster de administrador

1024 - 65535

Nós de trabalho do cluster de administrador

Tudo

179 - bgp

443 - https

5473 - Calico/Typha

9443 - métricas do envoy

10250 - porta de nó do kubelet

Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall.

Nós do cluster de administrador

1024 - 65535

CIDR do pod do cluster de administrador

todos

qualquer

O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod.

Nós de trabalho do cluster de administrador

todos

Nós do cluster de usuário

22

ssh

Obrigatório para o kubeception. Servidor de API para comunicação do kubelet em um túnel SSH. Ignore para o Controlplane V2.

Nós do cluster de administrador

1024 - 65535

IPs de VMs do Seesaw LB do cluster de administrador

20255, 20257

TCP/http

Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw.

Nós do cluster de administrador

1024 - 65535

Nós do cluster de administrador

7946

TCP/UDP

Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB.

Nós do cluster de administrador

Tudo

VIP do plano de controle do cluster de usuário

443

https

Obrigatório para o plano de controle V2. Permite que nós e pods no cluster de administrador se comuniquem com o servidor da API Kubernetes do cluster de usuário.

Nós do cluster de administrador

Tudo

Nós do plano de controle do cluster de usuários

443

https

Obrigatório para o plano de controle V2. Permite que nós e pods no cluster de administrador se comuniquem com o servidor da API Kubernetes do cluster de usuário usando o endereço IP de um nó do plano de controle do cluster de usuário.

Regras de firewall para nós do cluster de usuário

Nos nós do cluster de usuário, os endereços IP são listados no arquivo de bloco de IP.

Assim como nos nós do cluster do administrador, você não sabe qual endereço IP será usado para cada nó. Portanto, todas as regras nos nós do cluster de usuário se aplicam a cada um desses nós.

De

Porta de origem

Para

Porta

Protocolo

Descrição

Nó do plano de controle do cluster de usuário (somente no Control Plane V2)

1024 - 65535

API vCenter Server

443

TCP/https

Redimensionamento de cluster.

Nó do plano de controle do cluster de usuário (somente no Control Plane V2)

1024 - 65535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com ou REGION-gkeconnect.googleapis.com
gkehub.googleapis.com

443

TCP/https

Você precisa acessar a página de registro da frota. Consulte a observação 2 após a lista de URLs para adicionar à lista de permissões.

Nó do plano de controle do cluster de usuário (somente no Control Plane V2)

1024 - 65535

Registro local do Docker

Depende do registro

TCP/https

Obrigatório se o Google Distributed Cloud estiver configurado para usar um registro particular local do Docker em vez de gcr.io.

Nó do plano de controle do cluster de usuário (somente no Control Plane V2)

1024 - 65535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Qualquer URL *.googleapis.com necessário para os serviços ativados para o cluster de administrador
443

TCP/https

Faz o download de imagens de registros públicos do Docker.

Não é necessário se você estiver usando um registro particular do Docker.

Nó do plano de controle do cluster de usuário (somente no Control Plane V2)

1024 - 65535

API F5 BIG-IP

443

TCP/https

Nós de trabalho do cluster de usuário

todos

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Qualquer URL *.googleapis.com necessário para os serviços ativados para este cluster

443

TCP/https

Faz o download de imagens de registros públicos do Docker.

Não é necessário se você estiver usando um registro particular do Docker.

Nós de trabalho do cluster de usuário

todos

API F5 BIG-IP

443

TCP/https

Nós de trabalho do cluster de usuário

todos

VIP do servidor pushprox, que é executado no cluster do administrador.

8443

TCP/https

Tráfego do Prometheus.

Nós de trabalho do cluster de usuário

todos

Nós de trabalho do cluster de usuário

todos

22 - ssh

179 - bgp

443 - https

5473 - calico-typha

9443 - métricas do envoy

10250 - porta de nó do kubelet"

Todos os nós de trabalho precisam ser adjacentes à camada 2 e sem firewall.

Nós de trabalho do cluster de usuário

todos

VIP do plano de controle de usuário

443

TCP/https

Nós de trabalho do cluster de usuário

Tudo

VIP do plano de controle de usuário

8132

GRPC

Obrigatório para o kubeception. Conexão do Konnectivity. Ignore para o Controlplane V2.

Nós do cluster de administrador

Tudo

Servidor vCenter do cluster de usuário

443

https

Permite que o cluster de administrador gerencie o ciclo de vida do cluster de usuários. Obrigatório se os clusters de administrador e de usuário tiverem servidores vCenter diferentes.

Nós do cluster de usuário

1024 - 65535

CIDR do pod de cluster de usuário

todos

qualquer

O tráfego externo recebe o SNAT no primeiro nó e é enviado para o IP do pod.

Coletor do Cloud Logging, que é executado em um nó de trabalho de cluster de usuário aleatório

1024 - 65535

oauth2.googleapis.com
logging.googleapis.com
servicecontrol.googleapis.com
www.googleapis.com

443

TCP/https

O agente do Connect, que é executado em um nó de trabalho de cluster de usuário aleatório.

1024 - 65535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com ou REGION-gkeconnect.googleapis.com
gkehub.googleapis.com
www.googleapis.com
iam.googleapis.com
iamcredentials.googleapis.com
oauth2.googleapis.com
securetoken.googleapis.com
sts.googleapis.com
accounts.google.com

443

TCP/https

Tráfego do Connect. Consulte a observação 2 após a lista de URLs para a lista de permissões.

Coletor de metadados do Cloud, que é executado em um nó de trabalho de cluster de usuário aleatório

1024 - 65535

opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com

443

TCP/https

Coletor do Cloud Monitoring, que é executado em um nó de trabalho de cluster de usuário aleatório

1024 - 65535

oauth2.googleapis.com
monitoring.googleapis.com

443

TCP/https

Nós do cluster de usuário

1024 - 65535

IPs de VMs do Seesaw LB do cluster de usuário

20255, 20257

TCP/http

Monitoramento de métricas e push de configuração do LB. Só é necessário se você estiver usando o pacote do LB Seesaw.

Nós de cluster de usuários com EnableLoadBalancer=true

1024 - 65535

Nós de cluster de usuários com EnableLoadBalancer=true

7946

TCP/UDP

Verificação de integridade do MetalLB Só é necessário se você estiver usando o pacote do LB MetalLB.

Rede do cluster de usuário

todos

VIP do plano de controle do cluster de usuário

443

TCP/https

Regras de firewall para os componentes restantes

Essas regras se aplicam a todos os outros componentes não listados nas tabelas dos nós do cluster do administrador e dos nós do cluster de usuário.

De

Porta de origem

Para

Porta

Protocolo

Descrição

CIDR do pod do cluster de administrador

1024 - 65535

CIDR do pod do cluster de administrador

todos

qualquer

O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod.

CIDR do pod do cluster de administrador

1024 - 65535

Nós do cluster de administrador

todos

qualquer

Retorna o tráfego de tráfego externo.

CIDR do pod de cluster de usuário

1024 - 65535

CIDR do pod de cluster de usuário

todos

qualquer

O tráfego entre pods encaminha o L2 diretamente usando o IP de origem e destino no CIDR de pod.

CIDR do pod de cluster de usuário

1024 - 65535

Nós do cluster de usuário

todos

qualquer

Retorna o tráfego de tráfego externo.

Clientes e usuários finais do aplicativo

todos

VIP da entrada do Istio

80, 443

TCP

Tráfego de usuário final para o serviço de entrada de um cluster de usuário.

Servidor do Jump para implantar a estação de trabalho do administrador

intervalo de portas temporárias

API vCenter Server
IPs ESXi VMkernel (mgt) dos hosts no cluster de destino

443

TCP/https

Verifique o intervalo de portas temporárias em "cat /proc/sys/net/ipv4/ip_local_port_range".

Estação de trabalho do administrador

32768- 60999

gcr.io
cloudresourcemanager.googleapis.com
oauth2.googleapis.com
storage.googleapis.com
Qualquer URL *.googleapis.com necessário para os serviços ativados neste cluster

443

TCP/https

Faz o download de imagens do Docker a partir de registros públicos do Docker.

Estação de trabalho do administrador

32768- 60999

gcr.io
cloudresourcemanager.googleapis.com
compute.googleapis.com
iam.googleapis.com
oauth2.googleapis com
serviceusage.googleapis.com
storage.googleapis.com
Qualquer URL *.googleapis.com necessário para os serviços ativados para os clusters de administrador ou de usuário
VIPs dos servidores da API Kubernetes dos clusters de usuários
VIP do servidor da API Kubernetes do cluster de administrador
API vCenter Server
API F5 BIG-IP

443

TCP/https

Verificações de simulação (validação).

Ao criar, atualizar, atualizar ou excluir clusters usando gkectl.

Estação de trabalho do administrador

32768- 60999

API vCenter Server

API F5 BIG-IP

443

TCP/https

Criação de cluster de administrador.

Criar cluster de usuário.

Estação de trabalho do administrador

32768- 60999

IPs ESXi VMkernel (mgt) dos hosts no cluster de destino

443

TCP/https

A estação de trabalho do administrador faz o upload do OVA para o armazenamento de dados por meio dos hosts ESXi

Estação de trabalho do administrador

32768- 60999

VIP do servidor da API Kubernetes do cluster de administrador

VIPs dos servidores da API Kubernetes dos clusters de usuário

443

TCP/https

Criação de cluster de administrador.

Atualização de cluster de administrador.

Criar cluster de usuário.

Atualização de cluster de usuário.

Exclusão de cluster de usuário.

Estação de trabalho do administrador

32768- 60999

Nós do plano de controle do cluster do administrador e nós de worker

443

TCP/https

Criação de cluster de administrador.

Atualizações do plano de controle.

Estação de trabalho do administrador

32768- 60999

Todos os nós de cluster de administrador e todos os nós de cluster de usuário

443

TCP/https

Validação de rede como parte do comando gkectl check-config.

Estação de trabalho do administrador

32768- 60999

VIP da entrada do Istio do cluster de administrador

VIP da entrada do Istio dos clusters de usuário

443

TCP/https

Validação de rede como parte do comando gkectl check-config.

Estação de trabalho do administrador

32768- 60999

oauth2.googleapis.com
logging.googleapis.com
monitoring.googleapis.com
servicecontrol.googleapis.com
storage.googleapis.com
www.googleapis.com

443

TCP/https

Acesso ao Cloud Logging e Monitoring.

Estação de trabalho do administrador

32768- 60999

IPs de VMs do Seesaw LB nos clusters de administrador e de usuário

VIPs do Seesaw LB de clusters de administrador e usuário

20256, 20258

TCP/http/gRPC

Verificação de integridade de LBs. Só é necessário se você estiver usando o pacote do LB Seesaw.

Estação de trabalho do administrador

32768- 60999

IP do nó do plano de controle do cluster

22

TCP

Obrigatório se você precisar de acesso SSH da estação de trabalho de administrador para o plano de controle do cluster do administrador.

Estação de trabalho do administrador 32768- 60999 releases.hashicorp.com 443 TCP/https Opcional. Consulte a nota 3 após a lista de URLs para adicionar à lista de permissões.

IPs de VM do LB

32768- 60999

IPs de nós do cluster correspondente

10256: verificação de integridade do nó
30000 - 32767: healthCheckNodePort

TCP/http

Verificação de integridade do nó. O healthCheckNodePort serve para serviços com o externalTrafficPolicy definido como local. Só é necessário se você estiver usando o pacote do LB Seesaw.

IP próprio do F5

1024 - 65535

Todos os nós de cluster de administrador e de usuário

30000 - 32767

qualquer

Para o tráfego do plano de dados que a carga do F5 BIG-IP equilibra por meio de um servidor virtual VIP para as portas do nó em nós do cluster do Kubernetes.

Normalmente, o IP próprio do F5 está na mesma rede/sub-rede que os nós do cluster do Kubernetes.