Balanceamento de carga TCP/UDP interno

Beta

Este produto ou recurso está em estado de pré-lançamento, podendo ser alterado ou ter suporte limitado. Para mais informações, consulte as etapas de lançamento do produto .

Esta página explica como criar um balanceador de carga TCP/UDP interno do Compute Engine no Google Kubernetes Engine.

Visão geral

O balanceamento de carga TCP/UDP interno torna os serviços do cluster acessíveis a aplicativos fora do cluster que usam a mesma rede VPC e estão localizados na mesma região do Google Cloud. Por exemplo, suponha que você tem um cluster na região us-west1 e precisa tornar um dos serviços acessíveis para as instâncias da VM do Compute Engine em execução nessa região na mesma rede VPC.

Crie um recurso Services com a anotação cloud.google.com/load-balancer-type: "Internal" e uma especificação type: LoadBalancer para criar um balanceador de carga TCP/UDP interno. As instruções e o exemplo abaixo destacam como fazer isso.

Sem o balanceamento de carga TCP/UDP interno, você precisaria configurar um balanceador de carga externo e regras de firewall para tornar o aplicativo acessível fora do cluster.

O balanceamento de carga TCP/UDP interno cria um endereço IP privado (RFC 1918) para o cluster que recebe tráfego na rede dentro da mesma região de computação.

Observação: um balanceador de carga TCP/UDP interno não recebe um nome de domínio totalmente qualificado (FQDN) e não é possível configurar um usando o GKE. É possível atribuir um endereço IP estático ao seu balanceador de carga TCP/UDP interno e atribuir esse IP a um registro no Cloud DNS, mas o Cloud DNS não estará totalmente integrado ao GKE.

Preços

Você é cobrado pelo modelo de preços do Compute Engine. Para saber mais, consulte os preços de regras de encaminhamento e balanceamento de carga e a página do Compute Engine com a calculadora de preços do Google Cloud.

Antes de começar

Prepare-se para a tarefa seguindo essas etapas:

• Verifique se você ativou a API Google Kubernetes Engine.
Ativar a API do Google Kubernetes Engine
• Verifique se o SDK do Cloud está instalado.
• Defina o ID do projeto padrão:

  gcloud config set project [PROJECT_ID]

• Se você estiver trabalhando com clusters zonais, defina a zona do Compute padrão:

  gcloud config set compute/zone [COMPUTE_ZONE]

• Se você estiver trabalhando com clusters regionais, defina a região do Compute padrão:

  gcloud config set compute/region [COMPUTE_REGION]

• Atualize gcloud para a versão mais recente:

  gcloud components update

Observação: é possível substituir essas configurações padrão nos comandos gcloud usando as sinalizações operacionais --project, --zone e --region.

Criar uma implantação

O manifesto a seguir descreve uma implantação que executa três réplicas de um aplicativo Hello World.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: hello-app
spec:
  selector:
    matchLabels:
      app: hello
  replicas: 3
  template:
    metadata:
      labels:
        app: hello
    spec:
      containers:
      - name: hello
        image: "gcr.io/google-samples/hello-app:2.0"

O código-fonte e o Dockerfile para este aplicativo de exemplo estão disponíveis no GitHub. Como nenhuma variável de ambiente PORT foi especificada, os contêineres escutam na porta padrão: 8080.

Para criar a implantação, crie o arquivo my-deployment.yaml do manifesto e execute o seguinte comando no shell ou na janela de terminal:

kubectl apply -f my-deployment.yaml

Criar um balanceador de carga TCP interno

As seções a seguir explicam como criar um balanceador de carga TCP interno usando um serviço.

Gravar o arquivo de configuração do serviço

Veja a seguir um exemplo de serviço que cria um balanceador de carga TCP interno:

apiVersion: v1
kind: Service
metadata:
  name: ilb-service
  annotations:
    cloud.google.com/load-balancer-type: "Internal"
  labels:
    app: hello
spec:
  type: LoadBalancer
  selector:
    app: hello
  ports:
  - port: 80
    targetPort: 8080
    protocol: TCP

Observação: protocol: define o protocolo de rede, TCP ou UDP, usado pelo balanceador de carga interno. O padrão é TCP.

Requisitos mínimos de serviço

Seu manifesto deve conter o seguinte:

• Um name para o Serviço, neste caso ilb-service.
• A anotação: cloud.google.com/load-balancer-type: "Internal", que especifica que deve-se configurar um balanceador de carga TCP/UDP interno.
• O type: LoadBalancer.
• Um campo spec: selector para especificar os pods que o serviço deve segmentar, por exemplo, app: hello.
• O port, a porta pela qual o serviço é exposto, e targetPort, a porta na qual os contêineres estão escutando.

Como implantar o serviço

Para criar o balanceador de carga TCP interno, crie o arquivo my-service.yaml do manifesto e execute o seguinte comando no shell ou na janela de terminal:

kubectl apply -f my-service.yaml

Como inspecionar o serviço

Após a implantação, inspecione o serviço para verificar se ele foi configurado com êxito.

Veja informações detalhadas sobre o serviço:

kubectl get service ilb-service --output yaml

Na saída, você pode ver o endereço IP do balanceador de carga interno em status.loadBalancer.ingress. Observe que isso é diferente do valor de clusterIP. Neste exemplo, o endereço IP do balanceador de carga é 10.128.15.193:

apiVersion: v1
kind: Service
metadata:
  ...
  labels:
    app: hello
  name: ilb-service
  ...
spec:
  clusterIP: 10.0.9.121
  externalTrafficPolicy: Cluster
  ports:
  - nodePort: 30835
    port: 80
    protocol: TCP
    targetPort: 8080
  selector:
    app: hello
  sessionAffinity: None
  type: LoadBalancer
status:
  loadBalancer:
    ingress:
    - ip: 10.128.15.193

Qualquer pod que tenha o rótulo app: hello é um membro desse serviço. Esses são os pods que podem ser os destinatários finais das solicitações enviadas para seu balanceador de carga interno.

Os clientes chamam o serviço usando o endereço IP loadBalancer e a porta TCP especificada no campo port do manifesto do serviço. A solicitação é encaminhada para um dos pods de membro na porta TCP especificada no campo targetPort. Portanto, no exemplo anterior, um cliente chama o serviço em 10.128.15.193 na porta TCP 80. A solicitação é encaminhada a um dos pods de membro na porta TCP 8080. O pod de membro precisa ter um contêiner escutando na porta 8080.

O valor nodePort de 30835 é irrelevante para seu balanceador de carga interno.

Como visualizar a regra de encaminhamento do balanceador de carga

Um balanceador de carga interno é implementado como uma regra de encaminhamento. A regra de encaminhamento tem um serviço de back-end, que tem um grupo de instâncias.

O endereço do balanceador de carga interno, 10.128.15.193 no exemplo anterior, é o mesmo que o endereço da regra de encaminhamento. Para ver a regra de encaminhamento que implementa o balanceador de carga interno, liste todas as regras de encaminhamento no projeto:

gcloud compute forwarding-rules list --filter="loadBalancingScheme=INTERNAL"

Na saída, procure a regra de encaminhamento que tem o mesmo endereço do seu balanceador de carga interno, 10.128.15.193 neste exemplo.

NAME                          ... IP_ADDRESS  ... TARGET
...
aae3e263abe0911e9b32a42010a80008  10.128.15.193   us-central1/backendServices/aae3e263abe0911e9b32a42010a80008

A saída mostra o serviço de back-end associado, que é ae3e263abe0911e9b32a42010a80008 neste exemplo.

Descreva o serviço de back-end:

gcloud compute backend-services describe aae3e263abe0911e9b32a42010a80008 --region us-central1

A saída mostra o grupo de instâncias associadas, que é k8s-ig--2328fa39f4dc1b75 neste exemplo:

backends:
- balancingMode: CONNECTION
  group: .../us-central1-a/instanceGroups/k8s-ig--2328fa39f4dc1b75
...
kind: compute#backendService
loadBalancingScheme: INTERNAL
name: aae3e263abe0911e9b32a42010a80008
...

Como funciona a abstração de serviço

Quando um pacote é manipulado pela sua regra de encaminhamento, o pacote é encaminhado para um dos nós do cluster. Quando o pacote chega ao nó do cluster, os endereços e a porta são os seguintes:

Endereço IP de destino	Regra de encaminhamento, 10.128.15.193 neste exemplo
Porta TCP de destino	Campo port do serviço, 80 neste exemplo

Observe que a regra de encaminhamento (ou seja, seu balanceador de carga interno) não altera o endereço IP de destino ou a porta de destino. Em vez disso, as regras iptables no nó do cluster direcionam o pacote para um pod apropriado. As regras iptables alteram o endereço IP de destino para um endereço IP do pod e a porta de destino para o valor targetPort do serviço, que é 8080 neste exemplo.

Como verificar o balanceador de carga TCP interno

Execute SSH em uma instância de VM e o seguinte comando:

curl [LOAD_BALANCER_IP]

Em que [LOAD_BALANCER_IP] é seu endereço IP LoadBalancer Ingress.

A resposta mostra a saída de hello-app:

Hello, world!
Version: 2.0.0
Hostname: hello-app-77b45987f7-pw54n

Executar o comando de fora da mesma rede VPC ou fora da mesma região resulta em um erro de tempo limite.

Pacotes enviados de um nó de cluster para um balanceador de carga interno

Suponha que um processo executado em um nó de cluster envia um pacote para um balanceador de carga TCP/UDP interno. A forma como esse pacote é encaminhado depende do externalTrafficPolicy do serviço usado para criar o balanceador de carga. O comportamento de encaminhamento também depende de o nó ter um pod de membro para esse serviço.

A tabela a seguir resume o comportamento de encaminhamento:

externalTrafficPolicy	Nó executando um pod de membro?	Comportamento dos pacotes enviados de um processo em execução no nó
Cluster	Sim	Os pacotes são entregues a qualquer pod de membro, seja no nó ou em um nó diferente.
Cluster	Não	Os pacotes são entregues a qualquer pod de membro, que deve estar em um nó diferente.
Treinamento	Sim	Os pacotes são entregues a qualquer pod de membro no mesmo nó.
Treinamento	Não	Kubernetes 1.14 e anteriores: os pacotes são descartados. Kubernetes 1.15 e posteriores: os pacotes são entregues a qualquer pod de membro, que deve estar em um nó diferente.

Como fazer a limpeza

Você pode excluir a implantação e o serviço usando kubectl delete ou o Console do Cloud.

kubectl

Excluir a implantação

Para excluir a implantação, execute o comando a seguir:

kubectl delete deployment hello-app

Excluir o serviço

Para excluir o serviço, execute o seguinte comando:

kubectl delete service ilb-service

Console

Excluir a implantação

Para excluir a implantação, execute as seguintes etapas:

1. Acesse o menu Cargas de trabalho do Google Kubernetes Engine no Console do Cloud.

   Acessar o menu “Cargas de trabalho”

2. No menu, selecione a carga de trabalho pretendida.

3. Clique em Excluir.

4. No menu da caixa de diálogo de confirmação, clique em Excluir.

Excluir o serviço

Para excluir o serviço, execute as seguintes etapas:

1. Acesse o menu Services do Google Kubernetes Engine no Console do Cloud.

   Acessar o menu Services

2. No menu, selecione o serviço desejado.

3. Clique em Excluir.

4. No menu da caixa de diálogo de confirmação, clique em Excluir.

Considerações para entradas existentes

Não é possível ter um balanceador de carga TCP/UDP interno e uma entrada que use o modo de balanceamento UTILIZATION. Para usar um balanceamento de carga TCP e UDP interno e uma entrada, a entrada deve usar o modo de balanceamento RATE.

Se seu cluster tiver um recurso de entrada existente criado com o Kubernetes versão 1.7.1 ou inferior, ele não será compatível com os balanceadores de carga TCP/UDP internos. Os primeiros BackendService recursos criados pelos objetos do recurso de entrada do Kubernetes foram criados sem o modo de balanceamento especificado. Por padrão, a API usou o modo de balanceamento UTILIZATION para balanceadores de carga HTTP. No entanto, os balanceadores de carga TCP/UDP internos não podem ser apontados para grupos de instâncias com outros balanceadores de carga que usam UTILIZATION.

Como determinar o modo de balanceamento de entrada

Para determinar qual é o modo de balanceamento de entrada, execute os seguintes comandos pelo shell ou pela janela de terminal:

GROUPNAME=`kubectl get configmaps ingress-uid -o jsonpath='k8s-ig--{.data.uid}' --namespace=kube-system`
gcloud compute backend-services list --format="table(name,backends[].balancingMode,backends[].group)" | grep $GROUPNAME

Esses comandos exportam uma variável de shell, GROUPNAME, que busca o nome do grupo de instâncias do cluster. Em seguida, os recursos backend service do Compute Engine do seu projeto são pesquisados e os resultados são restringidos de acordo com o conteúdo de $GROUPNAME.

A resposta será semelhante a:

k8s-be-31210--...  [u'RATE']       us-central1-b/instanceGroups/k8s-ig--...
k8s-be-32125--...  [u'RATE']       us-central1-b/instanceGroups/k8s-ig--...

Se a saída retornar RATE entradas ou zero entradas forem retornadas, os balanceadores de carga internos serão compatíveis e não será necessário realizar um trabalho adicional.

Se a saída retornar entradas marcadas com UTILIZATION, suas entradas não serão compatíveis.

Para atualizar seus recursos de entrada para serem compatíveis com um balanceador de carga TCP/UDP interno, crie um novo cluster que execute o Kubernetes versão 1.7.2 ou superior e migre seus serviços para esse cluster.

Observação: o tipo de modo de balanceamento de entrada só pode ser alterado quando não houver balanceadores de carga HTTP(S) apontando para o cluster.

Parâmetros de serviço adicionais

Os balanceadores de carga TCP/UDP internos são compatíveis com parâmetros de serviço, como loadBalancerSourceRanges.

• Uma matriz spec: loadBalancerSourceRanges para especificar um ou mais intervalos RFC 1918 usados por suas redes de VPC, sub-redes ou gateways de VPN. loadBalancerSourceRanges restringe o tráfego por meio do balanceador de carga para os IPs especificados nesse campo. Se você não definir esse campo manualmente, o campo usará como padrão 0.0.0.0, o que permite que todo o tráfego IPv4 alcance os nós.

• O spec: loadBalancerIP permite que você escolha um endereço IP específico para o balanceador de carga. O endereço IP não pode estar em uso por outro balanceador de carga TCP/UDP interno ou serviço. Se omitido, um IP temporário será atribuído. Para mais informações, consulte Como reservar um endereço IP interno estático.

Para mais informações sobre como configurar loadBalancerSourceRanges para restringir o acesso ao seu balanceador de carga TCP/UDP interno, consulte Configurar os firewalls do seu provedor de nuvem. Para mais informações sobre a especificação de serviço, consulte a Referência da API de serviço.

Aviso: ao criar qualquer serviço de balanceador de carga, a menos que você defina o campo loadBalancerSourceRanges, crie uma regra de firewall com base no intervalo de IP padrão 0.0.0.0/0. Esteja ciente de que isso pode expor outros processos de nó usando a mesma porta.

Se outros processos estiverem vinculados à porta de um nó, o firewall também será aplicado a esses processos, e os processos serão expostos por meio do IP externo do nó. No momento, o GCP não é compatível com endereços IP de destino correspondentes para o tráfego de entrada. Os serviços do Kubernetes ainda estão protegidos por kube-proxy.

Acesso global (Beta)

Acesso global é um parâmetro opcional para serviços LoadBalancer internos que permite que clientes de qualquer região da VPC acessem o endereço IP do balanceador de carga TCP/UDP interno. Por padrão, o tráfego interno proveniente de clientes da VPC precisa estar na mesma região que o endereço IP do balanceador de carga e os back-ends associados. O acesso global permite que os clientes de qualquer região acessem o endereço IP do balanceador de carga. As instâncias de back-end ainda precisam estar na mesma região que o balanceador de carga.

O acesso global é ativado por serviço usando a seguinte anotação: networking.gke.io/internal-load-balancer-allow-global-access: "true".

O acesso global não é compatível com redes VPC legadas. Os custos de usar o acesso global entre regiões são os normais de tráfego entre regiões. Consulte Preços de rede para ver informações sobre preços para saída de regiões. O acesso global está em fase Beta e é compatível apenas com clusters canal Rapid a partir do GKE 1.16.

Como usar todas as portas

Se você criar um balanceador de carga TCP/UDP interno usando um serviço anotado, não será possível configurar uma regra de encaminhamento que use todas as portas. No entanto, se você criar um balanceador de carga TCP/UDP interno manualmente, poderá escolher o grupo de instâncias de nós do Google Kubernetes Engine como o back-end. Os serviços do Kubernetes de type: NodePort estão disponíveis por meio do ILB.

Restrições para balanceadores de carga TCP/UDP internos

• Para clusters que executam o Kubernetes versão 1.7.3 e anterior, é possível usar balanceadores de carga TCP/UDP internos com modo automático, mas com o Kubernetes versão 1.7.4 e posterior, é possível usar balanceadores de carga internos com sub-redes de modo personalizado, além de sub-redes de modo automático.
• Para clusters que executam o Kubernetes 1.7.X ou posterior, enquanto o clusterIP permanece inalterado, os balanceadores de carga TCP/UDP internos não podem usar endereços IP reservados. O campo spec.loadBalancerIP ainda pode ser definido usando um endereço IP não utilizado para atribuir um IP interno específico. Alterações feitas em portas, protocolos ou afinidade da sessão podem fazer com que esses endereços IP sejam alterados.

Restrições para balanceadores de carga UDP internos

• Os balanceadores de carga UDP internos não são compatíveis com sessionAffinity: ClientIP.

Limites

Um serviço do Kubernetes com type: Loadbalancer e a anotação cloud.google.com/load-balancer-type: Internal cria um ILB que segmenta o serviço do Kubernetes. O número desses serviços é limitado pelo número de regras de encaminhamento internas que você pode criar em uma rede de VPC. Para detalhes, consulte Limites por rede.

Em um cluster do GKE, uma regra de encaminhamento interna aponta para todos os nós no cluster. Cada nó no cluster é uma VM de back-end para o ILB. O número máximo de VMs de back-end para um ILB é 250, independentemente de como as VMs estão associadas aos grupos de instâncias. Portanto, o número máximo de nós em um cluster do GKE com um ILB é 250. Se o escalonamento automático estiver ativado para seu cluster, você deverá garantir que o escalonamento automático não dimensione seu cluster para mais de 250 nós.

Para mais informações sobre esses limites, consulte Cotas de recursos de VPC.

A seguir

• Leia a visão geral de redes no GKE.
• Saiba mais sobre balanceadores de carga do Compute Engine.
• Saiba mais sobre IPs de alias.
• Saiba mais sobre o agente de mascaramento de IP.
• Saiba sobre a configuração de redes autorizadas.