Balanceamento de carga TCP/UDP interno

Esta página explica como criar um balanceador de carga TCP/UDP interno do Compute Engine no Google Kubernetes Engine.

Visão geral

O balanceamento de carga TCP/UDP interno torna os serviços do cluster acessíveis a aplicativos fora do cluster que usam a mesma rede VPC e estão localizados na mesma região do Google Cloud. Por exemplo, suponha que você tem um cluster na região us-west1 e precisa tornar um dos serviços acessíveis para as instâncias da VM do Compute Engine em execução nessa região na mesma rede VPC.

Crie um recurso serviço com a anotação cloud.google.com/load-balancer-type: "Internal" e uma especificação type: LoadBalancer para criar um balanceador de carga TCP/UDP interno. As instruções e o exemplo abaixo destacam como fazer isso.

Sem o balanceamento de carga TCP/UDP interno, você precisaria configurar um balanceador de carga externo e regras de firewall para tornar o aplicativo acessível fora do cluster.

O balanceamento de carga TCP/UDP interno cria um endereço IP interno para o serviço que recebe tráfego de clientes na mesma rede VPC e região de computação. Se você ativar o acesso global, os clientes em qualquer região da mesma rede VPC poderão acessar o serviço.

Preços

Você é cobrado pelo modelo de preços do Compute Engine. Para saber mais, consulte os preços de regras de encaminhamento e balanceamento de carga e a página do Compute Engine com a calculadora de preços do Google Cloud.

Antes de começar

Antes de começar, verifique se você realizou as tarefas a seguir:

Verifique se você ativou a API do Google Kubernetes Engine.

Ativar a API do Google Kubernetes Engine

Verifique se o SDK do Cloud está instalado.

Defina configurações gcloud padrão usando um dos métodos a seguir:

Use gcloud init se quiser orientações para definir os padrões.
Use gcloud config para definir individualmente a região, a zona e o ID do projeto.

Como usar o gcloud init

Execute gcloud init e siga as instruções:
```
gcloud init
```
Se você estiver usando SSH em um servidor remoto, utilize a sinalização --console-only para impedir que o comando inicie um navegador:
```
gcloud init --console-only
```
Siga as instruções para autorizar gcloud a usar sua conta do Google Cloud.
Crie uma nova configuração ou selecione uma atual.
Escolha um projeto do Google Cloud.
Escolha uma zona padrão do Compute Engine.

Observação: é possível substituir essas configurações padrão nos comandos gcloud usando as sinalizações , --project, --zone e --region.

Como usar o gcloud config

Defina o ID do projeto padrão:
```
gcloud config set project project-id
```
Se você estiver trabalhando com clusters zonais, defina a zona do Compute padrão:
```
gcloud config set compute/zone compute-zone
```
Se você estiver trabalhando com clusters regionais, defina a região do Compute padrão:
```
gcloud config set compute/region compute-region
```
Atualize gcloud para a versão mais recente:
```
gcloud components update
```

Observação: para modificar essas configurações padrão nos comandos gcloud, use as sinalizações --project, --zone e --region.

Criar uma implantação

O manifesto a seguir descreve uma implantação que executa três réplicas de um aplicativo Hello World.

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: hello-app
    spec:
      selector:
        matchLabels:
          app: hello
      replicas: 3
      template:
        metadata:
          labels:
            app: hello
        spec:
          containers:
          - name: hello
            image: "gcr.io/google-samples/hello-app:2.0"

O código-fonte e o Dockerfile para este aplicativo de exemplo estão disponíveis no GitHub. Como nenhuma variável de ambiente PORT foi especificada, os contêineres escutam na porta padrão: 8080.

Para criar a implantação, crie o arquivo my-deployment.yaml do manifesto e execute o seguinte comando no shell ou na janela de terminal:

kubectl apply -f my-deployment.yaml

Criar um balanceador de carga TCP interno

As seções a seguir explicam como criar um balanceador de carga TCP interno usando um serviço.

Gravar o arquivo de configuração do serviço

Veja a seguir um exemplo de serviço que cria um balanceador de carga TCP interno:

apiVersion: v1
    kind: Service
    metadata:
      name: ilb-service
      annotations:
        cloud.google.com/load-balancer-type: "Internal"
      labels:
        app: hello
    spec:
      type: LoadBalancer
      selector:
        app: hello
      ports:
      - port: 80
        targetPort: 8080
        protocol: TCP

Requisitos mínimos de serviço

Seu manifesto deve conter o seguinte:

Um name para o Serviço, neste caso ilb-service.
A anotação: cloud.google.com/load-balancer-type: "Internal", que especifica que deve-se configurar um balanceador de carga TCP/UDP interno.
O type: LoadBalancer.
Um campo spec: selector para especificar os pods que o serviço deve segmentar, por exemplo, app: hello.
O port, a porta pela qual o serviço é exposto, e targetPort, a porta na qual os contêineres estão escutando.

Como implantar o serviço

Para criar o balanceador de carga TCP interno, crie o arquivo my-service.yaml do manifesto e execute o seguinte comando no shell ou na janela de terminal:

kubectl apply -f my-service.yaml

Como inspecionar o serviço

Após a implantação, inspecione o serviço para verificar se ele foi configurado com êxito.

Veja informações detalhadas sobre o serviço:

kubectl get service ilb-service --output yaml

Na saída, é possível ver o endereço IP do balanceador de carga interno em status.loadBalancer.ingress. Observe que isso é diferente do valor de clusterIP. Neste exemplo, o endereço IP do balanceador de carga é 10.128.15.193:

    apiVersion: v1
    kind: Service
    metadata:
      ...
      labels:
        app: hello
      name: ilb-service
      ...
    spec:
      clusterIP: 10.0.9.121
      externalTrafficPolicy: Cluster
      ports:
      - nodePort: 30835
        port: 80
        protocol: TCP
        targetPort: 8080
      selector:
        app: hello
      sessionAffinity: None
      type: LoadBalancer
    status:
      loadBalancer:
        ingress:
        - ip: 10.128.15.193

Qualquer pod que tenha o rótulo app: hello é um membro desse serviço. Esses são os pods que podem ser os destinatários finais das solicitações enviadas para seu balanceador de carga interno.

Os clientes chamam o serviço usando o endereço IP loadBalancer e a porta TCP especificada no campo port do manifesto do serviço. A solicitação é encaminhada para um dos pods de membro na porta TCP especificada no campo targetPort. Portanto, no exemplo anterior, um cliente chama o serviço em 10.128.15.193 na porta TCP 80. A solicitação é encaminhada a um dos pods de membro na porta TCP 8080. O pod de membro precisa ter um contêiner escutando na porta 8080.

O valor nodePort de 30835 é irrelevante para seu balanceador de carga interno.

Como visualizar a regra de encaminhamento do balanceador de carga

Um balanceador de carga interno é implementado como uma regra de encaminhamento. A regra de encaminhamento tem um serviço de back-end, que tem um grupo de instâncias.

O endereço do balanceador de carga interno, 10.128.15.193 no exemplo anterior, é o mesmo que o endereço da regra de encaminhamento. Para ver a regra de encaminhamento que implementa o balanceador de carga interno, liste todas as regras de encaminhamento no projeto:

gcloud compute forwarding-rules list --filter="loadBalancingScheme=INTERNAL"

Na saída, procure a regra de encaminhamento que tem o mesmo endereço do seu balanceador de carga interno, 10.128.15.193 neste exemplo.

    NAME                          ... IP_ADDRESS  ... TARGET
    ...
    aae3e263abe0911e9b32a42010a80008  10.128.15.193   us-central1/backendServices/aae3e263abe0911e9b32a42010a80008

A saída mostra o serviço de back-end associado, que é ae3e263abe0911e9b32a42010a80008 neste exemplo.

Descreva o serviço de back-end:

gcloud compute backend-services describe aae3e263abe0911e9b32a42010a80008 --region us-central1

A saída mostra o grupo de instâncias associadas, que é k8s-ig--2328fa39f4dc1b75 neste exemplo:

    backends:
    - balancingMode: CONNECTION
      group: .../us-central1-a/instanceGroups/k8s-ig--2328fa39f4dc1b75
    ...
    kind: compute#backendService
    loadBalancingScheme: INTERNAL
    name: aae3e263abe0911e9b32a42010a80008
    ...

Como funciona a abstração de serviço

Quando um pacote é manipulado pela sua regra de encaminhamento, o pacote é encaminhado para um dos nós do cluster. Quando o pacote chega ao nó do cluster, os endereços e a porta são os seguintes:

Endereço IP de destino	Regra de encaminhamento, 10.128.15.193 neste exemplo
Porta TCP de destino	Campo `port` do serviço, 80 neste exemplo

Observe que a regra de encaminhamento (ou seja, seu balanceador de carga interno) não altera o endereço IP de destino ou a porta de destino. Em vez disso, as regras iptables no nó do cluster direcionam o pacote para um pod apropriado. As regras iptables alteram o endereço IP de destino para um endereço IP do pod e a porta de destino para o valor targetPort do serviço, que é 8080 neste exemplo.

Como verificar o balanceador de carga TCP interno

Execute SSH em uma instância de VM e o seguinte comando:

curl [LOAD_BALANCER_IP]

Em que [LOAD_BALANCER_IP] é seu endereço IP LoadBalancer Ingress.

A resposta mostra a saída de hello-app:

Hello, world!
    Version: 2.0.0
    Hostname: hello-app-77b45987f7-pw54n

Executar o comando de fora da mesma rede VPC ou fora da mesma região resulta em um erro de tempo limite. Se você configurar acesso global, os clientes em qualquer região na mesma rede VPC poderão acessar o balanceador de carga.

Pacotes enviados de um nó de cluster para um balanceador de carga interno

Suponha que um processo executado em um nó de cluster envia um pacote para um balanceador de carga TCP/UDP interno. A forma como esse pacote é encaminhado depende do externalTrafficPolicy do serviço usado para criar o balanceador de carga. O comportamento de encaminhamento também depende do nó ter um pod de membro para esse serviço.

A tabela a seguir resume o comportamento de encaminhamento:

externalTrafficPolicy	Nó executando um pod de membro?	Comportamento dos pacotes enviados de um processo em execução no nó
Cluster	Sim	Os pacotes são entregues a qualquer pod de membro, seja no nó ou em um nó diferente.
Cluster	Não	Os pacotes são entregues a qualquer pod de membro, que deve estar em um nó diferente.
Treinamento	Sim	Os pacotes são entregues a qualquer pod de membro no mesmo nó.
Treinamento	Não	Kubernetes 1.14 e anteriores: os pacotes são descartados. Kubernetes 1.15 e posteriores: os pacotes são entregues a qualquer pod de membro, que deve estar em um nó diferente.

Limpar

É possível excluir a implantação e o serviço usando kubectl delete ou o Console do Cloud.

kubectl

Excluir a implantação

Para excluir a implantação, execute o comando a seguir:

kubectl delete deployment hello-app

Excluir o serviço

Para excluir o serviço, execute o seguinte comando:

kubectl delete service ilb-service

Console

Excluir a implantação

Para excluir a implantação, execute as seguintes etapas:

Acesse o menu Cargas de trabalho do Google Kubernetes Engine no Console do Cloud.

Acessar o menu “Cargas de trabalho”
No menu, selecione a carga de trabalho pretendida.
Clique em Excluir.
No menu da caixa de diálogo de confirmação, clique em Excluir.

Excluir o serviço

Para excluir o serviço, execute as seguintes etapas:

Acesse o menu Services do Google Kubernetes Engine no Console do Cloud.

Acessar o menu Services
No menu, selecione o serviço desejado.
Clique em Excluir.
No menu da caixa de diálogo de confirmação, clique em Excluir.

Considerações para entradas existentes

Não é possível ter um balanceador de carga TCP/UDP interno e uma entrada que use o modo de balanceamento UTILIZATION. Para usar um balanceamento de carga TCP/UDP interno e uma entrada, a entrada precisa usar o modo de balanceamento RATE.

Se seu cluster tiver um recurso de entrada existente criado com o Kubernetes versão 1.7.1 ou inferior, ele não será compatível com os balanceadores de carga TCP/UDP internos. Os primeiros BackendService recursos criados pelos objetos do recurso de entrada do Kubernetes foram criados sem o modo de balanceamento especificado. Por padrão, a API usou o modo de balanceamento UTILIZATION para balanceadores de carga HTTP. No entanto, os balanceadores de carga TCP/UDP internos não podem ser apontados para grupos de instâncias com outros balanceadores de carga que usam UTILIZATION.

Como determinar o modo de balanceamento de entrada

Para determinar qual é o modo de balanceamento de entrada, execute os seguintes comandos pelo shell ou pela janela de terminal:

GROUPNAME=`kubectl get configmaps ingress-uid -o jsonpath='k8s-ig--{.data.uid}' --namespace=kube-system`
    gcloud compute backend-services list --format="table(name,backends[].balancingMode,backends[].group)" | grep $GROUPNAME

Esses comandos exportam uma variável de shell, GROUPNAME, que busca o nome do grupo de instâncias do cluster. Em seguida, os recursos backend service do Compute Engine do seu projeto são pesquisados e os resultados são restringidos de acordo com o conteúdo de $GROUPNAME.

A resposta será assim:

k8s-be-31210--...  [u'RATE']       us-central1-b/instanceGroups/k8s-ig--...
    k8s-be-32125--...  [u'RATE']       us-central1-b/instanceGroups/k8s-ig--...

Se a saída retornar RATE entradas ou zero entradas forem retornadas, os balanceadores de carga internos serão compatíveis e não será necessário realizar um trabalho extra.

Se a saída retornar entradas marcadas com UTILIZATION, suas entradas não serão compatíveis.

Para atualizar seus recursos de entrada para serem compatíveis com um balanceador de carga TCP/UDP interno, crie um novo cluster que execute o Kubernetes versão 1.7.2 ou superior e migre seus serviços para esse cluster.

Parâmetros de serviço extras

Os balanceadores de carga TCP/UDP internos são compatíveis com parâmetros de serviço, como loadBalancerSourceRanges.

Uma matriz spec: loadBalancerSourceRanges para especificar um ou mais intervalos de endereços IP internos. loadBalancerSourceRanges restringe o tráfego por meio do balanceador de carga para os IPs especificados nesse campo. Ao usar essa configuração, kube-proxy cria as regras iptables correspondentes nos nós do Kubernetes. O GKE também cria uma regra de firewall na sua rede VPC automaticamente. Se você omitir esse campo, seu Serviço aceitará o tráfego de qualquer endereço IP (0.0.0.0/0).
O spec: loadBalancerIP permite que você escolha um endereço IP específico para o balanceador de carga. O endereço IP não pode estar em uso por outro balanceador de carga TCP/UDP interno ou serviço. Se omitido, um IP temporário será atribuído. Para mais informações, consulte Como reservar um endereço IP interno estático.

Para mais informações sobre como configurar loadBalancerSourceRanges para restringir o acesso ao seu balanceador de carga TCP/UDP interno, consulte Configurar os firewalls do seu provedor de nuvem. Para mais informações sobre a especificação de serviço, consulte a Referência da API de serviço.

Aviso: ao criar qualquer serviço de balanceador de carga, a menos que você defina o campo loadBalancerSourceRanges, crie uma regra de firewall com base no intervalo de IP padrão 0.0.0.0/0. Esteja ciente de que isso pode expor outros processos de nó usando a mesma porta.

Se outros processos estiverem vinculados à porta de um nó, o firewall também será aplicado a esses processos, e os processos serão expostos por meio do IP externo do nó. No momento, o GCP não é compatível com endereços IP de destino correspondentes para o tráfego de entrada. Os serviços do Kubernetes ainda estão protegidos por kube-proxy.

Acesso global (Beta)

O acesso global é um parâmetro opcional para serviços internos do LoadBalancer que permite que clientes de qualquer região na rede VPC acessem o balanceador de carga TCP/UDP interno. Sem acesso global, o tráfego proveniente de clientes na rede VPC precisa estar na mesma região que o balanceador de carga. O acesso global permite que clientes em qualquer região acessem o balanceador de carga. As instâncias de back-end ainda precisam estar localizadas na mesma região que o balanceador de carga.

O acesso global é ativado por serviço usando a seguinte anotação: networking.gke.io/internal-load-balancer-allow-global-access: "true".

O acesso global não é compatível com redes legadas. Os custos de usar o acesso global entre regiões são os normais de tráfego entre regiões. Consulte Preços de rede para ver informações sobre preços para saída de regiões. O acesso global está em fase Beta e é compatível apenas com clusters canal Rapid a partir do GKE 1.16.

Como usar todas as portas

Se você criar um balanceador de carga TCP/UDP interno usando um serviço anotado, não será possível configurar uma regra de encaminhamento que use todas as portas. No entanto, se você criar um balanceador de carga TCP/UDP interno manualmente, poderá escolher o grupo de instâncias de nós do Google Kubernetes Engine como o back-end. Os serviços do Kubernetes de type: NodePort estão disponíveis por meio do ILB.

Restrições para balanceadores de carga TCP/UDP internos

Para clusters que executam o Kubernetes versão 1.7.3 e anterior, é possível usar balanceadores de carga TCP/UDP internos com modo automático, mas com o Kubernetes versão 1.7.4 e posterior, é possível usar balanceadores de carga internos com sub-redes de modo personalizado, além de sub-redes de modo automático.
Para clusters que executam o Kubernetes 1.7.X ou posterior, enquanto o clusterIP permanece inalterado, os balanceadores de carga TCP/UDP internos não podem usar endereços IP reservados. O campo spec.loadBalancerIP ainda pode ser definido usando um endereço IP não utilizado para atribuir um IP interno específico. Alterações feitas em portas, protocolos ou afinidade da sessão podem fazer com que esses endereços IP sejam alterados.

Restrições para balanceadores de carga UDP internos

Os balanceadores de carga UDP internos não são compatíveis com sessionAffinity: ClientIP.

Limites

Um serviço do Kubernetes com type: Loadbalancer e a anotação cloud.google.com/load-balancer-type: Internal cria um ILB que segmenta o serviço do Kubernetes. O número desses serviços é limitado pelo número de regras de encaminhamento internas que podem ser criadas em uma rede VPC. Para detalhes, consulte Limites por rede.

Em um cluster do GKE, uma regra de encaminhamento interna aponta para todos os nós no cluster. Cada nó no cluster é uma VM de back-end para o ILB. O número máximo de VMs de back-end para um ILB é 250, independentemente de como as VMs estão associadas aos grupos de instâncias. Portanto, o número máximo de nós em um cluster do GKE com um ILB é 250. Se o escalonamento automático estiver ativado para seu cluster, será preciso garantir que o escalonamento automático não dimensione seu cluster para mais de 250 nós.

Para mais informações sobre esses limites, consulte Cotas de recursos de VPC.

Balanceamento de carga TCP/UDP interno

Visão geral

Preços

Antes de começar

Como usar o gcloud init

Como usar o gcloud config

Criar uma implantação

Criar um balanceador de carga TCP interno

Gravar o arquivo de configuração do serviço

Requisitos mínimos de serviço

Como implantar o serviço

Como inspecionar o serviço

Como visualizar a regra de encaminhamento do balanceador de carga

Como funciona a abstração de serviço

Como verificar o balanceador de carga TCP interno

Pacotes enviados de um nó de cluster para um balanceador de carga interno

Limpar

kubectl

Excluir a implantação

Excluir o serviço

Console

Excluir a implantação

Excluir o serviço

Considerações para entradas existentes

Como determinar o modo de balanceamento de entrada

Parâmetros de serviço extras

Acesso global (Beta)

Como usar todas as portas

Restrições para balanceadores de carga TCP/UDP internos

Restrições para balanceadores de carga UDP internos

Limites

A seguir