Balanceamento de carga TCP/UDP interno

Esta página explica como criar um balanceador de carga TCP/UDP interno do Compute Engine no Google Kubernetes Engine.

Visão geral

O balanceamento de carga TCP/UDP interno torna os serviços do cluster acessíveis a aplicativos fora do cluster que usam a mesma rede VPC e estão localizados na mesma região do Google Cloud. Por exemplo, suponha que você tem um cluster na região us-west1 e precisa tornar um dos serviços acessíveis para as instâncias da VM do Compute Engine em execução nessa região na mesma rede VPC.

Crie um recurso Services com a anotação cloud.google.com/load-balancer-type: "Internal" e uma especificação type: LoadBalancer para criar um balanceador de carga TCP/UDP interno. As instruções e o exemplo abaixo destacam como fazer isso.

Sem o balanceamento de carga TCP/UDP interno, você precisaria configurar um balanceador de carga externo e regras de firewall para tornar o aplicativo acessível fora do cluster.

O balanceamento de carga TCP/UDP interno cria um endereço IP privado (RFC 1918) para o cluster que recebe tráfego na rede dentro da mesma região de computação.

Preços

Você é cobrado pelo modelo de preços do Compute Engine. Para saber mais, consulte os preços de regras de encaminhamento e balanceamento de carga e a página do Compute Engine com a calculadora de preços do Google Cloud.

Antes de começar

Prepare-se para a tarefa tomando as seguintes medidas:

  • Verifique se você ativou a API Google Kubernetes Engine.
  • Ativar a API do Google Kubernetes Engine
  • Verifique se o SDK do Cloud está instalado.
  • Defina o ID do projeto padrão:
    gcloud config set project [PROJECT_ID]
  • Se você estiver trabalhando com clusters zonais, defina a zona do Compute padrão:
    gcloud config set compute/zone [COMPUTE_ZONE]
  • Se você estiver trabalhando com clusters regionais, defina a região do Compute padrão:
    gcloud config set compute/region [COMPUTE_REGION]
  • Atualize gcloud para a versão mais recente:
    gcloud components update

Criar uma implantação

O manifesto a seguir descreve uma implantação que executa três réplicas de um aplicativo Hello World.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: hello-app
spec:
  selector:
    matchLabels:
      app: hello
  replicas: 3
  template:
    metadata:
      labels:
        app: hello
    spec:
      containers:
      - name: hello
        image: "gcr.io/google-samples/hello-app:2.0"

O código-fonte e o Dockerfile para este aplicativo de exemplo estão disponíveis no GitHub. Como nenhuma variável de ambiente PORT foi especificada, os contêineres escutam na porta padrão: 8080.

Para criar a implantação, crie o arquivo my-deployment.yaml do manifesto e execute o seguinte comando no shell ou na janela de terminal:

kubectl apply -f my-deployment.yaml

Criar um balanceador de carga TCP interno

As seções a seguir explicam como criar um balanceador de carga TCP interno usando um serviço.

Gravar o arquivo de configuração do serviço

Veja a seguir um exemplo de serviço que cria um balanceador de carga TCP interno:

apiVersion: v1
kind: Service
metadata:
  name: ilb-service
  annotations:
    cloud.google.com/load-balancer-type: "Internal"
  labels:
    app: hello
spec:
  type: LoadBalancer
  selector:
    app: hello
  ports:
  - port: 80
    targetPort: 8080
    protocol: TCP

Requisitos mínimos de serviço

Seu manifesto deve conter o seguinte:

  • Um name para o Serviço, neste caso ilb-service.
  • A anotação: cloud.google.com/load-balancer-type: "Internal", que especifica que deve-se configurar um balanceador de carga TCP/UDP interno.
  • O type: LoadBalancer.
  • Um campo spec: selector para especificar os pods que o serviço deve segmentar, por exemplo, app: hello.
  • O port, a porta pela qual o serviço é exposto, e targetPort, a porta na qual os contêineres estão escutando.

Como implantar o serviço

Para criar o balanceador de carga TCP interno, crie o arquivo my-service.yaml do manifesto e execute o seguinte comando no shell ou na janela de terminal:

kubectl apply -f my-service.yaml

Como inspecionar o serviço

Após a implantação, inspecione o serviço para verificar se ele foi configurado com êxito.

Veja informações detalhadas sobre o serviço:

kubectl get service ilb-service --output yaml

Na saída, você pode ver o endereço IP do balanceador de carga interno em status.loadBalancer.ingress. Observe que isso é diferente do valor de clusterIP. Neste exemplo, o endereço IP do balanceador de carga é 10.128.15.193:

apiVersion: v1
kind: Service
metadata:
  ...
  labels:
    app: hello
  name: ilb-service
  ...
spec:
  clusterIP: 10.0.9.121
  externalTrafficPolicy: Cluster
  ports:
  - nodePort: 30835
    port: 80
    protocol: TCP
    targetPort: 8080
  selector:
    app: hello
  sessionAffinity: None
  type: LoadBalancer
status:
  loadBalancer:
    ingress:
    - ip: 10.128.15.193

Qualquer pod que tenha o rótulo app: hello é um membro desse serviço. Esses são os pods que podem ser os destinatários finais das solicitações enviadas para seu balanceador de carga interno.

Os clientes chamam o serviço usando o endereço IP loadBalancer e a porta TCP especificada no campo port do manifesto do serviço. A solicitação é encaminhada para um dos pods de membro na porta TCP especificada no campo targetPort. Portanto, no exemplo anterior, um cliente chama o serviço em 10.128.15.193 na porta TCP 80. A solicitação é encaminhada a um dos pods de membro na porta TCP 8080. O pod de membro precisa ter um contêiner escutando na porta 8080.

O valor nodePort de 30835 é irrelevante para seu balanceador de carga interno.

Como visualizar a regra de encaminhamento do balanceador de carga

Um balanceador de carga interno é implementado como uma regra de encaminhamento. A regra de encaminhamento tem um serviço de back-end, que tem um grupo de instâncias.

O endereço do balanceador de carga interno, 10.128.15.193 no exemplo anterior, é o mesmo que o endereço da regra de encaminhamento. Para ver a regra de encaminhamento que implementa o balanceador de carga interno, liste todas as regras de encaminhamento no projeto:

gcloud compute forwarding-rules list --filter="loadBalancingScheme=INTERNAL"

Na saída, procure a regra de encaminhamento que tem o mesmo endereço do seu balanceador de carga interno, 10.128.15.193 neste exemplo.

NAME                          ... IP_ADDRESS  ... TARGET
...
aae3e263abe0911e9b32a42010a80008  10.128.15.193   us-central1/backendServices/aae3e263abe0911e9b32a42010a80008

A saída mostra o serviço de back-end associado, que é ae3e263abe0911e9b32a42010a80008 neste exemplo.

Descreva o serviço de back-end:

gcloud compute backend-services describe aae3e263abe0911e9b32a42010a80008 --region us-central1

A saída mostra o grupo de instâncias associadas, que é k8s-ig--2328fa39f4dc1b75 neste exemplo:

backends:
- balancingMode: CONNECTION
  group: .../us-central1-a/instanceGroups/k8s-ig--2328fa39f4dc1b75
...
kind: compute#backendService
loadBalancingScheme: INTERNAL
name: aae3e263abe0911e9b32a42010a80008
...

Como funciona a abstração de serviço

Quando um pacote é manipulado pela sua regra de encaminhamento, o pacote é encaminhado para um dos nós do cluster. Quando o pacote chega ao nó do cluster, os endereços e a porta são os seguintes:

Endereço IP de destinoRegra de encaminhamento, 10.128.15.193 neste exemplo
Porta TCP de destinoCampo port do serviço, 80 neste exemplo

Observe que a regra de encaminhamento (ou seja, seu balanceador de carga interno) não altera o endereço IP de destino ou a porta de destino. Em vez disso, as regras iptables no nó do cluster direcionam o pacote para um pod apropriado. As regras iptables alteram o endereço IP de destino para um endereço IP do pod e a porta de destino para o valor targetPort do serviço, que é 8080 neste exemplo.

Como verificar o balanceador de carga TCP interno

Execute SSH em uma instância de VM e o seguinte comando:

curl [LOAD_BALANCER_IP]

Em que [LOAD_BALANCER_IP] é seu endereço IP LoadBalancer Ingress.

A resposta mostra a saída de hello-app:

Hello, world!
Version: 2.0.0
Hostname: hello-app-77b45987f7-pw54n

Executar o comando de fora da mesma rede VPC ou fora da mesma região resulta em um erro de tempo limite.

Pacotes enviados de um nó de cluster para um balanceador de carga interno

Suponha que um processo executado em um nó de cluster envia um pacote para um balanceador de carga TCP/UDP interno. A forma como esse pacote é encaminhado depende do externalTrafficPolicy do serviço usado para criar o balanceador de carga. O comportamento de encaminhamento também depende de o nó ter um pod de membro para esse serviço.

A tabela a seguir resume o comportamento de encaminhamento:

externalTrafficPolicyNó executando um pod de membro?Comportamento dos pacotes enviados de um processo em execução no nó
ClusterSimOs pacotes são entregues a qualquer pod de membro, seja no nó ou em um nó diferente.
ClusterNãoOs pacotes são entregues a qualquer pod de membro, que deve estar em um nó diferente.
TreinamentoSimOs pacotes são entregues a qualquer pod de membro no mesmo nó.
TreinamentoNão

Kubernetes 1.14 e anteriores: os pacotes são descartados.

Kubernetes 1.15 e posteriores: os pacotes são entregues a qualquer pod de membro, que deve estar em um nó diferente.

Como fazer a limpeza

Você pode excluir a implantação e o serviço usando kubectl delete ou o Console do Cloud.

kubectl

Excluir a implantação

Para excluir a implantação, execute o comando a seguir:

kubectl delete deployment hello-app

Excluir o serviço

Para excluir o serviço, execute o seguinte comando:

kubectl delete service ilb-service

Console

Excluir a implantação

Para excluir a implantação, execute as seguintes etapas:

  1. Acesse o menu Cargas de trabalho do Google Kubernetes Engine no Console do Cloud.

    Acessar o menu “Cargas de trabalho”

  2. No menu, selecione a carga de trabalho pretendida.

  3. Clique em Excluir.

  4. No menu da caixa de diálogo de confirmação, clique em Excluir.

Excluir o serviço

Para excluir o serviço, execute as seguintes etapas:

  1. Acesse o menu Services do Google Kubernetes Engine no Console do Cloud.

    Acessar o menu Services

  2. No menu, selecione o serviço desejado.

  3. Clique em Excluir.

  4. No menu da caixa de diálogo de confirmação, clique em Excluir.

Considerações para entradas existentes

Não é possível ter um balanceador de carga TCP/UDP interno e uma entrada que use o modo de balanceamento UTILIZATION. Para usar um balanceamento de carga TCP e UDP interno e uma entrada, a entrada deve usar o modo de balanceamento RATE.

Se seu cluster tiver um recurso de entrada existente criado com o Kubernetes versão 1.7.1 ou inferior, ele não será compatível com os balanceadores de carga TCP/UDP internos. Os primeiros BackendService recursos criados pelos objetos do recurso de entrada do Kubernetes foram criados sem o modo de balanceamento especificado. Por padrão, a API usou o modo de balanceamento UTILIZATION para balanceadores de carga HTTP. No entanto, os balanceadores de carga TCP/UDP internos não podem ser apontados para grupos de instâncias com outros balanceadores de carga que usam UTILIZATION.

Como determinar o modo de balanceamento de entrada

Para determinar qual é o modo de balanceamento de entrada, execute os seguintes comandos pelo shell ou pela janela de terminal:

GROUPNAME=`kubectl get configmaps ingress-uid -o jsonpath='k8s-ig--{.data.uid}' --namespace=kube-system`
gcloud compute backend-services list --format="table(name,backends[].balancingMode,backends[].group)" | grep $GROUPNAME

Esses comandos exportam uma variável de shell, GROUPNAME, que busca o nome do grupo de instâncias do cluster. Em seguida, os recursos backend service do Compute Engine do seu projeto são pesquisados e os resultados são restringidos de acordo com o conteúdo de $GROUPNAME.

A resposta será semelhante a:

k8s-be-31210--...  [u'RATE']       us-central1-b/instanceGroups/k8s-ig--...
k8s-be-32125--...  [u'RATE']       us-central1-b/instanceGroups/k8s-ig--...

Se a saída retornar RATE entradas ou zero entradas forem retornadas, os balanceadores de carga internos serão compatíveis e não será necessário realizar um trabalho adicional.

Se a saída retornar entradas marcadas com UTILIZATION, suas entradas não serão compatíveis.

Para atualizar seus recursos de entrada para serem compatíveis com um balanceador de carga TCP/UDP interno, crie um novo cluster que execute o Kubernetes versão 1.7.2 ou superior e migre seus serviços para esse cluster.

Parâmetros de serviço adicionais

Os balanceadores de carga TCP/UDP internos são compatíveis com parâmetros de serviço, como loadBalancerSourceRanges.

  • Uma matriz spec: loadBalancerSourceRanges para especificar um ou mais intervalos RFC 1918 usados por suas redes de VPC, sub-redes ou gateways de VPN. loadBalancerSourceRanges restringe o tráfego por meio do balanceador de carga para os IPs especificados nesse campo. Se você não definir esse campo manualmente, o campo usará como padrão 0.0.0.0, o que permite que todo o tráfego IPv4 alcance os nós.

  • O spec: loadBalancerIP permite que você escolha um endereço IP específico para o balanceador de carga. O endereço IP não pode estar em uso por outro balanceador de carga TCP/UDP interno ou serviço. Se omitido, um IP temporário será atribuído. Para mais informações, consulte Como reservar um endereço IP interno estático.

Para mais informações sobre como configurar loadBalancerSourceRanges para restringir o acesso ao seu balanceador de carga TCP/UDP interno, consulte Configurar os firewalls do seu provedor de nuvem. Para mais informações sobre a especificação de serviço, consulte a Referência da API de serviço.

Como usar todas as portas

Se você criar um balanceador de carga TCP/UDP interno usando um serviço anotado, não será possível configurar uma regra de encaminhamento que use todas as portas. No entanto, se você criar um balanceador de carga TCP/UDP interno manualmente, poderá escolher o grupo de instâncias de nós do Google Kubernetes Engine como o back-end. Os serviços do Kubernetes de type: NodePort estão disponíveis por meio do ILB.

Restrições para balanceadores de carga TCP/UDP internos

  • Para clusters que executam o Kubernetes versão 1.7.3 e anterior, é possível usar balanceadores de carga TCP/UDP internos com modo automático, mas com o Kubernetes versão 1.7.4 e posterior, é possível usar balanceadores de carga internos com sub-redes de modo personalizado, além de sub-redes de modo automático.
  • Para clusters que executam o Kubernetes 1.7.X ou posterior, enquanto o clusterIP permanece inalterado, os balanceadores de carga TCP/UDP internos não podem usar endereços IP reservados. O campo spec.loadBalancerIP ainda pode ser definido usando um endereço IP não utilizado para atribuir um IP interno específico. Alterações feitas em portas, protocolos ou afinidade da sessão podem fazer com que esses endereços IP sejam alterados.

Restrições para balanceadores de carga UDP internos

  • Os balanceadores de carga UDP internos não são compatíveis com sessionAffinity: ClientIP.

Limites

Um serviço do Kubernetes com type: Loadbalancer e a anotação cloud.google.com/load-balancer-type: Internal cria um ILB que segmenta o serviço do Kubernetes. O número desses serviços é limitado pelo número de regras de encaminhamento internas que você pode criar em uma rede de VPC. Para detalhes, consulte Limites por rede.

Em um cluster do GKE, uma regra de encaminhamento interna aponta para todos os nós no cluster. Cada nó no cluster é uma VM de back-end para o ILB. O número máximo de VMs de back-end para um ILB é 250, independentemente de como as VMs estão associadas aos grupos de instâncias. Portanto, o número máximo de nós em um cluster do GKE com um ILB é 250. Se o escalonamento automático estiver ativado para seu cluster, você deverá garantir que o escalonamento automático não dimensione seu cluster para mais de 250 nós.

Para mais informações sobre esses limites, consulte Cotas de recursos de VPC.

A seguir

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Kubernetes Engine