Como usar a Identidade da carga de trabalho

Neste documento, mostramos como ativar e configurar a Identidade da carga de trabalho nos clusters do Google Kubernetes Engine (GKE). A Identidade da carga de trabalho permite que as cargas de trabalho nos clusters do GKE representem contas de serviço de gerenciamento de identidade e acesso (IAM) para acessar serviços do Google Cloud.

Para saber mais sobre como a Identidade da carga de trabalho funciona, consulte Identidade da carga de trabalho.

Limitações

  • O GKE cria um pool de identidades de carga de trabalho fixo para cada projeto do Google Cloud, com o formato PROJECT_ID.svc.id.goog.

  • A identidade de carga de trabalho substitui a necessidade de usar Ocultação de metadados. Os metadados confidenciais protegidos por ocultação de metadados também são protegidos pela identidade da carga de trabalho.

  • Quando o GKE ativa o servidor de metadados do GKE em um pool de nós, os pods não podem mais acessar o servidor de metadados do Compute Engine. Em vez disso, o servidor de metadados do GKE intercepta solicitações feitas desses pods para endpoints de metadados, com exceção dos pods em execução na rede do host.

  • A Identidade da carga de trabalho não pode ser usada por pods em execução na rede do host. As solicitações feitas desses pods para endpoints de metadados são encaminhadas para o servidor de metadados do Compute Engine.

  • O servidor de metadados do GKE leva alguns segundos para começar a aceitar solicitações em um pod recém-criado. Portanto, as tentativas de autenticação usando a Identidade da carga de trabalho nos primeiros segundos da vida de um pod podem falhar. Tentar novamente a chamada resolverá o problema. Para mais informações, consulte a seção de solução de problemas abaixo.

  • Os agentes integrados de geração de registros e monitoramento do GKE continuarão a usar a conta de serviço do nó.

  • A Identidade da carga de trabalho requer a configuração manual para que o Cloud Run para Anthos continue lançando métricas de solicitação.

  • A Identidade da carga de trabalho instalará ip-masq-agent se o cluster for criado sem a sinalização --disable-default-snat.

  • A Identidade da carga de trabalho define um limite de 200 conexões com o servidor de metadados do GKE para cada nó, a fim de evitar problemas de memória. Expirações de tempo limite podem acontecer se os nós excederem esse limite.

Antes de começar

Antes de começar, veja se você realizou as seguintes tarefas:

Defina as configurações padrão da gcloud usando um dos métodos a seguir:

  • Use gcloud init se quiser orientações para definir os padrões.
  • Use gcloud config para definir individualmente a região, a zona e o ID do projeto.

Como usar o gcloud init

Se você receber o erro One of [--zone, --region] must be supplied: Please specify location, conclua esta seção.

  1. Execute gcloud init e siga as instruções:

    gcloud init

    Se você estiver usando SSH em um servidor remoto, utilize a sinalização --console-only para impedir que o comando inicie um navegador:

    gcloud init --console-only
  2. Siga as instruções para autorizar a gcloud a usar sua conta do Google Cloud.
  3. Crie uma nova configuração ou selecione uma atual.
  4. Escolha um projeto do Google Cloud.
  5. Escolha uma zona padrão do Compute Engine para clusters zonais ou uma região para clusters regionais ou de Autopilot.

Como usar o gcloud config

  • Defina o ID do projeto padrão:
    gcloud config set project PROJECT_ID
  • Se você estiver trabalhando com clusters zonais, defina a zona do Compute padrão:
    gcloud config set compute/zone COMPUTE_ZONE
  • Se você estiver trabalhando com clusters de Autopilot ou regionais, defina a região do Compute padrão:
    gcloud config set compute/region COMPUTE_REGION
  • Atualize gcloud para a versão mais recente:
    gcloud components update

Como ativar a identidade da carga de trabalho em um cluster

É possível ativar a Identidade da carga de trabalho em um cluster GKE Standard novo ou atual usando a ferramenta gcloud. Por padrão, a Identidade da carga de trabalho é ativada nos clusters do GKE Autopilot.

  1. Verifique se você ativou a API Service Account Credentials do IAM.

    Ativar a API IAM Credentials

  2. Para criar um novo cluster com a Identidade da carga de trabalho ativada, use o seguinte comando:

    gcloud container clusters create CLUSTER_NAME \
        --workload-pool=PROJECT_ID.svc.id.goog
    

    Substitua:

    • CLUSTER_NAME: o nome do cluster.
    • PROJECT_ID: o ID do seu projeto do Google Cloud.
  3. Para ativar a Identidade da carga de trabalho em um cluster atual, modifique o cluster com o seguinte comando:

    gcloud container clusters update CLUSTER_NAME \
        --workload-pool=PROJECT_ID.svc.id.goog
    

    Os pools de nós existentes não são afetados. novos pools de nós assumem --workload-metadata=GKE_METADATA como padrão.

Migrar aplicativos para a Identidade da carga de trabalho

Selecione a estratégia de migração ideal para seu ambiente. Os pools de nós podem ser migrados no local ou é possível criar novos pools de nós com a Identidade da carga de trabalho ativada. Recomendamos a criação de novos pools de nós se você também precisar modificar seu aplicativo para que ele seja compatível com esse recurso.

Adicione um novo pool de nós ao cluster com a Identidade da carga de trabalho ativada e migre manualmente cargas de trabalho para esse pool. Isso só funcionará se a identidade da carga de trabalho estiver ativada no cluster.

gcloud container node-pools create NODEPOOL_NAME \
    --cluster=CLUSTER_NAME \
    --workload-metadata=GKE_METADATA

Se um cluster tiver a identidade de carga de trabalho ativada, será possível desativá-la seletivamente em um pool de nós especificando explicitamente --workload-metadata=GCE_METADATA. Consulte Como proteger os metadados do cluster para mais informações.

Opção 2: modificação do pool de nós

Modifique um pool de nós atual para usar o servidor de metadados do GKE. Essa atualização só será bem-sucedida se a identidade da carga de trabalho estiver ativada no cluster. Modificar o pool de nós ativa imediatamente a identidade da carga de trabalho para cargas de trabalho implantadas no pool de nós. Essa alteração impede que as cargas de trabalho usem a conta de serviço do Compute Engine e precisa ser lançada com cuidado.

gcloud container node-pools update NODEPOOL_NAME \
    --cluster=CLUSTER_NAME \
    --workload-metadata=GKE_METADATA

Como autenticar no Google Cloud

Nesta seção, explicamos como um aplicativo pode ser autenticado no Google Cloud com a Identidade da carga de trabalho. Atribua uma conta de serviço do Kubernetes ao aplicativo e configure a conta de serviço do Kubernetes para atuar como uma conta de serviço do IAM.

  1. Configure kubectl para se comunicar com o cluster:

    gcloud container clusters get-credentials CLUSTER_NAME
    

    Substitua CLUSTER_NAME pelo nome do cluster que você criou na etapa anterior.

  2. Como a maioria dos outros recursos, as contas de serviço do Kubernetes residem em um namespace. Crie o namespace a ser usado para a conta de serviço do Kubernetes.

    kubectl create namespace K8S_NAMESPACE
    
  3. Crie a conta de serviço do Kubernetes a ser usada para seu aplicativo:

    kubectl create serviceaccount KSA_NAME \
        --namespace K8S_NAMESPACE
    

    Substitua:

    • KSA_NAME: o nome da nova conta de serviço do Kubernetes.
    • K8S_NAMESPACE, o nome do namespace do Kubernetes que você criou na etapa anterior;
  4. Configure seu aplicativo para usar a conta de serviço do Kubernetes:

    spec:
      serviceAccountName: KSA_NAME
    
  5. Crie uma conta de serviço do IAM para seu aplicativo ou use uma conta de serviço do IAM atual. É possível usar qualquer conta de serviço do Google em qualquer projeto na organização. Para o Config Connector, aplique o objeto IAMServiceAccount à conta de serviço escolhida.

    gcloud

    Para criar uma nova conta de serviço do Google usando a ferramenta gcloud, execute o comando a seguir.

    gcloud iam service-accounts create GSA_NAME
    

    Substitua GSA_NAME pelo nome da nova conta de serviço do Google.

    Config Connector

    Para usar uma conta de serviço do Google nova ou existente com o Config Connector, aplique o arquivo de configuração a seguir.

    Observação: esta etapa requer o Config Connector. Siga estas instruções para instalar o Config Connector no cluster.

    apiVersion: iam.cnrm.cloud.google.com/v1beta1
    kind: IAMServiceAccount
    metadata:
      name: [GSA_NAME]
    spec:
      displayName: [GSA_NAME]
    Para implantar esse manifesto, faça o download dele para sua máquina como service-account.yaml.

    Use kubectl para aplicar o manifesto:

    kubectl apply -f service-account.yaml
    

    Para ver informações sobre como autorizar contas de serviço do Google a acessar as APIs do Google Cloud, consulte Como entender as contas de serviço.

  6. Verifique se sua conta de serviço do Google tem os papéis do IAM necessários. É possível conceder outros papéis usando o seguinte comando:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member "serviceAccount:GSA_NAME@PROJECT_ID.iam.gserviceaccount.com" \
        --role "ROLE_NAME"
    

    Substitua:

    • PROJECT_ID: é seu ID do projeto no Google Cloud.
    • GSA_NAME: o nome da conta de serviço do Google
    • ROLE_NAME: o papel do IAM a ser atribuído à conta de serviço, como roles/spanner.viewer.
  7. Permita que a conta de serviço do Kubernetes atue como a conta de serviço do Google. Para isso, crie uma vinculação de política do IAM entre as duas contas. Essa vinculação permite que a conta de serviço do Kubernetes atue como a conta de serviço do Google.

    gcloud

    gcloud iam service-accounts add-iam-policy-binding GSA_NAME@PROJECT_ID.iam.gserviceaccount.com \
        --role roles/iam.workloadIdentityUser \
        --member "serviceAccount:PROJECT_ID.svc.id.goog[K8S_NAMESPACE/KSA_NAME]"
    

    Config Connector

    Observação: esta etapa requer o Config Connector. Siga estas instruções para instalar o Config Connector no cluster.

    apiVersion: iam.cnrm.cloud.google.com/v1beta1
    kind: IAMPolicy
    metadata:
      name: iampolicy-workload-identity-sample
    spec:
      resourceRef:
        apiVersion: iam.cnrm.cloud.google.com/v1beta1
        kind: IAMServiceAccount
        name: [GSA_NAME]
      bindings:
        - role: roles/iam.workloadIdentityUser
          members:
            - serviceAccount:[PROJECT_ID].svc.id.goog[[K8S_NAMESPACE]/[KSA_NAME]]
    Para implantar esse manifesto, faça o download dele para sua máquina como policy-binding.yaml. Substitua GSA_NAME, PROJECT_ID K8S_NAMESPACE e KSA_NAME pelos valores correspondentes do seu ambiente. Depois, execute:

    kubectl apply -f policy-binding.yaml
    
  8. Adicione a anotação iam.gke.io/gcp-service-account=GSA_NAME@PROJECT_ID à conta de serviço do Kubernetes usando o endereço de e-mail da conta de serviço do Google.

    kubectl

    kubectl annotate serviceaccount KSA_NAME \
        --namespace K8S_NAMESPACE \
        iam.gke.io/gcp-service-account=GSA_NAME@PROJECT_ID.iam.gserviceaccount.com
    

    yaml

    apiVersion: v1
    kind: ServiceAccount
    metadata:
      annotations:
        iam.gke.io/gcp-service-account:GSA_NAME@PROJECT_ID.iam.gserviceaccount.com
      name: KSA_NAME
      namespace: K8S_NAMESPACE
    
  9. Verifique se as contas de serviço estão configuradas corretamente. Para isso, crie um pod com a conta de serviço do Kubernetes que executa a imagem do contêiner específico do SO e conecte-se a ele com uma sessão interativa.

    Para nós do Linux

    1. Crie um pod com a conta de serviço do Kubernetes que executa a imagem do contêiner cloud-sdk:

      Salve a configuração a seguir como wi-test.yaml:

      apiVersion: v1
      kind: Pod
      metadata:
        name: workload-identity-test
        namespace: K8S_NAMESPACE
      spec:
        containers:
        - image: google/cloud-sdk:slim
          name: workload-identity-test
          command: ["sleep","infinity"]
        serviceAccountName: KSA_NAME
      

      Crie um pod:

      kubectl apply -f wi-test.yaml
      

      Abra uma sessão interativa no pod:

      kubectl exec -it workload-identity-test \
          --namespace K8S_NAMESPACE -- /bin/bash
      

      A imagem google/cloud-sdk inclui a ferramenta de linha de comando gcloud, que é uma maneira conveniente de consumir as APIs Google Cloud. Pode levar algum tempo para fazer o download da imagem.

    2. Agora você está conectado a um shell interativo no pod criado. Execute o seguinte comando no pod:

      curl -H "Metadata-Flavor: Google" http://169.254.169.254/computeMetadata/v1/instance/service-accounts/
      

      Se as contas de serviço estiverem configuradas corretamente, o endereço de e-mail da conta de serviço do Google será listado como a identidade ativa (e única). Isso demonstra que, por padrão, o pod atua como a autoridade da conta de serviço do IAM ao chamar as APIs do Google Cloud.

    Para nós do Windows Server

    1. Crie um pod com a conta de serviço do Kubernetes que executa a imagem do contêiner servercore:

      apiVersion: v1
      kind: Pod
      metadata:
        name: workload-identity-test
        namespace: K8S_NAMESPACE
      spec:
        containers:
        - image: IMAGE_NAME
          name: workload-identity-test
          command: ["powershell.exe", "sleep", "3600"]
        serviceAccountName: KSA_NAME
        nodeSelector:
          kubernetes.io/os: windows
          cloud.google.com/gke-os-distribution: windows_ltsc
      

      Substitua IMAGE_NAME por um dos seguintes valores de imagem do núcleo do servidor de contêiner:

      Imagem do nó do Windows Server Imagem de contêiner servercore
      WINDOWS_LTSC,
      WINDOWS_LTSC_CONTAINERD
      mcr.microsoft.com/windows/servercore:ltsc2019
      WINDOWS_SAC,
      WINDOWS_SAC_CONTAINERD
      Verifique o mapeamento de versões entre a versão do nó do GKE e a versão do Windows SAC. Para o Windows Server versão 1909, especifique mcr.microsoft.com/windows/servercore:1909. Caso contrário, especifique mcr.microsoft.com/windows/servercore:20H2.

      Abra uma sessão interativa no pod:

      kubectl exec -it workload-identity-test \
          --namespace K8S_NAMESPACE -- powershell
      
    2. Agora você está conectado a um shell interativo no pod criado. Execute o seguinte comando powershell no pod:

      Invoke-WebRequest  -Headers @{"Metadata-Flavor"="Google"} -Uri  http://169.254.169.254/computeMetadata/v1/instance/service-accounts/default/email  -UseBasicParsing
      

      Se as contas de serviço estiverem configuradas corretamente, o endereço de e-mail da conta de serviço do Google será listado como a identidade ativa (e única). Isso demonstra que, por padrão, o pod usa a autoridade da conta de serviço do Google ao chamar APIs Google Cloud.

Como usar a identidade de carga de trabalho do seu código

A autenticação nos serviços do Google Cloud usando o código segue o mesmo processo que a autenticação usando o servidor de metadados do Compute Engine. Quando você usa a Identidade da carga de trabalho, suas solicitações para o servidor de metadados da instância são encaminhadas para o servidor de metadados do GKE. O código atual que autentica usando o servidor de metadados da instância (como o código que usa as bibliotecas de cliente do Google Cloud) funcionará sem precisar de modificações.

Como revogar o acesso

  1. Revogue o acesso à conta de serviço do IAM:

    gcloud

    gcloud iam service-accounts remove-iam-policy-binding GSA_NAME@GSA_PROJECT_ID.iam.gserviceaccount.com \
        --role roles/iam.workloadIdentityUser \
        --member "serviceAccount:PROJECT_ID.svc.id.goog[K8S_NAMESPACE/KSA_NAME]"
    

    Substitua:

    • PROJECT_ID, o ID do projeto do cluster do GKE;
    • K8S_NAMESPACE, o nome do namespace do Kubernetes em que a conta de serviço do Kubernetes está localizada;
    • KSA_NAME, o nome da conta de serviço do Kubernetes que terá o acesso revogado;
    • GSA_NAME: o nome da conta de serviço do IAM.
    • GSA_PROJECT_ID, o ID do projeto da conta de serviço do IAM.

    Config Connector

    Se você usou o Config Connector para criar a conta de serviço, exclua-a com kubectl.

    kubectl delete -f service-account.yaml
    

    Essa ação exige permissões iam.serviceAccounts.setIamPolicy na conta de serviço.

    Pode levar até 30 minutos para que os tokens em cache expirem. É possível verificar se os tokens em cache já expiraram com este comando:

    gcloud auth list
    

    Os tokens em cache expiram se a saída desse comando não incluir mais GSA_NAME@PROJECT_ID.iam.gserviceaccount.com.

  2. Remova a anotação da conta de serviço do Kubernetes. Esta etapa é opcional porque o acesso foi revogado pelo IAM.

    kubectl annotate serviceaccount KSA_NAME \
        --namespace K8S_NAMESPACE iam.gke.io/gcp-service-account-
    

Solução de problemas

O pod não pode se autenticar no Google Cloud

Se não for possível autenticar seu aplicativo no Google Cloud, confira se as configurações a seguir estão definidas corretamente:

  1. Verifique se você ativou a API Service Account Credentials do IAM no projeto que contém o cluster do GKE.

    Ativar a API IAM Credentials

  2. Garanta que a Identidade da carga de trabalho esteja ativada no cluster. Para isso, verifique se ela tem um pool definido de Identidade da carga de trabalho:

    gcloud container clusters describe CLUSTER_NAME \
        --format="value(workloadIdentityConfig.workloadPool)"
    

    Se você ainda não tiver especificado uma zona ou região padrão para gcloud, talvez seja necessário especificar uma sinalização --region ou --zone ao executar este comando.

  3. Verifique se o servidor de metadados do GKE (GKE_METADATA) está configurado no pool de nós em que o aplicativo está sendo executado:

    gcloud container node-pools describe NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --format="value(config.workloadMetadataConfig.mode)"
    
  4. Confira se a conta de serviço do Kubernetes está anotada corretamente:

    kubectl describe serviceaccount \
        --namespace K8S_NAMESPACE KSA_NAME
    

    É preciso haver uma anotação no seguinte formato:

    iam.gke.io/gcp-service-account: GSA_NAME@PROJECT_ID.iam.gserviceaccount.com
    
  5. Verifique se a conta de serviço do Google está configurada corretamente:

    gcloud iam service-accounts get-iam-policy \
        GSA_NAME@PROJECT_ID.iam.gserviceaccount.com
    

    Confira se há uma vinculação no seguinte formato:

    - members:
      - serviceAccount:PROJECT_ID.svc.id.goog[K8S_NAMESPACE/KSA_NAME]
      role: roles/iam.workloadIdentityUser
    
  6. Se você tiver uma política de rede de cluster, permita que a saída seja permitida para 127.0.0.1/32 na porta 988 para clusters que executam versões do GKE anteriores a 1.21.0-gke.1.000 ou 169.254.169.252/32 na porta 988 para clusters que executam o GKE versão 1.21.0-gke.1000 e posterior

    kubectl describe networkpolicy NETWORK_POLICY_NAME
    

Erros de tempo limite na inicialização do pod

O servidor de metadados do GKE precisa de alguns segundos para começar a aceitar solicitações em um pod recém-criado. Portanto, as tentativas de autenticação usando a Identidade da carga de trabalho nos primeiros segundos da vida de um pod podem falhar em aplicativos e nas bibliotecas de cliente do Google Cloud configuradas com um tempo limite curto.

Se você encontrar erros de tempo limite, altere o código do aplicativo para aguardar alguns segundos e tentar novamente. Como alternativa, é possível implantar um initContainer que aguarda até que o servidor de metadados do GKE esteja pronto antes de executar o contêiner principal do pod.

Veja um pod com um exemplo initContainer:

apiVersion: v1
kind: Pod
metadata:
  name: pod-with-initcontainer
spec:
  serviceAccountName: KSA_NAME
  initContainers:
  - image:  gcr.io/google.com/cloudsdktool/cloud-sdk:326.0.0-alpine
    name: workload-identity-initcontainer
    command:
    - '/bin/bash'
    - '-c'
    - |
      curl -s -H 'Metadata-Flavor: Google' 'http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/token' --retry 30 --retry-connrefused --retry-max-time 30 > /dev/null || exit 1
  containers:
  - image: gcr.io/your-project/your-image
    name: your-main-application-container

A identidade da carga de trabalho falha devido à indisponibilidade do plano de controle

O servidor de metadados não pode retornar a identidade da carga de trabalho quando o plano de controle do cluster não está disponível. As chamadas para o servidor de metadados retornam o código de status 500.

A entrada de registro pode ser semelhante a esta no Explorador de registros:

dial tcp 35.232.136.58:443: connect: connection refused

Isso levará à indisponibilidade esperada da Identidade da carga de trabalho.

O plano de controle pode estar indisponível em clusters zonais na manutenção do cluster, como rotação de IPs, upgrade de VMs do plano de controle ou redimensionamento de clusters ou pools de nós. Saiba mais sobre como escolher um plano de controle regional ou zonal para saber mais sobre a disponibilidade do plano de controle. Mudar para o cluster regional eliminará esse problema.

Falha na identidade da carga de trabalho

Se o servidor de metadados do GKE for bloqueado por qualquer motivo, a identidade da carga de trabalho falhará.

Se você estiver usando o Istio, adicione a seguinte anotação no nível do aplicativo a todas as cargas de trabalho que usam a Identidade da carga de trabalho:

"traffic.sidecar.istio.io/excludeOutboundIPRanges=169.254.169.254/32"

Se preferir, altere a chave global.proxy.excludeIPRanges Istio ConfigMap para fazer o mesmo.

Como desativar a Identidade da carga de trabalho em um cluster

Só é possível desativar a Identidade da carga de trabalho nos clusters do GKE Standard.

  1. Desative a Identidade da carga de trabalho em cada pool de nós:

    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --workload-metadata=GCE_METADATA
    

    Repita esse comando em cada pool de nós no cluster.

  2. Desative a identidade de carga de trabalho no cluster:

    gcloud container clusters update CLUSTER_NAME --disable-workload-identity
    

    Essa ação exige permissões container.clusters.update no cluster.

Como desativar a identidade da carga de trabalho na sua organização

Do ponto de vista da segurança, a Identidade da carga de trabalho permite que o GKE declare identidades das contas de serviço do Kubernetes que podem ser autenticadas e autorizadas nos recursos do Google Cloud. Os administradores que realizaram ações para isolar cargas de trabalho de recursos do Google Cloud, como desativar a criação de contas de serviço ou de chaves de conta de serviço, também poderão desativar a Identidade da carga de trabalho na organização se quiserem.

Consulte estas instruções para desativar a Identidade da carga de trabalho na sua organização.

A seguir