Use o KubernetesPodOperator

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Esta página descreve como usar o KubernetesPodOperator para implantar pods do Kubernetes do Cloud Composer no cluster do Google Kubernetes Engine que faz parte do seu ambiente do Cloud Composer.

Lançamento do KubernetesPodOperator Pods do Kubernetes no cluster do ambiente. Em comparação, Os operadores do Google Kubernetes Engine executam pods do Kubernetes em uma que pode ser um cluster separado, não relacionado ao seu de nuvem. Também é possível criar e excluir clusters usando operadores do Google Kubernetes Engine.

O KubernetesPodOperator é uma boa opção se você precisar de:

• Dependências personalizadas do Python que não estão disponíveis no repositório PyPI público.
• Dependências binárias que não estão disponíveis na imagem do worker do Cloud Composer.

Observação: para mais informações sobre como instalar pacotes hospedados em um repositório de pacotes particulares ou outras opções para gerenciar dependências, consulte Como instalar dependências do Python.

Antes de começar

• Se a versão 5.0.0 do CNCF Kubernetes Provider for usada, siga as instruções documentada a seção Provedor do Kubernetes CNCF.

• A configuração de afinidade de pod não está disponível no Cloud Composer 2. Se você quiser usar a afinidade de pods, usar os operadores do GKE para iniciar pods em um cluster diferente.

Sobre o KubernetesPodOperator no Cloud Composer 2

Nesta seção, descrevemos como o KubernetesPodOperator funciona no Cloud Composer 2.

Uso de recursos

No Cloud Composer 2, o cluster do ambiente é escalonado automaticamente. Cargas de trabalho extras executadas usando KubernetesPodOperator com escalonamento independente do seu ambiente.

Seu ambiente não é afetado pelo aumento da demanda de recursos, mas o cluster do ambiente aumenta ou diminui dependendo da demanda de recursos.

O preço das cargas de trabalho extras executadas nos o cluster do seu ambiente segue a Modelo de preços do Cloud Composer 2 e usa SKUs de computação do Cloud Composer.

O Cloud Composer 2 usa clusters do Autopilot, que introduzem o conceito de classes de computação:

• O Cloud Composer é compatível apenas com a classe de computação general-purpose.

• Por padrão, se nenhuma classe for selecionada, a classe general-purpose será assumido quando você cria pods usando KubernetesPodOperator.

• Cada classe está associada a propriedades e limites de recursos específicos, Você pode ler sobre eles em Documentação do Autopilot. Para exemplo, os pods executados na classe general-purpose podem usar até 110 GiB de memória.

Acesso aos recursos do projeto

O Cloud Composer 2 usa clusters do GKE com a federação de identidade da carga de trabalho para o GKE. Pods em execução na composer-user-workloads do Google Cloud pode acessar os recursos do Google Cloud no seu projeto configuração adicional. A conta de serviço do seu ambiente é usada para acessar esses recursos.

Se você quiser usar um namespace personalizado, as contas de serviço do Kubernetes associadas a ele precisam ser mapeadas para contas de serviço do Google Cloud, para permitir a autorização de identidade do serviço para solicitações de APIs do Google e outros serviços. Se você executar pods em um namespace personalizado no cluster do seu ambiente, as vinculações do IAM entre o Kubernetes e as contas de serviço do Google Cloud não serão criadas, e esses pods não poderão acessar os recursos do seu projeto do Google Cloud.

Se você usa um namespace personalizado e quer que seus pods tenham acesso aos recursos do Google Cloud, siga as orientações na federação de identidade da carga de trabalho do GKE e configure as vinculações para um namespace personalizado:

1. Crie um namespace separado no cluster do ambiente.
2. Criar uma vinculação entre a conta de serviço do Kubernetes do namespace personalizado e a conta de serviço do seu ambiente.
3. Adicione a anotação da conta de serviço do seu ambiente à conta de serviço do Kubernetes.
4. Ao usar o KubernetesPodOperator, especifique o namespace e a conta de serviço do Kubernetes nos parâmetros namespace e service_account_name.

Observação: o servidor de metadados do GKE leva alguns segundos para começar a aceitar solicitações em um pod recém-criado. Portanto, as tentativas usar a federação de identidade da carga de trabalho para o GKE nos primeiros segundos do a vida útil do pod pode falhar. Tentar novamente a chamada resolverá o problema. Para mais informações sobre essa limitação, consulte Restrições da federação de identidade da carga de trabalho para o GKE.

Configuração mínima

Para criar um KubernetesPodOperator, somente o name e o image do pod são usados. Os parâmetros task_id são obrigatórios. O /home/airflow/composer_kube_config contém credenciais para autenticação no GKE.

kubernetes_min_pod = KubernetesPodOperator(
    # The ID specified for the task.
    task_id="pod-ex-minimum",
    # Name of task you want to run, used to generate Pod ID.
    name="pod-ex-minimum",
    # Entrypoint of the container, if not specified the Docker container's
    # entrypoint is used. The cmds parameter is templated.
    cmds=["echo"],
    # The namespace to run within Kubernetes. In Composer 2 environments
    # after December 2022, the default namespace is
    # `composer-user-workloads`. Always use the
    # `composer-user-workloads` namespace with Composer 3.
    namespace="composer-user-workloads",
    # Docker image specified. Defaults to hub.docker.com, but any fully
    # qualified URLs will point to a custom repository. Supports private
    # gcr.io images if the Composer Environment is under the same
    # project-id as the gcr.io images and the service account that Composer
    # uses has permission to access the Google Container Registry
    # (the default service account has permission)
    image="gcr.io/gcp-runtimes/ubuntu_20_0_4",
    # Specifies path to kubernetes config. The config_file is templated.
    config_file="/home/airflow/composer_kube_config",
    # Identifier of connection that should be used
    kubernetes_conn_id="kubernetes_default",
)

Configurações avançadas

Este exemplo mostra outros parâmetros que você pode configurar no KubernetesPodOperator.

Para mais informações sobre parâmetros, consulte a referência do Airflow para KubernetesPodOperator. Para informações sobre como usar secrets e ConfigMaps, consulte Usar Secrets e ConfigMaps do Kubernetes. Para informações sobre o uso de modelos Jinja com o KubernetesPodOperator, consulte Use modelos Jinja.

kubernetes_full_pod = KubernetesPodOperator(
    task_id="ex-all-configs",
    name="pi",
    namespace="composer-user-workloads",
    image="perl:5.34.0",
    # Entrypoint of the container, if not specified the Docker container's
    # entrypoint is used. The cmds parameter is templated.
    cmds=["perl"],
    # Arguments to the entrypoint. The Docker image's CMD is used if this
    # is not provided. The arguments parameter is templated.
    arguments=["-Mbignum=bpi", "-wle", "print bpi(2000)"],
    # The secrets to pass to Pod, the Pod will fail to create if the
    # secrets you specify in a Secret object do not exist in Kubernetes.
    secrets=[],
    # Labels to apply to the Pod.
    labels={"pod-label": "label-name"},
    # Timeout to start up the Pod, default is 600.
    startup_timeout_seconds=600,
    # The environment variables to be initialized in the container.
    # The env_vars parameter is templated.
    env_vars={"EXAMPLE_VAR": "/example/value"},
    # If true, logs stdout output of container. Defaults to True.
    get_logs=True,
    # Determines when to pull a fresh image, if 'IfNotPresent' will cause
    # the Kubelet to skip pulling an image if it already exists. If you
    # want to always pull a new image, set it to 'Always'.
    image_pull_policy="Always",
    # Annotations are non-identifying metadata you can attach to the Pod.
    # Can be a large range of data, and can include characters that are not
    # permitted by labels.
    annotations={"key1": "value1"},
    # Optional resource specifications for Pod, this will allow you to
    # set both cpu and memory limits and requirements.
    # Prior to Airflow 2.3 and the cncf providers package 5.0.0
    # resources were passed as a dictionary. This change was made in
    # https://github.com/apache/airflow/pull/27197
    # Additionally, "memory" and "cpu" were previously named
    # "limit_memory" and "limit_cpu"
    # resources={'limit_memory': "250M", 'limit_cpu': "100m"},
    container_resources=k8s_models.V1ResourceRequirements(
        requests={"cpu": "1000m", "memory": "10G", "ephemeral-storage": "10G"},
        limits={"cpu": "1000m", "memory": "10G", "ephemeral-storage": "10G"},
    ),
    # Specifies path to kubernetes config. The config_file is templated.
    config_file="/home/airflow/composer_kube_config",
    # If true, the content of /airflow/xcom/return.json from container will
    # also be pushed to an XCom when the container ends.
    do_xcom_push=False,
    # List of Volume objects to pass to the Pod.
    volumes=[],
    # List of VolumeMount objects to pass to the Pod.
    volume_mounts=[],
    # Identifier of connection that should be used
    kubernetes_conn_id="kubernetes_default",
    # Affinity determines which nodes the Pod can run on based on the
    # config. For more information see:
    # https://kubernetes.io/docs/concepts/configuration/assign-pod-node/
    # Pod affinity with the KubernetesPodOperator
    # is not supported with Composer 2
    # instead, create a cluster and use the GKEStartPodOperator
    # https://cloud.google.com/composer/docs/using-gke-operator
    affinity={},
)

Usar modelos Jinja

O Airflow oferece suporte a modelos Jinja em DAGs.

Você precisa declarar os parâmetros necessários do Airflow (task_id, name e image) com o operador. Como mostra o exemplo abaixo, Você pode criar modelos para todos os outros parâmetros com Jinja, incluindo cmds, arguments, env_vars e config_file.

O parâmetro env_vars no exemplo é definido a partir de uma variável do Airflow chamada my_value. O DAG de exemplo recebe o valor da variável de modelo vars no Airflow. O Airflow tem mais variáveis que dão acesso a diferentes tipos de informações. Por exemplo, é possível usar a variável de modelo conf para acessar valores de opções de configuração do Airflow. Para mais informações e a de variáveis disponíveis no Airflow, consulte Referência de modelos no Airflow na documentação do Google Cloud.

Sem alterar o DAG ou criar a variável env_vars, a tarefa ex-kube-templates no exemplo falha porque a variável não existe. Crie essa variável na interface do Airflow ou com a Google Cloud CLI:

IU do Airflow

1. Acesse a IU do Airflow.

2. Na barra de ferramentas, selecione Administrador > Variáveis.

3. Na página Listar variáveis, clique em Adicionar um novo registro.

4. Na página Adicionar variável, digite as seguintes informações:

   • Chave: my_value
   • Val: example_value

5. Clique em Save.

gcloud

Digite este comando:

gcloud composer environments run ENVIRONMENT \
    --location LOCATION \
    variables set -- \
    my_value example_value

Substitua:

• ENVIRONMENT pelo nome do ambiente
• LOCATION pela região em que o ambiente está localizado;

O exemplo a seguir demonstra como usar modelos Jinja com KubernetesPodOperator:

kubernetes_template_ex = KubernetesPodOperator(
    task_id="ex-kube-templates",
    name="ex-kube-templates",
    namespace="composer-user-workloads",
    image="bash",
    # All parameters below can be templated with Jinja. For more information
    # and the list of variables available in Airflow, see
    # the Airflow templates reference:
    # https://airflow.apache.org/docs/apache-airflow/stable/templates-ref.html
    # Entrypoint of the container, if not specified the Docker container's
    # entrypoint is used. The cmds parameter is templated.
    cmds=["echo"],
    # DS in Jinja is the execution date as YYYY-MM-DD, this Docker image
    # will echo the execution date. Arguments to the entrypoint. The Docker
    # image's CMD is used if this is not provided. The arguments parameter
    # is templated.
    arguments=["{{ ds }}"],
    # The var template variable allows you to access variables defined in
    # Airflow UI. In this case we are getting the value of my_value and
    # setting the environment variable `MY_VALUE`. The pod will fail if
    # `my_value` is not set in the Airflow UI. The env_vars parameter
    # is templated.
    env_vars={"MY_VALUE": "{{ var.value.my_value }}"},
    # Specifies path to Kubernetes config. The config_file is templated.
    config_file="/home/airflow/composer_kube_config",
    # Identifier of connection that should be used
    kubernetes_conn_id="kubernetes_default",
)

Usar Secrets e ConfigMaps do Kubernetes

Um secret do Kubernetes é um objeto que contém dados sensíveis. Um ambiente do Kubernetes ConfigMap é um objeto que contém dados não confidenciais em pares de chave-valor.

No Cloud Composer 2, é possível criar segredos e ConfigMaps usando a CLI, a API ou o Terraform do Google Cloud e acessá-los no KubernetesPodOperator.

Sobre os arquivos de configuração YAML

Quando você cria um secret ou ConfigMap do Kubernetes usando a Google Cloud CLI e API, você fornece um arquivo no formato YAML. Este arquivo deve seguir a mesma conforme usado pelos Secrets e ConfigMaps do Kubernetes. Documentação do Kubernetes fornece muitos exemplos de código de ConfigMaps e Secrets. Para começar, consulte a página Distribuição segura de credenciais usando secrets e ConfigMaps.

Como nos secrets do Kubernetes, use a representação base64 ao definir valores nos secrets.

Cuidado: os valores codificados em base64 não são criptografados de forma alguma, apenas escondidos. É possível restaurar o valor original da representação base64.

Para codificar um valor, use o comando a seguir, que é uma das muitas maneiras de conseguir um valor codificado em base64:

echo "postgresql+psycopg2://root:example-password@127.0.0.1:3306/example-db" -n | base64

Saída:

cG9zdGdyZXNxbCtwc3ljb3BnMjovL3Jvb3Q6ZXhhbXBsZS1wYXNzd29yZEAxMjcuMC4wLjE6MzMwNi9leGFtcGxlLWRiIC1uCg==

Os dois exemplos de arquivo YAML a seguir são usados em exemplos mais adiante neste guia. Exemplo de arquivo de configuração YAML para um secret do Kubernetes:

apiVersion: v1
kind: Secret
metadata:
  name: airflow-secrets
data:
  sql_alchemy_conn: cG9zdGdyZXNxbCtwc3ljb3BnMjovL3Jvb3Q6ZXhhbXBsZS1wYXNzd29yZEAxMjcuMC4wLjE6MzMwNi9leGFtcGxlLWRiIC1uCg==

Outro exemplo que demonstra como incluir arquivos. As mesmas informações exemplo, codifique o conteúdo de um arquivo (cat ./key.json | base64) e depois insira este valor no arquivo YAML:

apiVersion: v1
kind: Secret
metadata:
  name: service-account
data:
  service-account.json: |
    ewogICJ0eXBl...mdzZXJ2aWNlYWNjb3VudC5jb20iCn0K

Um exemplo de arquivo de configuração YAML para um ConfigMap. Não é necessário usar a base64 em ConfigMaps:

apiVersion: v1
kind: ConfigMap
metadata:
  name: example-configmap
data:
  example_key: example_value

Gerenciar secrets do Kubernetes

No Cloud Composer 2, crie secrets usando a Google Cloud CLI e kubectl:

1. Receba informações sobre o cluster do ambiente:

   1. Execute este comando:

      gcloud composer environments describe ENVIRONMENT \
          --location LOCATION \
          --format="value(config.gkeCluster)"
      

      Substitua:

      • ENVIRONMENT pelo nome do ambiente.
      • LOCATION é a região em que o ambiente do Cloud Composer está localizado.

      A saída desse comando usa o seguinte formato: projects/<your-project-id>/locations/<location-of-composer-env>/clusters/<your-cluster-id>.

   2. Para receber o ID do cluster do GKE, copie a saída depois de /clusters/ (termina em -gke).

2. Conecte-se ao cluster do GKE com o seguinte comando:

   gcloud container clusters get-credentials CLUSTER_ID \
     --project PROJECT \
     --region LOCATION
   

   Substitua:

   • CLUSTER_ID: o ID do cluster do ambiente.
   • PROJECT_ID: o ID do projeto.
   • LOCATION: a região em que o ambiente está localizado.

3. Crie secrets do Kubernetes:

   Observação: consulte Como gerenciar secrets usando o kubectl para comandos que editam e excluem secrets.

   Os comandos a seguir demonstram duas abordagens diferentes para criar Secrets do Kubernetes. A abordagem --from-literal usa pares de chave-valor. A abordagem --from-file usa conteúdos de arquivos.

   • Para criar um secret do Kubernetes fornecendo pares de chave-valor, execute o comando abaixo. Este exemplo cria um secret chamado airflow-secrets que tem um campo sql_alchemy_conn com o valor de test_value.

     kubectl create secret generic airflow-secrets \
       --from-literal sql_alchemy_conn=test_value -n composer-user-workloads
     

   • Para criar um secret do Kubernetes fornecendo o conteúdo do arquivo, execute o seguinte comando. Este exemplo cria um Secret chamado service-account que tem o campo service-account.json com o valor extraído do conteúdo de um arquivo ./key.json local.

     kubectl create secret generic service-account \
       --from-file service-account.json=./key.json -n composer-user-workloads
     

Usar os secrets do Kubernetes nos seus DAGs

Neste exemplo, mostramos duas maneiras de usar os secrets do Kubernetes: como um ambiente variável e como um volume montado pelo pod.

O primeiro secret, airflow-secrets, é definido como uma variável de ambiente do Kubernetes chamada SQL_CONN (em vez de uma variável de ambiente do Airflow ou do Cloud Composer).

O segundo secret, service-account, instala service-account.json, um arquivo com um token de conta de serviço, em /var/secrets/google.

Os objetos Secrets são assim:

secret_env = Secret(
    # Expose the secret as environment variable.
    deploy_type="env",
    # The name of the environment variable, since deploy_type is `env` rather
    # than `volume`.
    deploy_target="SQL_CONN",
    # Name of the Kubernetes Secret
    secret="airflow-secrets",
    # Key of a secret stored in this Secret object
    key="sql_alchemy_conn",
)
secret_volume = Secret(
    deploy_type="volume",
    # Path where we mount the secret as volume
    deploy_target="/var/secrets/google",
    # Name of Kubernetes Secret
    secret="service-account",
    # Key in the form of service account file name
    key="service-account.json",
)

O nome do primeiro secret do Kubernetes é definido na variável secret_env. Esse secret é chamado de airflow-secrets. O parâmetro deploy_type especifica que ele precisa ser exposto como uma variável de ambiente. O nome da variável de ambiente é SQL_CONN, conforme especificado no parâmetro deploy_target. Por fim, o da variável de ambiente SQL_CONN é definido como o valor do Tecla sql_alchemy_conn.

O nome do segundo secret do Kubernetes é definido na variável secret_volume. Esse secret é chamado de service-account. Ele é exposto como um volume, conforme especificado no parâmetro deploy_type. O caminho do arquivo a ser ativado, deploy_target, é /var/secrets/google. Por fim, o key do secret armazenado no deploy_target é service-account.json.

Veja como é a configuração do operador:

kubernetes_secret_vars_ex = KubernetesPodOperator(
    task_id="ex-kube-secrets",
    name="ex-kube-secrets",
    namespace="composer-user-workloads",
    image="gcr.io/gcp-runtimes/ubuntu_20_0_4",
    startup_timeout_seconds=300,
    # The secrets to pass to Pod, the Pod will fail to create if the
    # secrets you specify in a Secret object do not exist in Kubernetes.
    secrets=[secret_env, secret_volume],
    # Entrypoint of the container, if not specified the Docker container's
    # entrypoint is used. The cmds parameter is templated.
    cmds=["echo"],
    # env_vars allows you to specify environment variables for your
    # container to use. The env_vars parameter is templated.
    env_vars={
        "EXAMPLE_VAR": "/example/value",
        "GOOGLE_APPLICATION_CREDENTIALS": "/var/secrets/google/service-account.json",
    },
    # Specifies path to kubernetes config. The config_file is templated.
    config_file="/home/airflow/composer_kube_config",
    # Identifier of connection that should be used
    kubernetes_conn_id="kubernetes_default",
)

Informações sobre o provedor do Kubernetes da CNCF

KubernetesPodOperator é implementado apache-airflow-providers-cncf-kubernetes provedor.

Para conferir notas da versão detalhadas do provedor Kubernetes CNCF, consulte Site do provedor do Kubernetes CNCF.

Versão 6.0.0

Na versão 6.0.0 do pacote CNCF Kubernetes Provider, a conexão kubernetes_default é usada por padrão no KubernetesPodOperator.

Se você especificou uma conexão personalizada na versão 5.0.0, esta conexão personalizada ainda é usado pelo operador. Para voltar a usar o kubernetes_default talvez você queira ajustar seus DAGs adequadamente.

Versão 5.0.0

Esta versão apresenta algumas mudanças incompatíveis com versões anteriores em comparação com a versão 4.4.0. Os mais importantes estão relacionados a conexão kubernetes_default que não é usada na versão 5.0.0.

Importante: ajustes em DAGs que usam o KubernetesPodOperator são necessários se você estiver fazendo upgrade de uma versão do Cloud Composer que usa a versão 4.4.0 ou anterior do provedor para uma versão do Cloud Composer que usa a versão 5.0.0.

• A conexão kubernetes_default precisa ser modificada. O caminho de configuração do Kubernetes precisa ser definido como /home/airflow/composer_kube_config (conforme mostrado na figura a seguir). Como alternativa, config_file precisa ser adicionado à configuração KubernetesPodOperator (conforme mostrado exemplo de código a seguir).

Figura 1. Interface do Airflow, modificando a conexão kubernetes_default (clique para ampliar)

• Modifique o código de uma tarefa usando o KubernetesPodOperator da seguinte maneira:

KubernetesPodOperator(
  # config_file parameter - can be skipped if connection contains this setting
  config_file="/home/airflow/composer_kube_config",
  # definition of connection to be used by the operator
  kubernetes_conn_id='kubernetes_default',
  ...
)

Para mais informações sobre a Versão 5.0.0, consulte Notas de lançamento do provedor do Kubernetes CNCF.

Solução de problemas

Esta seção oferece conselhos para resolver problemas comuns do KubernetesPodOperator:

Ver registros

Ao resolver problemas, verifique os registros na seguinte ordem:

1. Registros de tarefas do Airflow:

   1. No console do Google Cloud, acesse a página Ambientes.

      Acessar "Ambientes"

   2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

   3. Acesse a guia DAGs.

   4. Clique no nome do DAG e, em seguida, na execução do DAG para conferir os detalhes e os registros.

2. Registros do programador do Airflow:

   1. Acesse a página Detalhes do ambiente.

   2. Acesse a guia Registros.

   3. Inspecione os registros do agendador do Airflow.

3. Registros do pod no console do Google Cloud, em cargas de trabalho do GKE. Esses registros incluem o arquivo YAML de definição, os eventos e os detalhes do pod.

Códigos de retorno diferentes de zero

Ao usar o KubernetesPodOperator (e o GKEStartPodOperator), o código de retorno do ponto de entrada do contêiner determina se a tarefa é considerada bem-sucedida ou não. Os códigos de retorno diferentes de zero indicam a falha.

Um padrão comum é executar um script de shell como o ponto de entrada do contêiner para agrupar várias operações dentro do contêiner.

Se você estiver escrevendo esse script, recomendamos que inclua os set -e na parte de cima do script para que os comandos com falha no script encerrar o script e propagar a falha para a instância de tarefa do Airflow.

Tempos limite do pod

O tempo limite padrão para o KubernetesPodOperator é de 120 segundos, o que pode resultar em tempos limite antes do download de imagens maiores. Você pode aumente o tempo limite mudando o parâmetro startup_timeout_seconds quando você cria o KubernetesPodOperator.

Quando um pod expira, o registro específico da tarefa fica disponível a interface do Airflow. Exemplo:

Executing <Task(KubernetesPodOperator): ex-all-configs> on 2018-07-23 19:06:58.133811
Running: ['bash', '-c', u'airflow run kubernetes-pod-example ex-all-configs 2018-07-23T19:06:58.133811 --job_id 726 --raw -sd DAGS_FOLDER/kubernetes_pod_operator_sample.py']
Event: pod-name-9a8e9d06 had an event of type Pending
...
...
Event: pod-name-9a8e9d06 had an event of type Pending
Traceback (most recent call last):
  File "/usr/local/bin/airflow", line 27, in <module>
    args.func(args)
  File "/usr/local/lib/python2.7/site-packages/airflow/bin/cli.py", line 392, in run
    pool=args.pool,
  File "/usr/local/lib/python2.7/site-packages/airflow/utils/db.py", line 50, in wrapper
    result = func(*args, **kwargs)
  File "/usr/local/lib/python2.7/site-packages/airflow/models.py", line 1492, in _run_raw_task
    result = task_copy.execute(context=context)
  File "/usr/local/lib/python2.7/site-packages/airflow/contrib/operators/kubernetes_pod_operator.py", line 123, in execute
    raise AirflowException('Pod Launching failed: {error}'.format(error=ex))
airflow.exceptions.AirflowException: Pod Launching failed: Pod took too long to start

Os tempos limite do pod também podem ocorrer quando a conta de serviço do Cloud Composer não tiver as permissões necessárias do IAM para executar a tarefa em questão. Para verificar isso, veja os erros no nível do pod usando o Painéis do GKE para conferir os registros da sua uma carga de trabalho específica ou o Cloud Logging.

Falha ao estabelecer uma nova conexão

O upgrade automático é ativado por padrão nos clusters do GKE. Se um pool de nós estiver em um cluster que está fazendo um upgrade, você poderá receber este erro:

<Task(KubernetesPodOperator): gke-upgrade> Failed to establish a new
connection: [Errno 111] Connection refused

Para verificar se o upgrade do cluster está sendo feito, no console do Google Cloud, acesse a página de clusters do Kubernetes e procure o ícone de carregamento ao lado do nome do cluster do ambiente.

A seguir

• Usar os operadores do GKE
• Conceitos básicos do Kubernetes