Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Esta página descreve como resolver problemas com tarefas executadas pelo KubernetesExecutor e oferece soluções para problemas comuns.
Abordagem geral para a solução de problemas do KubernetesExecutor
Para resolver problemas com uma tarefa executada com KubernetesExecutor, faça o seguinte: as seguintes ações na ordem listada:
Verifique os registros da tarefa na interface do DAG ou na interface do Airflow.
Verifique os registros do programador no console do Google Cloud:
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.
Acesse a guia Logs e verifique a seção Logs do Airflow > Programador.
Para um determinado intervalo de tempo, inspecione o pod de worker KubernetesExecutor que foi executar a tarefa. Se o pod não existir mais, pule esta etapa. O pod tem o prefixo
airflow-k8s-worker
e um DAG ou um nome de tarefa no nome. Procure por problemas relatados, como uma tarefa com falha ou a tarefa que está sendo não programáveis.
Cenários comuns de solução de problemas do KubernetesExecutor
Esta seção lista cenários de problemas comuns que você pode encontrar com KubernetesExecutor.
A tarefa chega ao estado Running
e falha durante a execução.
Sintomas:
- Há registros da tarefa na interface do Airflow e na guia Logs na seção Workers.
Solução: os registros de tarefas indicam o problema.
A instância de tarefa chega ao estado queued
e é marcada como UP_FOR_RETRY
ou FAILED
depois de algum tempo.
Sintomas:
- Não há registros para a tarefa na interface do Airflow e na guia Logs no Seção Workers.
- Há registros na guia Registros, na seção Programador, com uma
Mensagem de que a tarefa está marcada como
UP_FOR_RETRY
ouFAILED
. - O pod
airflow-k8s-worker-*.*
com o nome de DAG/tarefa dentro do nome do pod tem o estadoFailed
/Pending
ou está ausente.
Solução:
- Inspecionar os registros do programador para encontrar detalhes do problema.
Possíveis causas:
Se os registros do agendador contiverem a mensagem
Adopted tasks were still pending after...
seguida pela instância de tarefa impressa, verifique se o CeleryKubernetesExecutor está ativado no seu ambiente.
A instância da tarefa chega ao estado Queued
e é imediatamente marcada como UP_FOR_RETRY
ou FAILED
Sintomas:
- Não há registros da tarefa na interface do Airflow e na guia Logs na seção Workers.
- Os registros do programador na guia Registros na seção Programador
a mensagem
Pod creation failed with reason ... Failing task
e a Mensagem de que a tarefa está marcada comoUP_FOR_RETRY
ouFAILED
.
Solução:
- Verifique os registros do programador para saber a resposta exata e o motivo da falha.
Possível motivo:
Se a mensagem de erro for quantities must match the regular expression ...
:
é provável que o problema seja causado por um valor personalizado definido para k8s.
recursos (solicitações/limites) de pods de worker de tarefas.