Visualizar DAGs, execuções de DAGs e tarefas

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página explica como receber informações sobre DAGs no seu ambiente.

Formas de conferir informações sobre DAGs

O Cloud Composer oferece várias maneiras de receber informações detalhadas sobre DAGs no seu ambiente:

  • A interface do DAG é uma seção da interface do console do Google Cloud para o Cloud Composer dedicada a visualizar e monitorar DAGs, execuções de DAG e tarefas individuais.
  • A interface do Airflow é a interface da Web integrada do Airflow.
  • A CLI do Airflow é a interface de linha de comando do Airflow. É possível receber informações sobre DAGs executando comandos da CLI do Airflow com gcloud.

Sobre a interface do DAG do Cloud Composer

A interface do DAG é uma seção da interface do console do Google Cloud para o Cloud Composer dedicada a visualizar e monitorar DAGs, execuções de DAG e tarefas individuais.

Na interface da DAG, é possível:

  • Confira uma lista de DAGs no seu ambiente, incluindo intervalos de programação, estados de DAG e descrições.

  • Pausar, retomar e ativar DAGs.

  • Confira os detalhes da execução do DAG, incluindo execuções bem-sucedidas, ativas e com falhas, o tempo desde a última execução concluída. Para cada DAG, é possível conferir o histórico de execuções e instâncias de tarefas associadas a esse DAG específico, incluindo registros de tarefas executadas.

  • Filtrar detalhes da execução do DAG. Por exemplo, você pode escolher um intervalo de tempo e criar consultas para selecionar as informações necessárias.

  • Confira informações detalhadas sobre DAGs e tarefas individuais. Isso inclui diagramas DAG visualizados, informações sobre as tarefas em um DAG, o código-fonte do DAG e informações extras sobre DAGs.

Antes de começar

  • Verifique se a conta tem uma função que pode acessar a interface do DAG e conferir os detalhes. Para mais informações, consulte Controle de acesso.

  • A interface do DAG exige a serialização do DAG ativada.

  • A interface da DAG é compatível com o Cloud Composer 1.17.8 e versões posteriores.

Conferir a lista de DAGs do ambiente

Console

A guia DAGs do ambiente mostra a lista de DAGs e os detalhes da execução de cada um deles.

Para conferir a lista de DAGs:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

É possível usar filtros para conferir os detalhes apenas de determinados DAGs ou de condições específicas. Exemplo:

  1. Selecione o campo Filtros.
  2. Na lista suspensa, selecione a propriedade DAG id.
  3. Especifique o identificador do DAG. Os resultados mostram detalhes apenas para o DAG selecionado.
  4. (Opcional) Para incluir mais DAGs, adicione operadores OR seguidos por IDs de DAG.
  5. (Opcional) Para filtrar outras condições, adicione outras propriedades no campo Filtros. Por exemplo, é possível filtrar DAGs com execuções falhadas especificando Failed runs:>0.

IU do Airflow

Para conferir a lista de DAGs na interface da Web do Airflow:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Na interface da Web do Airflow, na página DAGs, uma lista de DAGs do seu ambiente é exibida.

gcloud

Execute o comando dags list da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;

Conferir o histórico de execuções e tarefas de DAGs

Console

A guia Execuções na página Detalhes do DAG mostra o histórico de execuções de um DAG específico.

Para conferir o histórico de execuções de DAG:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

  3. Selecione um DAG.

  4. Na página Detalhes do DAG, acesse a guia Execuções.

  5. Selecione uma execução de DAG na lista para conferir os detalhes dela, como o estado das instâncias de tarefas, o número de tentativas e a duração da execução. É possível selecionar tarefas individuais para conferir os registros de instância de tarefa.

IU do Airflow

Para conferir a lista de DAGs na interface da Web do Airflow:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Na interface da Web do Airflow, no menu, selecione Browse > DAG Runs. A página DAG Runs mostra as execuções de DAG do seu ambiente. É possível acessar o link na coluna ID da execução para ter mais informações sobre as tarefas.

gcloud

Execute o comando dags list-runs da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • DAG_ID pelo nome do DAG.

Para receber mais informações sobre as instâncias de tarefas, execute os comandos tasks state e tasks states-for-dag-run da CLI do Airflow.

Para mais informações, consulte Acessar a CLI do Airflow e a referência da CLI do Airflow.

Visualizar diagramas de DAG

Console

A guia Diagrama na página Detalhes do DAG mostra a visualização de um DAG com dependências de tarefas.

Para conferir o diagrama de um DAG:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

  3. Selecione um DAG.

  4. Na página Detalhes do DAG, acesse a guia Diagrama.

  5. (Opcional) Para conferir mais informações sobre as tarefas, selecione cada uma delas no diagrama.

IU do Airflow

Para conferir o diagrama de um DAG na interface da Web do Airflow:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Na interface da Web do Airflow, na página DAGs, uma lista de DAGs do seu ambiente é exibida.

  5. Na coluna Links do DAG, siga o link Visualização de gráfico.

Conferir o código-fonte e outras informações sobre DAGs

Console

Você pode conferir o código-fonte dos DAGs e outras informações, como identificadores e links para arquivos de definição de DAG no bucket do ambiente.

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

  3. Selecione um DAG.

  4. Para conferir o código-fonte do DAG, acesse a guia Diagrama.

  5. Para conferir mais informações sobre o DAG, acesse a guia Origem.

IU do Airflow

Para conferir o diagrama de um DAG na interface da Web do Airflow:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Na interface da Web do Airflow, na página DAGs, clique no nome do DAG.

  5. Na página com os detalhes do DAG, navegue até as guias disponíveis para conferir mais informações sobre ele.

A seguir