Visualizar DAGs, execuções de DAGs e tarefas

Cloud Composer 1 | Cloud Composer 2

Nesta página, explicamos como receber informações sobre DAGs no seu ambiente.

Maneiras de ver informações sobre DAGs

O Cloud Composer oferece várias maneiras de acessar informações detalhadas sobre os DAGs no seu ambiente:

  • A interface do DAG é uma seção da interface do console do Google Cloud para o Cloud Composer dedicada à visualização e ao monitoramento de DAGs, execuções de DAGs e tarefas individuais.
  • A IU do Airflow é a interface da Web integrada do Airflow.
  • A CLI do Airflow é a interface de linha de comando do Airflow. Para mais informações sobre DAGs, execute comandos da CLI do Airflow com gcloud.

Sobre a interface do DAG do Cloud Composer

A interface do DAG é uma seção da interface do console do Google Cloud para o Cloud Composer dedicada à visualização e ao monitoramento de DAGs, execuções de DAGs e tarefas individuais.

Na interface do DAG, é possível:

  • Veja uma lista de DAGs no seu ambiente, incluindo intervalos de programação, estados do DAG e descrições.

  • Pause, retome e acione DAGs.

  • Veja os detalhes da execução do DAG, incluindo execuções bem-sucedidas, ativas e com falha, além do tempo desde a última execução concluída. Para cada DAG, é possível ver o histórico de execuções de DAG e instâncias de tarefas associadas a esse DAG específico, incluindo registros de tarefas executadas.

  • Filtrar detalhes da execução do DAG. Por exemplo, escolha um intervalo de tempo e crie consultas para selecionar as informações necessárias.

  • Veja informações detalhadas sobre DAGs e tarefas individuais. Isso inclui diagramas de DAG visualizados, informações sobre as tarefas em um DAG, código-fonte do DAG e informações extras sobre eles.

Antes de começar

  • Verifique se sua conta tem um papel que pode acessar a interface do DAG e visualizar os detalhes dele. Para mais informações, consulte Controle de acesso.

  • A interface do DAG requer a serialização do DAG ativada.

  • A interface do DAG é compatível com o Cloud Composer 1.17.8 e versões posteriores.

Ver a lista de DAGs para seu ambiente

Console

A guia DAGs do ambiente mostra a lista de DAGs com os detalhes de execução deles para cada DAG.

Para ver a lista de DAGs, faça o seguinte:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

É possível usar filtros para visualizar os detalhes apenas de determinados DAGs ou condições. Exemplo:

  1. Selecione o campo Filtros.
  2. Na lista suspensa, selecione a propriedade ID do DAG.
  3. Especifique o identificador do DAG. Os resultados mostram detalhes apenas do DAG selecionado.
  4. (Opcional) Para incluir mais DAGs, adicione os operadores OR seguidos pelos IDs dos DAGs.
  5. (Opcional) Para filtrar por outras condições, adicione outras propriedades no campo Filtros. Por exemplo, é possível filtrar DAGs com execuções com falha especificando Failed runs:>0.

IU do Airflow

Para ver a lista de DAGs na interface da Web do Airflow:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Uma lista de DAGs do seu ambiente é exibida na página DAGs da interface da Web do Airflow.

gcloud

No Airflow 1.10.*, execute o comando list_dags da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

No Airflow 2, execute o comando dags list da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;

Visualizar o histórico de execuções e tarefas de DAG

Console

A guia Execuções na página Detalhes do DAG mostra o histórico das execuções de DAGs em um DAG individual.

Para ver o histórico de execuções do DAG:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

  3. Selecione um DAG.

  4. Na página Detalhes do DAG, acesse a guia Execuções.

  5. Selecione uma execução de DAG na lista para visualizar os detalhes, como o estado das instâncias de tarefas para a execução desse DAG, o número de tentativas e a duração. Selecione tarefas individuais para ver os registros de instâncias de tarefas.

IU do Airflow

Para ver a lista de DAGs na interface da Web do Airflow:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Na interface da Web do Airflow, no menu, selecione Procurar > Execuções DAG. A página Execuções do DAG exibe as execuções do DAG do ambiente. Clique no link na coluna ID da execução para saber mais sobre as tarefas.

gcloud

No Airflow 1.10.*, execute o comando list_dag_runs da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

No Airflow 2, execute o comando dags list-runs da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • DAG_ID pelo nome do DAG.

Para mais informações sobre instâncias de tarefas, execute os comandos tasks state e tasks states-for-dag-run da CLI do Airflow.

Para mais informações, consulte Acessar a CLI do Airflow e a referência da CLI do Airflow para o Airflow 1 e o Airflow 2.

Ver diagramas do DAG

Console

A guia Diagrama na página Detalhes do DAG mostra a visualização de um DAG com dependências de tarefas.

Para ver o diagrama de um DAG:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

  3. Selecione um DAG.

  4. Na página Detalhes do DAG, acesse a guia Diagrama.

  5. (Opcional) Para ver mais informações sobre tarefas, selecione tarefas individuais no diagrama.

IU do Airflow

Para ver o diagrama de DAGs na interface da Web do Airflow:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Uma lista de DAGs do seu ambiente é exibida na página DAGs da interface da Web do Airflow.

  5. Para o DAG, na coluna Links, siga o link Visualização do gráfico.

Consultar o código-fonte do DAG e mais informações sobre eles

Console

É possível ver o código-fonte dos seus DAGs e outras informações, como identificadores de DAGs e links para arquivos de definição deles no bucket do ambiente.

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.

  3. Selecione um DAG.

  4. Para visualizar o código-fonte do DAG, acesse a guia Diagrama.

  5. Para mais informações sobre o DAG, acesse a guia Origem.

IU do Airflow

Para ver o diagrama de DAGs na interface da Web do Airflow:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Na interface da Web do Airflow, na página DAGs, clique no nome do seu DAG.

  5. Na página com os detalhes do DAG, navegue até as guias disponíveis para visualizar mais informações sobre ele.

A seguir