Ver DAGs, execuções de DAGs e tarefas

Cloud Composer 1 | Cloud Composer 2

Esta página explica como receber informações sobre DAGs no seu ambiente.

Maneiras de visualizar informações sobre DAGs

O Cloud Composer fornece várias maneiras de receber informações detalhadas sobre DAGs no seu ambiente:

  • A IU do DAG é uma seção da interface do Console do Google Cloud para o Cloud Composer dedicada a visualizar e monitorar DAGs, execuções de DAG e tarefas individuais.
  • A IU do Airflow é a interface da Web integrada do Airflow.
  • A CLI do Airflow é a interface de linha de comando do Airflow. É possível receber informações sobre DAGs executando comandos da CLI do Airflow com gcloud.

Sobre a IU do DAG do Cloud Composer

A IU do DAG é uma seção da interface do Console do Google Cloud para o Cloud Composer dedicada a visualizar e monitorar DAGs, execuções de DAG e tarefas individuais.

Na IU do DAG, é possível:

  • Veja uma lista de DAGs no seu ambiente, incluindo intervalos de programação, estados e descrições.

  • Acionar DAGs.

  • Ver detalhes da execução do DAG, incluindo execuções bem-sucedidas, ativas e com falha, tempo desde a última execução concluída. Para cada DAG, é possível ver o histórico de execuções e instâncias de tarefas associadas a esse DAG, incluindo registros para tarefas executadas.

  • Filtrar detalhes de execução do DAG. Por exemplo, é possível escolher um intervalo de tempo e criar consultas para selecionar as informações necessárias.

  • Veja informações detalhadas sobre DAGs e tarefas individuais. Isso inclui diagramas de DAG visualizados, informações sobre as tarefas em um DAG, código-fonte do DAG e informações extras sobre DAGs.

Antes de começar

Ver a lista de DAGs para seu ambiente

Console

A guia DAGs do seu ambiente mostra a lista de DAGs junto com os detalhes de execução para cada um deles.

Para ver a lista de DAGs, faça o seguinte:

  1. No Console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Selecione um ambiente para ver os detalhes.

  3. Na página Detalhes do ambiente, acesse a guia DAGs.

É possível usar filtros para visualizar os detalhes somente de determinados DAGs ou determinadas condições. Exemplo:

  1. Selecione o campo Filters.
  2. Na lista suspensa, selecione a propriedade DAG id.
  3. Especifique o identificador do DAG. Os resultados mostram detalhes apenas para o DAG selecionado.
  4. (Opcional) Para incluir mais DAGs, adicione os operadores OR seguidos pelos IDs dos DAGs.
  5. (Opcional) Para filtrar outras condições, adicione outras propriedades no campo Filtros. Por exemplo, é possível filtrar os DAGs com execuções com falha especificando Failed runs:>0.

IU do Airflow

Veja a lista de DAGs na interface da Web do Airflow:

  1. No Console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Na interface da Web do Airflow, na página DAGs, é exibida uma lista de DAGs para o ambiente.

gcloud

No Airflow 1.10.*, execute o comando list_dags da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

No Airflow 2, execute o comando dags list da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;

Ver o histórico de tarefas e execuções do DAG

Console

A guia Execuções na página Detalhes do DAG mostra o histórico de execuções de DAG para um DAG individual.

Para ver o histórico das execuções de DAG:

  1. No Console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Selecione um ambiente para ver os detalhes.

  3. Na página Detalhes do ambiente, acesse a guia DAGs.

  4. Selecione um DAG.

  5. Na página Detalhes do DAG, acesse a guia Execuções.

  6. Selecione uma execução do DAG na lista para ver os detalhes, como o estado das instâncias de tarefas, o número de tentativas e a duração da execução. É possível selecionar tarefas individuais para visualizar registros da instância de tarefas.

IU do Airflow

Veja a lista de DAGs na interface da Web do Airflow:

  1. No Console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. No menu da interface da Web do Airflow, selecione Browse > DAG Runs. A página Execuções DAG exibe as execuções do DAG para o ambiente. Acesse o link na coluna ID da execução para ver mais informações sobre as tarefas.

gcloud

No Airflow 1.10.*, execute o comando list_dag_runs da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

No Airflow 2, execute o comando dags list-runs da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • DAG_ID pelo nome do DAG.

É possível ver mais informações sobre instâncias de tarefas executando os comandos tasks state e tasks states-for-dag-run da CLI do Airflow.

Para mais informações, consulte Acessar a CLI do Airflow e a referência da CLI do Airflow para o Airflow 1 e o Airflow 2.

Ver diagramas de DAG

Console

A guia Diagrama na página Detalhes do DAG mostra a visualização de um DAG com dependências de tarefa.

Para ver o diagrama de um DAG:

  1. No Console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Selecione um ambiente para ver os detalhes.

  3. Na página Detalhes do ambiente, acesse a guia DAGs.

  4. Selecione um DAG.

  5. Na página Detalhes do DAG, acesse a guia Diagrama.

  6. (Opcional) Para ver mais informações sobre tarefas, selecione tarefas específicas no diagrama.

IU do Airflow

Veja o diagrama de DAGs na interface da Web do Airflow:

  1. No Console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Na interface da Web do Airflow, na página DAGs, é exibida uma lista de DAGs para o ambiente.

  5. Para seu DAG, na coluna Links, acesse o link Graph View.

Ver o código-fonte do DAG e informações adicionais sobre DAGs

Console

É possível visualizar o código-fonte dos DAGs e outras informações, como identificadores do DAG e links para arquivos de definição do DAG no bucket do ambiente.

  1. No Console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Selecione um ambiente para ver os detalhes.

  3. Na página Detalhes do ambiente, acesse a guia DAGs.

  4. Selecione um DAG.

  5. Para ver o código-fonte do DAG, acesse a guia Diagrama.

  6. Para ver mais informações sobre o DAG, acesse a guia Origem.

IU do Airflow

Veja o diagrama de DAGs na interface da Web do Airflow:

  1. No Console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.

  3. Faça login com a Conta do Google que tem as permissões apropriadas.

  4. Na interface da Web do Airflow, na página DAGs, clique no nome do DAG.

  5. Na página com detalhes do DAG, navegue até as guias disponíveis para visualizar mais informações sobre ele.

A seguir