Veja DAGs, execuções de DAGs e tarefas

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página explica como obter informações sobre DAGs no seu ambiente.

Formas de ver informações sobre DAGs

O Cloud Composer oferece várias formas de obter informações detalhadas sobre os DAGs no seu ambiente:

  • A IU do DAG é uma secção da Google Cloud interface da consola para o Cloud Composer dedicada à visualização e monitorização de DAGs, execuções de DAGs e tarefas individuais.
  • A IU do Airflow é a interface Web integrada do Airflow.
  • A CLI do Airflow é a interface de linhas de comando do Airflow. Pode obter informações sobre DAGs executando comandos da CLI do Airflow com gcloud.

Acerca da IU do DAG do Cloud Composer

A IU do DAG é uma secção da Google Cloud interface da consola para o Cloud Composer dedicada à visualização e monitorização de DAGs, execuções de DAGs e tarefas individuais.

Na IU do DAG, pode:

  • Veja uma lista de DAGs no seu ambiente, incluindo intervalos de agendamento, estados de DAGs e descrições.

  • Pausar, retomar e acionar DAGs.

  • Veja os detalhes de execução do DAG, incluindo execuções bem-sucedidas, ativas e com falhas, bem como o tempo desde a última execução concluída. Para cada DAG, pode ver o histórico de execuções de DAGs e instâncias de tarefas associadas a este DAG específico, incluindo registos de tarefas executadas.

  • Filtre os detalhes da execução do DAG. Por exemplo, pode escolher um intervalo de tempo e criar consultas para selecionar as informações de que precisa.

  • Veja informações detalhadas sobre DAGs e tarefas individuais. Isto inclui diagramas DAG visualizados, informações sobre as tarefas num DAG, código fonte do DAG e informações adicionais sobre DAGs.

Antes de começar

  • Certifique-se de que a sua conta tem uma função que pode aceder à IU do DAG e ver os detalhes do DAG. Para mais informações, consulte o artigo Controlo de acesso.

  • A IU do DAG requer a serialização do DAG ativada.

  • A IU de DAG é suportada no Cloud Composer 1.17.8 e versões posteriores.

Veja a lista de DAGs do seu ambiente

Consola

O separador DAGs do seu ambiente mostra a lista de DAGs, juntamente com os detalhes de execução de DAGs para cada DAG.

Para ver a lista de DAGs:

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Na coluna Lista de DAGs, siga o link DAGs para o seu ambiente.

Pode usar filtros para ver os detalhes apenas de determinados DAGs ou de determinadas condições. Por exemplo:

  1. Selecione o campo Filtros.
  2. Na lista pendente, selecione a propriedade ID do DAG.
  3. Especifique o identificador do DAG. Os resultados mostram detalhes apenas para o DAG selecionado.
  4. (Opcional) Para incluir mais DAGs, adicione operadores OR seguidos dos IDs dos DAGs.
  5. (Opcional) Para filtrar por outras condições, adicione outras propriedades no campo Filtros. Por exemplo, pode filtrar DAGs com execuções com falhas especificando Failed runs:>0.

IU do Airflow

Para ver a lista de DAGs na interface Web do Airflow:

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Na coluna Servidor Web do Airflow, siga o link do Airflow para o seu ambiente.

  3. Inicie sessão com a Conta Google que tem as autorizações adequadas.

  4. Na interface Web do Airflow, na página DAGs, é apresentada uma lista de DAGs para o seu ambiente.

gcloud

No Airflow 1.10.*, execute o list_dagscomando da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

No Airflow 2, execute o comando da CLI do Airflow dags list:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Substituir:

  • ENVIRONMENT_NAME com o nome do ambiente.
  • LOCATION com a região onde o ambiente está localizado.

Veja o histórico de execuções e tarefas de DAGs

Consola

O separador Execuções na página Detalhes do DAG mostra o histórico de execuções do DAG para um DAG individual.

Para ver o histórico de execuções de DAGs:

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Na coluna Lista de DAGs, siga o link DAGs para o seu ambiente.

  3. Selecione um DAG.

  4. Na página Detalhes do DAG, aceda ao separador Execuções.

  5. Selecione uma execução de DAG na lista para ver os detalhes da execução de DAG, como o estado das instâncias de tarefas para esta execução de DAG, o número de tentativas e a duração da execução. Pode selecionar tarefas individuais para ver os registos de instâncias de tarefas.

IU do Airflow

Para ver a lista de DAGs na interface Web do Airflow:

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Na coluna Servidor Web do Airflow, siga o link do Airflow para o seu ambiente.

  3. Inicie sessão com a Conta Google que tem as autorizações adequadas.

  4. Na interface Web do Airflow, no menu, selecione Procurar > Execuções de DAGs. A página Execuções de DAG apresenta as execuções de DAG para o seu ambiente. Pode seguir o link na coluna ID da execução para obter informações adicionais sobre as tarefas.

gcloud

No Airflow 1.10.*, execute o list_dag_runscomando da CLI do Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

No Airflow 2, execute o comando da CLI do Airflow dags list-runs:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Substituir:

  • ENVIRONMENT_NAME com o nome do ambiente.
  • LOCATION com a região onde o ambiente está localizado.
  • DAG_ID com o nome do DAG.

Pode obter informações adicionais sobre instâncias de tarefas executando os comandos da CLI do Airflow tasks state e tasks states-for-dag-run.

Para mais informações, consulte os artigos Aceda à CLI do Airflow e a referência da CLI do Airflow para o Airflow 1 e o Airflow 2.

Veja diagramas DAG

Consola

O separador Diagrama na página Detalhes do DAG mostra a visualização de um DAG com dependências de tarefas.

Para ver o diagrama de um DAG:

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Na coluna Lista de DAGs, siga o link DAGs para o seu ambiente.

  3. Selecione um DAG.

  4. Na página Detalhes do DAG, aceda ao separador Diagrama.

  5. (Opcional) Para ver informações adicionais sobre tarefas, selecione tarefas individuais no diagrama.

IU do Airflow

Para ver o diagrama de um DAG na interface Web do Airflow:

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Na coluna Servidor Web do Airflow, siga o link do Airflow para o seu ambiente.

  3. Inicie sessão com a Conta Google que tem as autorizações adequadas.

  4. Na interface Web do Airflow, na página DAGs, é apresentada uma lista de DAGs para o seu ambiente.

  5. Para o seu DAG, na coluna Links, siga o link Vista de gráfico.

Veja o código-fonte do DAG e informações adicionais sobre DAGs

Consola

Pode ver o código fonte dos seus DAGs e informações adicionais, como identificadores de DAGs e links para ficheiros de definição de DAGs no contentor do ambiente.

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Na coluna Lista de DAGs, siga o link DAGs para o seu ambiente.

  3. Selecione um DAG.

  4. Para ver o código-fonte do DAG, aceda ao separador Diagrama.

  5. Para ver informações adicionais sobre o DAG, aceda ao separador Origem.

IU do Airflow

Para ver o diagrama de um DAG na interface Web do Airflow:

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Na coluna Servidor Web do Airflow, siga o link do Airflow para o seu ambiente.

  3. Inicie sessão com a Conta Google que tem as autorizações adequadas.

  4. Na interface Web do Airflow, na página DAGs, clique no nome do seu DAG.

  5. Na página com os detalhes do DAG, navegue pelos separadores disponíveis para ver informações adicionais sobre o DAG.

O que se segue?