Orquestrar DAGs do Airflow

Para solicitar suporte ou enviar feedback sobre esse recurso, envie um e-mail para bigquery-orchestration-tab-feedback@google.com.

Este documento descreve como orquestrar gráficos acíclicos direcionados (DAGs, na sigla em inglês) do Airflow no Cloud Composer 3 (pré-lançamento) na página Orquestração no BigQuery, incluindo como acionar DAGs manualmente e como acessar o histórico e os registros de execuções anteriores de DAGs.

Sobre os DAGs do Airflow no BigQuery

A página Orquestração no BigQuery oferece ferramentas para orquestrar DAGs do Airflow executados nos seus ambientes do Cloud Composer 3.

Os DAGs do Airflow orquestrados no BigQuery são executados em um ou mais ambientes do Cloud Composer no seu projeto. A página Orchestration no BigQuery combina informações de todos os DAGs do Airflow no seu projeto.

Durante uma execução de DAG, o Airflow programa e executa tarefas individuais que compõem um DAG em uma sequência definida pelo DAG. Na página Orquestração do BigQuery, é possível conferir os status de execuções de DAG anteriores, conferir registros detalhados de todas as execuções de DAG e todas as tarefas dessas execuções e conferir detalhes sobre os DAGs.

Para saber mais sobre os conceitos básicos do Airflow, como DAGs, execuções de DAG, tarefas ou operadores, consulte a página Conceitos básicos na documentação do Airflow.

Para saber mais sobre os ambientes do Cloud Composer, consulte a página Visão geral do Cloud Composer 3 na documentação do Cloud Composer.

Antes de começar

  1. Enable the Cloud Composer API.

    Enable the API

  2. Verifique se o projeto do Google Cloud tem pelo menos um ambiente do Cloud Composer 3 com pelo menos um arquivo DAG já enviado:

Permissões necessárias

Para receber as permissões necessárias para orquestrar DAGs do Airflow, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para orquestrar DAGs do Airflow. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para orquestrar DAGs do Airflow:

  • Para conferir os DAGs do Airflow e os detalhes deles: composers.dags.list, composer.environments.list
  • Para acionar e pausar DAGs do Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre o IAM do Cloud Composer 3, consulte Controle de acesso com o IAM na documentação do Cloud Composer.

Acionar um DAG manualmente

Quando você aciona manualmente um DAG do Airflow, ele é executado uma vez, independente da programação especificada para o DAG.

Para acionar manualmente um DAG do Airflow selecionado, siga estas etapas:

  1. No console do Google Cloud, acesse a página Orquestração.

    Acessar a página Orquestração

  2. Escolha uma destas opções:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Acionar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Acionar DAG.

Conferir os registros e detalhes da execução do DAG

Para conferir os detalhes de um DAG do Airflow selecionado, siga estas etapas:

  1. No console do Google Cloud, acesse a página Orquestração.

    Acessar a página Orquestração

  2. Clique no nome do DAG selecionado.

  3. Na página Detalhes do DAG, selecione a guia Detalhes.

  4. Para conferir as execuções de DAG anteriores, selecione a guia Execuções.

    1. Opcional: a guia Execuções mostra as execuções de DAG dos últimos 10 dias por padrão. Para filtrar as execuções de DAG por um período diferente, no menu suspenso 10 dias, selecione um período e clique em OK.

    2. Opcional: para mostrar outras colunas com detalhes da execução de DAG na lista de todas as execuções de DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

    3. Para conferir os detalhes e os registros de uma execução de DAG selecionada, selecione uma execução de DAG.

  5. Para conferir uma visualização do DAG com dependências de tarefas, selecione a guia Diagram.

    1. Para conferir os detalhes da tarefa, selecione uma no diagrama.

  6. Para conferir o código-fonte do DAG, selecione a guia Code.

  7. Opcional: para atualizar os dados exibidos, clique em Atualizar.

Mostrar todos os DAGs

Para conferir os DAGs do Airflow de todos os ambientes do Cloud Composer 3 no seu projeto do Google Cloud, siga estas etapas:

  1. No console do Google Cloud, acesse a página Orquestração.

    Acessar a página Orquestração

  2. Opcional: para mostrar outras colunas com detalhes do DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

Pausar um DAG

Para pausar um DAG do Airflow selecionado, siga estas etapas:

  1. No console do Google Cloud, acesse a página Orquestração.

    Acessar a página Orquestração

  2. Escolha uma destas opções:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Pausar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Pausar DAG.

Solução de problemas

Para instruções sobre como resolver problemas com DAGs do Airflow, consulte Solução de problemas com DAGs do Airflow na documentação do Cloud Composer.

A seguir