Agende DAGs do Airflow

Este documento descreve como agendar grafos acíclicos dirigidos (DAGs) do Airflow a partir do Cloud Composer 3 na página Agendamento no BigQuery, incluindo como acionar DAGs manualmente e como ver o histórico e os registos de execuções de DAGs anteriores.

Acerca da gestão de DAGs do Airflow no BigQuery

A página Agendamento no BigQuery oferece ferramentas para agendar DAGs do Airflow que são executados nos seus ambientes do Cloud Composer 3.

Os DAGs do Airflow que agenda no BigQuery são executados em um ou mais ambientes do Cloud Composer no seu projeto. A página Agendamento no BigQuery combina informações para todos os DAGs do Airflow no seu projeto.

Durante uma execução de DAG, o Airflow agenda e executa tarefas individuais que compõem um DAG numa sequência definida pelo DAG. Na página Agendamento no BigQuery, pode ver os estados das execuções de DAGs anteriores, explorar registos detalhados de todas as execuções de DAGs e todas as tarefas destas execuções de DAGs, bem como ver detalhes sobre os DAGs.

Nota: não pode gerir ambientes do Cloud Composer no BigQuery. Para gerir ambientes, por exemplo, para criar um ambiente, instalar dependências para os seus ficheiros DAG, carregar, eliminar ou alterar DAGs individuais, usa o Cloud Composer.

Para saber mais sobre os conceitos principais do Airflow, como DAGs do Airflow, execuções de DAGs, tarefas ou operadores, consulte a página Conceitos principais na documentação do Airflow.

Para saber mais sobre os ambientes do Cloud Composer, consulte a página Vista geral do Cloud Composer 3 na documentação do Cloud Composer.

Antes de começar

1. Enable the Cloud Composer API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Certifique-se de que o seu Google Cloud projeto tem, pelo menos, um ambiente do Cloud Composer 3 com, pelo menos, um ficheiro DAG já carregado:
• Para começar a usar os DAGs do Airflow, siga as instruções no guia Execute um DAG do Apache Airflow no Cloud Composer 3. Como parte deste guia, cria um ambiente do Cloud Composer 3 com a configuração predefinida, carrega um DAG para o mesmo e verifica se o Airflow o executa.
• Para obter instruções detalhadas sobre como carregar um DAG do Airflow para um ambiente do Cloud Composer 3, consulte o artigo Adicione e atualize DAGs.
• Para obter instruções detalhadas sobre como criar um ambiente do Cloud Composer 3, consulte o artigo Crie ambientes do Cloud Composer.

Autorizações necessárias

Para receber as autorizações de que precisa para agendar DAGs do Airflow, peça ao seu administrador para lhe conceder as seguintes funções do IAM no projeto:

• Para ver os DAGs do Airflow e os respetivos detalhes: Visualizador de objetos de armazenamento e ambiente (roles/composer.environmentAndStorageObjectViewer)
• Para acionar e pausar DAGs do Airflow: Utilizador do objeto de ambiente e armazenamento (roles/composer.environmentAndStorageObjectUser)

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Estas funções predefinidas contêm as autorizações necessárias para agendar DAGs do Airflow. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para agendar DAGs do Airflow:

• Para ver os DAGs do Airflow e os respetivos detalhes: composers.dags.list, composer.environments.list
• Para acionar e pausar DAGs do Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Para mais informações sobre a IAM do Cloud Composer 3, consulte o artigo Controlo de acesso com a IAM na documentação do Cloud Composer.

Acione manualmente um DAG do Airflow

Quando aciona manualmente um DAG do Airflow, o Airflow executa o DAG uma vez, independentemente do horário especificado para o DAG.

Para acionar manualmente um DAG do Airflow selecionado, siga estes passos:

1. Na Google Cloud consola, aceda à página Agendamento.

   Aceda à página Agendamento

2. Execute uma das seguintes ações:

   • Clique no nome do DAG selecionado e, de seguida, na página Detalhes do DAG, clique em Acionar DAG.

   • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e, de seguida, clique em Acionar DAG.

Veja os registos e os detalhes de execução do DAG do Airflow

Para ver os detalhes de um DAG do Airflow selecionado, siga estes passos:

1. Na Google Cloud consola, aceda à página Agendamento.

   Aceda à página Agendamento

2. Clique no nome do DAG selecionado.

3. Na página Detalhes do DAG, selecione o separador Detalhes.

4. Para ver as execuções de DAG anteriores, selecione o separador Execuções.

   1. Opcional: o separador Execuções apresenta as execuções de DAG dos últimos 10 dias por predefinição. Para filtrar execuções de DAG por um intervalo de tempo diferente, no menu pendente 10 dias, selecione um intervalo de tempo e, de seguida, clique em OK.

   2. Opcional: para apresentar colunas adicionais com detalhes da execução do DAG na lista de todas as execuções do DAG, clique em Opções de apresentação de colunas e, de seguida, selecione colunas e clique em OK.

   3. Para ver detalhes e registos de uma execução de DAG selecionada, selecione uma execução de DAG.

5. Para ver uma visualização do DAG com dependências de tarefas, selecione o separador Diagrama.

   1. Para ver os detalhes de uma tarefa, selecione-a no diagrama.

6. Para ver o código-fonte do DAG, selecione o separador Código.

7. Opcional: para atualizar os dados apresentados, clique em Atualizar.

Veja todos os DAGs do Airflow

Para ver os DAGs do Airflow de todos os ambientes do Cloud Composer 3 no seu Google Cloud projeto, siga estes passos:

1. Na Google Cloud consola, aceda à página Agendamento.

   Aceda à página Agendamento

2. Opcional: para apresentar colunas adicionais com detalhes do DAG, clique em Opções de apresentação de colunas, selecione as colunas e clique em OK.

Pause um DAG do Airflow

Para pausar um DAG do Airflow selecionado, siga estes passos:

1. Na Google Cloud consola, aceda à página Agendamento.

   Aceda à página Agendamento

2. Execute uma das seguintes ações:

   • Clique no nome do DAG selecionado e, de seguida, na página Detalhes do DAG, clique em Pausar DAG.

   • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e, de seguida, clique em Pausar DAG.

Resolução de problemas

Para ver instruções sobre como resolver problemas de DAGs do Airflow, consulte o artigo Resolva problemas de DAGs do Airflow na documentação do Cloud Composer.

O que se segue?

• Saiba como escrever DAGs do Airflow.
• Saiba mais sobre o Airflow no Cloud Composer 3.