Como executar um DAG do Apache Airflow no Cloud Composer 3
Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Neste guia de início rápido, mostramos como criar um ambiente do Cloud Composer e executar um DAG do Apache Airflow no Cloud Composer 3.
Se você é novo no Airflow, consulte o tutorial de conceitos do Airflow na documentação do serviço para mais informações sobre conceitos, objetos e uso do Airflow.
Se você quiser usar a Google Cloud CLI, consulte Executar um DAG do Apache Airflow no Cloud Composer (Google Cloud CLI).
Se você quer criar um ambiente usando o Terraform, consulte Criar ambientes (Terraform).
Antes de começar
- Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Ative a API Cloud Composer.
-
Para conseguir as permissões necessárias a fim de concluir o guia de início rápido, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Para criar e gerenciar o ambiente do Cloud Composer, faça o seguinte:
-
Administrador de ambiente e de objetos do Storage (
roles/composer.environmentAndStorageObjectAdmin
) -
Usuário da conta de serviço (
roles/iam.serviceAccountUser
)
-
Administrador de ambiente e de objetos do Storage (
-
Para ver os registros:
Visualizador de registros (
roles/logging.viewer
)
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.
-
Para criar e gerenciar o ambiente do Cloud Composer, faça o seguinte:
Criar um ambiente
No console do Google Cloud, acesse a página Criar ambiente.
No campo Nome, use
example-environment
.Na lista suspensa Local, selecione uma região para o ambiente do Cloud Composer. Este guia usa a região
us-central1
.Para outras opções de configuração do ambiente, use os padrões fornecidos.
Clique em Criar e aguarde até que o ambiente seja criado.
Quando terminar, uma marca de seleção verde vai aparecer ao lado do nome do ambiente.
Criar um arquivo DAG
Um Airflow DAG é uma coleção de tarefas organizadas que você quer programar e executar. Os DAGs são definidos em arquivos Python padrão.
Neste guia, usamos um exemplo de DAG do Airflow definido no arquivo quickstart.py
.
O código Python nesse arquivo faz o seguinte:
- Cria um DAG,
composer_sample_dag
. Este DAG é executado todos os dias. - Executa uma tarefa,
print_dag_run_conf
. A tarefa imprime a configuração da execução do DAG usando o operador bash.
Salve uma cópia do arquivo quickstart.py
na sua máquina local:
Faça upload do arquivo DAG para o bucket do ambiente
Todo ambiente do Cloud Composer tem um bucket do Cloud Storage associado a ele. O Airflow no Cloud Composer programa apenas os DAGs localizados na pasta /dags
desse bucket.
Para programar seu DAG, faça upload de quickstart.py
da máquina local para a pasta /dags
do ambiente:
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do ambiente,
example-environment
. A página Detalhes do ambiente é aberta.Clique em Abrir pasta de DAGs. A página Detalhes do bucket é aberta.
Clique em Fazer upload de arquivos e selecione sua cópia de
quickstart.py
.Para fazer upload do arquivo, clique em Abrir.
Visualizar o DAG
Depois de fazer upload do arquivo DAG, o Airflow faz o seguinte:
- Analisa o arquivo DAG que você enviou. Pode levar alguns minutos para que o DAG fique disponível para o Airflow.
- Adiciona o DAG à lista de DAGs disponíveis.
- Executa o DAG de acordo com a programação que você forneceu no arquivo DAG.
Para verificar se o DAG foi processado sem erros e está disponível no Airflow, visualize-o na interface do DAG. A interface do DAG é a interface do Cloud Composer para visualizar as informações do DAG no console do Google Cloud. O Cloud Composer também fornece acesso à IU do Airflow, que é uma interface da Web nativa do Airflow.
Aguarde cerca de cinco minutos para dar tempo ao Airflow para processar o arquivo DAG enviado anteriormente e concluir a primeira execução do DAG (explicada mais tarde).
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do ambiente,
example-environment
. A página Detalhes do ambiente é aberta.Acesse a guia DAGs.
Verifique se o DAG
composer_quickstart
está presente na lista de DAGs.
Mais detalhes da execução do DAG
Uma única execução de um DAG é chamada de execução de DAG. O Airflow executa imediatamente uma execução do DAG para o DAG de exemplo porque a data de início no arquivo DAG está definida como ontem. Dessa forma, o Airflow alcança a programação do DAG especificado.
O DAG de exemplo contém uma tarefa, print_dag_run_conf
, que executa o comando echo
no console. Esse comando exibe metainformações sobre o DAG (identificador numérico de execução do DAG).
Na guia DAGs, clique em
composer_quickstart
. A guia Execuções do DAG será aberta.Na lista de execuções do DAG, clique na primeira entrada.
Os detalhes da execução do DAG são exibidos, detalhando as informações sobre as tarefas individuais do DAG de exemplo.
A seção Registros para execução do DAG lista os registros de todas as tarefas na execução do DAG. É possível conferir a saída do comando
echo
nos registros.
Limpar
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga as etapas a seguir.
Exclua os recursos usados neste tutorial:
Exclua o ambiente do Cloud Composer:
No console do Google Cloud, acesse a página Ambientes.
Selecione
example-environment
e clique em Excluir.Aguarde até o ambiente ser excluído.
Exclua o bucket do ambiente. A exclusão do ambiente do Cloud Composer não exclui o bucket.
No console do Google Cloud, acesse a página Armazenamento > Navegador.
Selecione o bucket do ambiente e clique em Excluir. Por exemplo, ele pode ter o nome
us-central1-example-environ-c1616fe8-bucket
.
Exclua o disco permanente da fila do Redis do seu ambiente. A exclusão do ambiente do Cloud Composer não remove o disco permanente.
No console do Google Cloud, acesse Compute Engine > Discos.
Selecione o disco permanente da fila do Redis do ambiente e clique em Excluir.
Por exemplo, esse disco pode ser nomeado como
gke-us-central1-exampl-pvc-b12055b6-c92c-43ff-9de9-10f2cc6fc0ee
. Os discos do Cloud Composer 1 sempre têm o tipoStandard persistent disk
e o tamanho de 2 GB.
A seguir