Como executar um DAG do Apache Airflow no Cloud Composer 3
Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Este guia de início rápido mostra como criar um ambiente do Cloud Composer e executar um DAG do Apache Airflow no Cloud Composer 3.
Se você é novo no Airflow, consulte a Tutorial de conceitos do Airflow no Apache Airflow documentação para mais informações sobre conceitos, objetos e e como usá-los.
Se você quiser usar a CLI do Google Cloud, consulte Executar um DAG do Apache Airflow no Cloud Composer (CLI do Google Cloud).
Se você quiser criar um ambiente usando o Terraform, consulte Criar ambientes (Terraform).
Antes de começar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Enable the Cloud Composer API.
-
Para conseguir as permissões necessárias a fim de concluir o guia de início rápido, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Para criar e gerenciar o ambiente do Cloud Composer:
-
Administrador de objetos do armazenamento e do ambiente (
roles/composer.environmentAndStorageObjectAdmin
) -
Usuário da conta de serviço (
roles/iam.serviceAccountUser
)
-
Administrador de objetos do armazenamento e do ambiente (
-
Para conferir os registros:
Visualizador de registros (
roles/logging.viewer
)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
-
Para criar e gerenciar o ambiente do Cloud Composer:
Criar um ambiente
No console do Google Cloud, acesse a página Criar ambiente.
No campo Nome, use
example-environment
.Na lista suspensa Local, selecione uma região para o ambiente do Cloud Composer. Este guia usa a região
us-central1
.Para outras opções de configuração do ambiente, use os padrões fornecidos.
Clique em Criar e aguarde até que o ambiente seja criado.
Quando terminar, uma marca de seleção verde vai aparecer ao lado do nome do ambiente.
Criar um arquivo DAG
Um DAG do Airflow é uma coleção de tarefas organizadas que você quer programar e executar. Os DAGs são definidos em arquivos Python padrão.
Este guia usa um exemplo de DAG do Airflow definido no arquivo quickstart.py
.
O código Python nesse arquivo faz o seguinte:
- Cria um DAG,
composer_sample_dag
. Este DAG é executado todos os dias. - Executa uma tarefa,
print_dag_run_conf
. A tarefa imprime a configuração da execução do DAG usando o operador bash.
Salve uma cópia do arquivo quickstart.py
na sua máquina local:
faça upload do arquivo DAG para o bucket do ambiente
Todo ambiente do Cloud Composer tem uma Cloud Storage
em um bucket associado a ela. O Airflow no Cloud Composer programa apenas
os DAGs que estão na pasta /dags
neste bucket.
Para programar o DAG, faça upload de quickstart.py
da máquina local para a
pasta /dags
do ambiente:
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do ambiente.
example-environment
: A página Detalhes do ambiente é aberta.Clique em Abrir pasta de DAGs. A página Detalhes do bucket é aberta.
Clique em Fazer upload de arquivos e selecione a cópia de
quickstart.py
.Para fazer upload do arquivo, clique em Abrir.
Visualizar o DAG
Depois de fazer upload do arquivo DAG, o Airflow faz o seguinte:
- Analisa o arquivo DAG enviado por upload. Pode levar alguns minutos para que o DAG ficar disponível para o Airflow.
- Adiciona o DAG à lista de DAGs disponíveis.
- Executa o DAG de acordo com a programação fornecida no arquivo DAG.
Verifique se o DAG foi processado sem erros e está disponível no Airflow na interface do DAG. A interface do DAG é a interface do Cloud Composer para visualização Informações do DAG no console do Google Cloud. O Cloud Composer também oferece acesso à interface do Airflow, que é uma interface da Web nativa do Airflow.
Aguarde cerca de cinco minutos para que o Airflow tenha tempo de processar o arquivo DAG que você enviou anteriormente e concluir a primeira execução do DAG (explicado mais tarde).
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do ambiente.
example-environment
: A página Detalhes do ambiente é aberta.Acesse a guia DAGs.
Verifique se o DAG
composer_quickstart
está presente na lista de DAGs.
Mais detalhes da execução do DAG
Uma única execução de um DAG é chamada de execução de DAG. O Airflow executa imediatamente uma execução de DAG para o exemplo, porque a data de início no arquivo DAG está definida como ontem. Dessa forma, o Airflow atualiza a programação do DAG especificado.
O DAG de exemplo contém uma tarefa, print_dag_run_conf
, que executa a echo
no console. Esse comando exibe metainformações sobre o DAG
(identificador numérico da execução do DAG).
Na guia DAGs, clique em
composer_quickstart
. Na guia Execuções do O DAG é aberto.Na lista de execuções de DAG, clique na primeira entrada.
Os detalhes da execução do DAG são mostrados, detalhando as informações sobre as tarefas individuais do DAG de exemplo.
A seção Registros para execução do DAG lista os registros de todas as tarefas na execução do DAG. É possível conferir a saída do comando
echo
nos registros.
Limpar
Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.
Exclua os recursos usados neste tutorial:
Exclua o ambiente do Cloud Composer:
No console do Google Cloud, acesse a página Ambientes.
Selecione
example-environment
e clique em Excluir.Aguarde até o ambiente ser excluído.
Exclua o bucket do ambiente. A exclusão do ambiente do Cloud Composer não exclui o bucket.
No console do Google Cloud, acesse Armazenamento > Navegador.
Selecione o bucket do ambiente e clique em Excluir. Por exemplo, ele pode ter o nome
us-central1-example-environ-c1616fe8-bucket
.
Exclua o disco permanente da fila do Redis do seu ambiente. A exclusão do ambiente do Cloud Composer não remove o disco permanente.
No console do Google Cloud, acesse Compute Engine > Discos.
Selecione o disco permanente da fila do Redis do ambiente e clique em Excluir.
Por exemplo, ele pode ter o nome
gke-us-central1-exampl-pvc-b12055b6-c92c-43ff-9de9-10f2cc6fc0ee
. Os discos do Cloud Composer 1 sempre têm o tipoStandard persistent disk
e o tamanho de 2 GB.
A seguir