Nesta página, mostramos como criar um ambiente do Cloud Composer no Console do Google Cloud e executar um DAG simples do Apache Airflow, também chamado de fluxo de trabalho.
Antes de começar
-
Faça login na sua conta do Google.
Se você ainda não tiver uma, inscreva-se.
-
No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.
- Ative a API Cloud Composer.
Como criar um ambiente
Console
No Console do Cloud, acesse a página Criar ambiente.
No campo Nome, use
example-environment
.Na lista suspensa Local, selecione uma região para o ambiente do Cloud Composer. Consulte Regiões disponíveis para informações sobre como selecionar uma região.
Para outras opções de configuração do ambiente, use os padrões fornecidos.
Para criar o ambiente, clique em Criar.
Aguarde até que a criação do ambiente seja concluída. Quando terminar, a marca de seleção verde será exibida à esquerda do nome do ambiente.
gcloud
gcloud composer environments create example-environment \ --location LOCATION
Substitua LOCATION
pela região do Compute Engine em que o ambiente está localizado. Verifique se o local especificado é aquele em que o Composer está disponível.
Terraform
Para configurar esse ambiente usando o Terraform, adicione o seguinte bloqueio de recursos à configuração do Terraform e execute terraform apply
.
resource "google_composer_environment" "composer-quickstart" { name = "example-environment" region = "LOCATION" }
Substitua LOCATION
pela região do Compute Engine em que o ambiente está localizado. Verifique se o local especificado é aquele em que o Composer está disponível.
Como ver os detalhes do ambiente
Depois que a criação do ambiente for concluída, será possível visualizar as informações de implantação do ambiente, como a versão do Cloud Composer, o URL da interface da Web Airflow e a pasta DAGs no Cloud Storage.
Para visualizar informações de implantação:
No Console do Cloud, acesse a página "Ambientes".
Para visualizar a página Detalhes do ambiente, clique em
example-environment
.
Como criar um DAG
Um Airflow DAG é uma coleção de tarefas organizadas que você quer programar e executar. Os DAGs são definidos em arquivos Python padrão.
O código Python em quickstart.py
:
- Cria um DAG,
composer_sample_dag
. O DAG é executado uma vez por dia. - Executa uma tarefa,
print_dag_run_conf
. A tarefa imprime a configuração da execução do DAG usando o operador bash.
Para criar um DAG, crie uma cópia do arquivo quickstart.py
na
máquina local.
Como fazer upload do DAG para o Cloud Storage
O Cloud Composer agenda somente os DAGs que estão na pasta DAGs no bucket do ambiente do Cloud Storage.
Para agendar o DAG, mova quickstart.py
da máquina local para a
pasta DAGs do ambiente:
No Console do Cloud, acesse a página "Ambientes".
Para abrir a pasta
/dags
, clique no link pasta DAGs deexample-environment
.Na página Detalhes do bucket, clique em Fazer upload de arquivos e selecione a cópia local de
quickstart.py
.Para fazer upload do arquivo, clique em Abrir.
Depois de fazer o upload do DAG, o Cloud Composer adiciona o DAG ao Airflow e programa o DAG imediatamente. Pode levar alguns minutos para que o DAG seja exibido na interface da Web do Airflow.
Como visualizar o DAG na interface da Web do Airflow
Cada ambiente do Cloud Composer tem um servidor da Web que executa a interface da Web do Airflow que pode ser usada para gerenciar DAGs.
Para visualizar o DAG na interface da Web do Airflow:
No Console do Cloud, acesse a página "Ambientes".
Para abrir a interface da Web do Airflow, clique no link do Airflow de
example-environment
. A interface é aberta em uma nova janela do navegador.Na barra de ferramentas do Airflow, clique em DAGs.
Para abrir a página de detalhes do DAG, clique em
composer_sample_dag
.A página do DAG mostra a visualização em árvore, uma representação gráfica das tarefas e dependências do fluxo de trabalho.
Como ver detalhes da instância da tarefa nos registros do Airflow
O DAG que você programou inclui a tarefa print_dag_run_conf
. A tarefa imprime
a configuração da execução do DAG, que pode ser vista nos registros do Airflow da instância da tarefa.
Para visualizar os detalhes da instância da tarefa:
Na visualização em árvore do DAG na interface da Web do Airflow, clique em Visualização de gráfico.
Se você passar o mouse sobre o gráfico da tarefa
print_dag_run_conf
, seu status será exibido. Observe que a borda ao redor da tarefa também indica o status (borda verde clara = em execução).Clique na tarefa
print_dag_run_conf
.O menu de contexto da instância de tarefa é exibido. Aqui você consegue metadados e realizar algumas ações.
No menu de contexto da instância da tarefa, clique em Exibir registro.
No registro, procure
Running: ['bash'
para ver a saída do operador bash.
Limpar
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste guia de início rápido, siga estas etapas:
- No Console do Cloud, acesse a página Gerenciar recursos:
- Se o projeto que você planeja excluir estiver anexado a uma organização, selecione-a na lista Organização, na parte superior da página.
- Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
- Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.
Como alternativa, é possível excluir os recursos usados neste tutorial:
- Exclua o ambiente do Cloud Composer.
- Exclua o bucket do Cloud Storage do ambiente do Cloud Composer. A exclusão do ambiente do Cloud Composer não exclui o bucket.
- Exclua os tópicos Pub/Sub
do ambiente do Cloud Composer,
composer-agent
ecomposer-backend)
. A exclusão do ambiente do Cloud Composer não exclui esses tópicos.