Guia de início rápido

Nesta página, mostramos como criar um ambiente do Cloud Composer no Console do Google Cloud e executar um DAG simples do Apache Airflow, também chamado de fluxo de trabalho.

Observação: se você é novo no Airflow, consulte este tutorial para mais informações sobre conceitos, objetos e os respectivos valores do Airflow. uso.

Antes de começar

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

4. Ative a API Cloud Composer.

   Ative a API

Observação: leva aproximadamente 25 minutos para o sistema criar o ambiente.

Como criar um ambiente

Console

1. No Console do Cloud, acesse a página Criar ambiente.

   Abrir a página "Criar ambiente"

2. No campo Nome, use example-environment.

3. Na lista suspensa Local, selecione uma região para o ambiente do Cloud Composer. Consulte Regiões disponíveis para informações sobre como selecionar uma região.

4. Para outras opções de configuração do ambiente, use os padrões fornecidos.

5. Para criar o ambiente, clique em Criar.

6. Aguarde até que a criação do ambiente seja concluída. Quando terminar, a marca de seleção verde será exibida à esquerda do nome do ambiente.

gcloud

gcloud composer environments create example-environment \
    --location LOCATION

Substitua LOCATION pela região do Compute Engine em que o ambiente está localizado. Verifique se o local especificado é aquele em que o Composer está disponível.

Terraform

Para configurar esse ambiente usando o Terraform, adicione o seguinte bloqueio de recursos à configuração do Terraform e execute terraform apply.

Observação: para utilizar esse bloco de recursos, a conta de serviço usada pelo Terraform precisará ter um papel com a permissão composer.environments.create ativada. Para mais informações sobre como usar o Terraform para criar um ambiente do Cloud Composer, consulte a documentação do Terraform.

resource "google_composer_environment" "composer-quickstart" {
    name   = "example-environment"
    region = "LOCATION"
}

Substitua LOCATION pela região do Compute Engine em que o ambiente está localizado. Verifique se o local especificado é aquele em que o Composer está disponível.

Como ver os detalhes do ambiente

Depois que a criação do ambiente for concluída, será possível visualizar as informações de implantação do ambiente, como a versão do Cloud Composer, o URL da interface da Web Airflow e a pasta DAGs no Cloud Storage.

Para visualizar informações de implantação:

1. No Console do Cloud, acesse a página "Ambientes".

   Abrir a página "Ambientes"

2. Para visualizar a página Detalhes do ambiente, clique em example-environment.

   

Como criar um DAG

Um Airflow DAG é uma coleção de tarefas organizadas que você quer programar e executar. Os DAGs são definidos em arquivos Python padrão.

O código Python em quickstart.py:

1. Cria um DAG, composer_sample_dag. O DAG é executado uma vez por dia.
2. Executa uma tarefa, print_dag_run_conf. A tarefa imprime a configuração da execução do DAG usando o operador bash.

Para criar um DAG, crie uma cópia do arquivo quickstart.py na máquina local.

composer/workflows/quickstart.py

Ver no GitHub

import datetime

import airflow
from airflow.operators import bash_operator

YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

default_args = {
    'owner': 'Composer Example',
    'depends_on_past': False,
    'email': [''],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': datetime.timedelta(minutes=5),
    'start_date': YESTERDAY,
}

with airflow.DAG(
        'composer_sample_dag',
        'catchup=False',
        default_args=default_args,
        schedule_interval=datetime.timedelta(days=1)) as dag:

    # Print the dag_run id from the Airflow logs
    print_dag_run_conf = bash_operator.BashOperator(
        task_id='print_dag_run_conf', bash_command='echo {{ dag_run.id }}')

Como fazer upload do DAG para o Cloud Storage

O Cloud Composer agenda somente os DAGs que estão na pasta DAGs no bucket do ambiente do Cloud Storage.

Para agendar o DAG, mova quickstart.py da máquina local para a pasta DAGs do ambiente:

1. No Console do Cloud, acesse a página "Ambientes".

   Abrir a página "Ambientes"

2. Para abrir a pasta /dags, clique no link pasta DAGs de example-environment.

3. Na página Detalhes do bucket, clique em Fazer upload de arquivos e selecione a cópia local de quickstart.py.

4. Para fazer upload do arquivo, clique em Abrir.

   Depois de fazer o upload do DAG, o Cloud Composer adiciona o DAG ao Airflow e programa o DAG imediatamente. Pode levar alguns minutos para que o DAG seja exibido na interface da Web do Airflow.

Também é possível usar os comandos gcloud composer para interagir com o ambiente. Por exemplo, para fazer upload de um DAG:

gcloud composer environments storage dags import \
  --environment example-environment  --location us-central1 \
  --source test-dags/quickstart.py

Como visualizar o DAG na interface da Web do Airflow

Cada ambiente do Cloud Composer tem um servidor da Web que executa a interface da Web do Airflow que pode ser usada para gerenciar DAGs.

Para visualizar o DAG na interface da Web do Airflow:

1. No Console do Cloud, acesse a página "Ambientes".

   Abrir a página "Ambientes"

2. Para abrir a interface da Web do Airflow, clique no link do Airflow de example-environment. A interface é aberta em uma nova janela do navegador.

3. Na barra de ferramentas do Airflow, clique em DAGs.

4. Para abrir a página de detalhes do DAG, clique em composer_sample_dag.

   

   A página do DAG mostra a visualização em árvore, uma representação gráfica das tarefas e dependências do fluxo de trabalho.

   

Como ver detalhes da instância da tarefa nos registros do Airflow

O DAG que você programou inclui a tarefa print_dag_run_conf. A tarefa imprime a configuração da execução do DAG, que pode ser vista nos registros do Airflow da instância da tarefa.

Para visualizar os detalhes da instância da tarefa:

1. Na visualização em árvore do DAG na interface da Web do Airflow, clique em Visualização de gráfico.

   Se você passar o mouse sobre o gráfico da tarefa print_dag_run_conf, seu status será exibido. Observe que a borda ao redor da tarefa também indica o status (borda verde clara = em execução).

   

2. Clique na tarefa print_dag_run_conf.

   O menu de contexto da instância de tarefa é exibido. Aqui você consegue metadados e realizar algumas ações.

   

3. No menu de contexto da instância da tarefa, clique em Exibir registro.

4. No registro, procure Running: ['bash' para ver a saída do operador bash.

   

Também é possível ver registros do Airflow no pacote de operações do Google Cloud.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste guia de início rápido, siga estas etapas:

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para seguir este tutorial, a exclusão dele incluirá quaisquer outras ações feitas no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar vários tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. No Console do Cloud, acesse a página Gerenciar recursos:

   Acessar "Gerenciar recursos"

2. Se o projeto que você planeja excluir estiver anexado a uma organização, selecione-a na lista Organização, na parte superior da página.
3. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
4. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Como alternativa, é possível excluir os recursos usados neste tutorial:

1. Exclua o ambiente do Cloud Composer.
2. Exclua o bucket do Cloud Storage do ambiente do Cloud Composer. A exclusão do ambiente do Cloud Composer não exclui o bucket.
3. Exclua os tópicos Pub/Sub do ambiente do Cloud Composer, composer-agent e composer-backend). A exclusão do ambiente do Cloud Composer não exclui esses tópicos.

A seguir

• Siga as etapas indicadas nos tutoriais.
• Tenha uma visão geral do Cloud Composer.