Guia de início rápido

Nesta página, mostramos como criar um ambiente do Cloud Composer no Console do Google Cloud e executar um DAG simples do Apache Airflow, também chamado de fluxo de trabalho.

Antes de começar

  1. Faça login na sua conta do Google.

    Se você ainda não tiver uma, inscreva-se.

  2. No Console do Cloud, na página do seletor de projetos, selecione ou crie um projeto do Cloud.

    Acessar a página do seletor de projetos

  3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud. Saiba como confirmar se a cobrança está ativada para o seu projeto.

  4. Ative a API Cloud Composer.

    Ative a API

Como criar um ambiente

Console

  1. No Console do Cloud, acesse a página Criar ambiente.

    Abrir a página "Criar ambiente"

  2. No campo Nome, use example-environment.

  3. Na lista suspensa Local, selecione uma região para o ambiente do Cloud Composer. Consulte Regiões disponíveis para informações sobre como selecionar uma região.

  4. Para outras opções de configuração do ambiente, use os padrões fornecidos.

  5. Para criar o ambiente, clique em Criar.

  6. Aguarde até que a criação do ambiente seja concluída. Quando terminar, a marca de seleção verde será exibida à esquerda do nome do ambiente.

gcloud

gcloud composer environments create example-environment \
    --location LOCATION

Substitua LOCATION pela região do Compute Engine em que o ambiente está localizado. Verifique se o local especificado é aquele em que o Composer está disponível.

Terraform

Para configurar esse ambiente usando o Terraform, adicione o seguinte bloqueio de recursos à configuração do Terraform e execute terraform apply.

resource "google_composer_environment" "composer-quickstart" {
    name   = "example-environment"
    region = "LOCATION"
}

Substitua LOCATION pela região do Compute Engine em que o ambiente está localizado. Verifique se o local especificado é aquele em que o Composer está disponível.

Como ver os detalhes do ambiente

Depois que a criação do ambiente for concluída, será possível visualizar as informações de implantação do ambiente, como a versão do Cloud Composer, o URL da interface da Web Airflow e a pasta DAGs no Cloud Storage.

Para visualizar informações de implantação:

  1. No Console do Cloud, acesse a página "Ambientes".

    Abrir a página "Ambientes"

  2. Para visualizar a página Detalhes do ambiente, clique em example-environment.

Como criar um DAG

Um Airflow DAG é uma coleção de tarefas organizadas que você quer programar e executar. Os DAGs são definidos em arquivos Python padrão.

O código Python em quickstart.py:

  1. Cria um DAG, composer_sample_dag. O DAG é executado uma vez por dia.
  2. Executa uma tarefa, print_dag_run_conf. A tarefa imprime a configuração da execução do DAG usando o operador bash.

Para criar um DAG, crie uma cópia do arquivo quickstart.py na máquina local.

import datetime

import airflow
from airflow.operators import bash_operator

YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

default_args = {
    'owner': 'Composer Example',
    'depends_on_past': False,
    'email': [''],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': datetime.timedelta(minutes=5),
    'start_date': YESTERDAY,
}

with airflow.DAG(
        'composer_sample_dag',
        'catchup=False',
        default_args=default_args,
        schedule_interval=datetime.timedelta(days=1)) as dag:

    # Print the dag_run id from the Airflow logs
    print_dag_run_conf = bash_operator.BashOperator(
        task_id='print_dag_run_conf', bash_command='echo {{ dag_run.id }}')

Como fazer upload do DAG para o Cloud Storage

O Cloud Composer agenda somente os DAGs que estão na pasta DAGs no bucket do ambiente do Cloud Storage.

Para agendar o DAG, mova quickstart.py da máquina local para a pasta DAGs do ambiente:

  1. No Console do Cloud, acesse a página "Ambientes".

    Abrir a página "Ambientes"

  2. Para abrir a pasta /dags, clique no link pasta DAGs de example-environment.

  3. Na página Detalhes do bucket, clique em Fazer upload de arquivos e selecione a cópia local de quickstart.py.

  4. Para fazer upload do arquivo, clique em Abrir.

    Depois de fazer o upload do DAG, o Cloud Composer adiciona o DAG ao Airflow e programa o DAG imediatamente. Pode levar alguns minutos para que o DAG seja exibido na interface da Web do Airflow.

Como visualizar o DAG na interface da Web do Airflow

Cada ambiente do Cloud Composer tem um servidor da Web que executa a interface da Web do Airflow que pode ser usada para gerenciar DAGs.

Para visualizar o DAG na interface da Web do Airflow:

  1. No Console do Cloud, acesse a página "Ambientes".

    Abrir a página "Ambientes"

  2. Para abrir a interface da Web do Airflow, clique no link do Airflow de example-environment. A interface é aberta em uma nova janela do navegador.

  3. Na barra de ferramentas do Airflow, clique em DAGs.

  4. Para abrir a página de detalhes do DAG, clique em composer_sample_dag.

    A página do DAG mostra a visualização em árvore, uma representação gráfica das tarefas e dependências do fluxo de trabalho.

Como ver detalhes da instância da tarefa nos registros do Airflow

O DAG que você programou inclui a tarefa print_dag_run_conf. A tarefa imprime a configuração da execução do DAG, que pode ser vista nos registros do Airflow da instância da tarefa.

Para visualizar os detalhes da instância da tarefa:

  1. Na visualização em árvore do DAG na interface da Web do Airflow, clique em Visualização de gráfico.

    Se você passar o mouse sobre o gráfico da tarefa print_dag_run_conf, seu status será exibido. Observe que a borda ao redor da tarefa também indica o status (borda verde clara = em execução).

  2. Clique na tarefa print_dag_run_conf.

    O menu de contexto da instância de tarefa é exibido. Aqui você consegue metadados e realizar algumas ações.

  3. No menu de contexto da instância da tarefa, clique em Exibir registro.

  4. No registro, procure Running: ['bash' para ver a saída do operador bash.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste guia de início rápido, siga estas etapas:

  1. No Console do Cloud, acesse a página Gerenciar recursos:

    Acessar a página "Gerenciar recursos"

  2. Se o projeto que você planeja excluir estiver anexado a uma organização, selecione-a na lista Organização, na parte superior da página.
  3. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
  4. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Como alternativa, é possível excluir os recursos usados neste tutorial:

  1. Exclua o ambiente do Cloud Composer.
  2. Exclua o bucket do Cloud Storage do ambiente do Cloud Composer. A exclusão do ambiente do Cloud Composer não exclui o bucket.
  3. Exclua os tópicos Pub/Sub do ambiente do Cloud Composer, composer-agent e composer-backend). A exclusão do ambiente do Cloud Composer não exclui esses tópicos.

A seguir