Esta página foi traduzida pela API Cloud Translation.
Switch to English

Guia de início rápido

Nesta página, mostramos como criar um ambiente do Cloud Composer no Console do Google Cloud e executar um DAG simples do Apache Airflow, também chamado de fluxo de trabalho.

Antes de começar

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  4. Ative a API Cloud Composer.

    Ative a API

Como criar um ambiente

Console

  1. No Console do Cloud, acesse a página Criar ambiente.

    Abrir a página "Criar ambiente"

  2. No campo Nome, use example-environment.

  3. Na lista suspensa Local, selecione uma região para o ambiente do Cloud Composer. Consulte Regiões disponíveis para informações sobre como selecionar uma região.

  4. Para outras opções de configuração do ambiente, use os padrões fornecidos.

  5. Para criar o ambiente, clique em Criar.

  6. Aguarde até que a criação do ambiente seja concluída. Quando terminar, a marca de seleção verde será exibida à esquerda do nome do ambiente.

gcloud

gcloud composer environments create example-environment \
    --location LOCATION

Substitua LOCATION pela região do Compute Engine em que o ambiente está localizado. Verifique se o local especificado é aquele em que o Composer está disponível.

Terraform

Para configurar esse ambiente usando o Terraform, adicione o seguinte bloqueio de recursos à configuração do Terraform e execute terraform apply.

resource "google_composer_environment" "composer-quickstart" {
    name   = "example-environment"
    region = "LOCATION"
}

Substitua LOCATION pela região do Compute Engine em que o ambiente está localizado. Verifique se o local especificado é aquele em que o Composer está disponível.

Como ver os detalhes do ambiente

Depois que a criação do ambiente for concluída, será possível visualizar as informações de implantação do ambiente, como a versão do Cloud Composer, o URL da interface da Web Airflow e a pasta DAGs no Cloud Storage.

Para visualizar informações de implantação:

  1. No Console do Cloud, acesse a página "Ambientes".

    Abrir a página "Ambientes"

  2. Para visualizar a página Detalhes do ambiente, clique em example-environment.

Como criar um DAG

Um Airflow DAG é uma coleção de tarefas organizadas que você quer programar e executar. Os DAGs são definidos em arquivos Python padrão.

O código Python em quickstart.py:

  1. Cria um DAG, composer_sample_dag. O DAG é executado uma vez por dia.
  2. Executa uma tarefa, print_dag_run_conf. A tarefa imprime a configuração da execução do DAG usando o operador bash.

Para criar um DAG, crie uma cópia do arquivo quickstart.py na máquina local.

import datetime

import airflow
from airflow.operators import bash_operator

YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

default_args = {
    'owner': 'Composer Example',
    'depends_on_past': False,
    'email': [''],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': datetime.timedelta(minutes=5),
    'start_date': YESTERDAY,
}

with airflow.DAG(
        'composer_sample_dag',
        'catchup=False',
        default_args=default_args,
        schedule_interval=datetime.timedelta(days=1)) as dag:

    # Print the dag_run id from the Airflow logs
    print_dag_run_conf = bash_operator.BashOperator(
        task_id='print_dag_run_conf', bash_command='echo {{ dag_run.id }}')

Como fazer upload do DAG para o Cloud Storage

O Cloud Composer agenda somente os DAGs que estão na pasta DAGs no bucket do ambiente do Cloud Storage.

Para agendar o DAG, mova quickstart.py da máquina local para a pasta DAGs do ambiente:

  1. No Console do Cloud, acesse a página "Ambientes".

    Abrir a página "Ambientes"

  2. Para abrir a pasta /dags, clique no link pasta DAGs de example-environment.

  3. Na página Detalhes do bucket, clique em Fazer upload de arquivos e selecione a cópia local de quickstart.py.

  4. Para fazer upload do arquivo, clique em Abrir.

    Depois de fazer o upload do DAG, o Cloud Composer adiciona o DAG ao Airflow e programa o DAG imediatamente. Pode levar alguns minutos para que o DAG seja exibido na interface da Web do Airflow.

Como visualizar o DAG na interface da Web do Airflow

Cada ambiente do Cloud Composer tem um servidor da Web que executa a interface da Web do Airflow que pode ser usada para gerenciar DAGs.

Para visualizar o DAG na interface da Web do Airflow:

  1. No Console do Cloud, acesse a página "Ambientes".

    Abrir a página "Ambientes"

  2. Para abrir a interface da Web do Airflow, clique no link do Airflow de example-environment. A interface é aberta em uma nova janela do navegador.

  3. Na barra de ferramentas do Airflow, clique em DAGs.

  4. Para abrir a página de detalhes do DAG, clique em composer_sample_dag.

    A página do DAG mostra a visualização em árvore, uma representação gráfica das tarefas e dependências do fluxo de trabalho.

Como ver detalhes da instância da tarefa nos registros do Airflow

O DAG que você programou inclui a tarefa print_dag_run_conf. A tarefa imprime a configuração da execução do DAG, que pode ser vista nos registros do Airflow da instância da tarefa.

Para visualizar os detalhes da instância da tarefa:

  1. Na visualização em árvore do DAG na interface da Web do Airflow, clique em Visualização de gráfico.

    Se você passar o mouse sobre o gráfico da tarefa print_dag_run_conf, seu status será exibido. Observe que a borda ao redor da tarefa também indica o status (borda verde clara = em execução).

  2. Clique na tarefa print_dag_run_conf.

    O menu de contexto da instância de tarefa é exibido. Aqui você consegue metadados e realizar algumas ações.

  3. No menu de contexto da instância da tarefa, clique em Exibir registro.

  4. No registro, procure Running: ['bash' para ver a saída do operador bash.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste guia de início rápido, siga estas etapas:

  1. No Console do Cloud, acesse a página Gerenciar recursos:

    Acessar "Gerenciar recursos"

  2. Se o projeto que você planeja excluir estiver anexado a uma organização, selecione-a na lista Organização, na parte superior da página.
  3. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
  4. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Como alternativa, é possível excluir os recursos usados neste tutorial:

  1. Exclua o ambiente do Cloud Composer.
  2. Exclua o bucket do Cloud Storage do ambiente do Cloud Composer. A exclusão do ambiente do Cloud Composer não exclui o bucket.
  3. Exclua os tópicos Pub/Sub do ambiente do Cloud Composer, composer-agent e composer-backend). A exclusão do ambiente do Cloud Composer não exclui esses tópicos.

A seguir