O que é o Cloud Composer?

Nesta página, você encontra uma visão geral do Cloud Composer, a solução do Google Cloud para criar e implantar fluxos de trabalho com o Apache Airflow.

Por que usar o Cloud Composer?

O Cloud Composer é um serviço totalmente gerenciado de orquestração de fluxos de trabalho que permite criar fluxos de trabalho que abrangem nuvens e data centers no local. Criado no conhecido projeto de código aberto Apache Airflow e operado com a linguagem de programação Python, o Cloud Composer é fácil de usar e deixa você livre da dependência tecnológica. Ao usar o Cloud Composer em vez de uma instância local do Apache Airflow, os usuários podem aproveitar o melhor do Airflow sem sobrecarga de instalação ou de gerenciamento.

Fluxos de trabalho, DAGs e tarefas

Na análise de dados, um fluxo de trabalho representa uma série de tarefas para ingestão, transformação, análise ou utilização de dados. No Airflow, os fluxos de trabalho são criados usando DAGs ou "Gráficos acíclicos direcionados".

Um DAG é uma coleção de tarefas que você quer programar e executar, organizadas de uma forma que reflita os relacionamentos e as dependências delas. Os DAGs são criados em scripts Python, que definem a estrutura do DAG (tarefas e as dependências deles) usando o código.

Cada tarefa em um DAG pode representar quase tudo. Por exemplo, uma tarefa pode executar qualquer uma das seguintes funções:

  • Como preparar os dados para processamento
  • Como monitorar uma API
  • Como enviar um e-mail
  • Como executar um pipeline

O DAG não deve se preocupar com a função de cada tarefa constituinte. O objetivo dele é garantir que cada tarefa seja executada no momento certo, na ordem correta ou com o tratamento do problema certo.

Para mais informações sobre DAGs e tarefas, consulte a documentação do Apache Airflow (em inglês).

Ambientes

Para executar fluxos de trabalho, primeiro é necessário criar um ambiente. O Airflow depende de muitos microsserviços para serem executados. Por isso, o Cloud Composer provisiona componentes do Google Cloud para executar os fluxos de trabalho. Esses componentes são conhecidos coletivamente como um ambiente do Cloud Composer.

Os ambientes são implantações autônomas do Airflow baseadas no Google Kubernetes Engine e funcionam com outros serviços do Google Cloud por meio de conectores integrados ao Airflow. É possível criar um ou mais ambientes em um único projeto do Google Cloud usando qualquer região compatível. É possível criar ambientes do Cloud Composer em qualquer região compatível.

Para ver mais detalhes dos componentes de um ambiente, consulte Arquitetura de ambiente do Cloud Composer.

A seguir