Recursos do Cloud Composer

Nesta página, você encontra uma visão geral dos recursos do Cloud Composer.

O Cloud Composer é um serviço gerenciado do Apache Airflow para criar, programar, monitorar e gerenciar fluxos de trabalho.

Ambientes do Airflow

Um ambiente do Cloud Composer é um wrapper em torno do Apache Airflow. O Cloud Composer cria os elementos a seguir em cada ambiente:

Gerenciamento do Airflow

Para acessar e gerenciar os ambientes do Airflow, é possível usar as ferramentas nativas a seguir:

  • Interface da Web: acesse a interface da Web do Airflow no Console do Google Cloud ou por URL direto com as permissões apropriadas. Para mais informações, consulte Interface da Web do Airflow.
  • Ferramentas de linha de comando: depois de instalar o SDK do Cloud, execute os comandos gcloud composer environments para emitir comandos de linha de comando do Airflow para ambientes do Cloud Composer. Para mais informações, consulte Interface de linha de comando do Airflow.

Além das ferramentas nativas, as APIs REST e RPC do Cloud Composer fornecem acesso programático aos ambientes do Airflow. Para mais informações, consulte APIs e referências.

Configuração do Airflow

Em geral, as configurações que o Cloud Composer fornece para o Apache Airflow são as mesmas de uma implantação do Airflow hospedada localmente. Algumas delas são pré-configuradas no Cloud Composer, e não é possível alterar as propriedades. Você especifica outras configurações ao criar ou atualizar o ambiente. Para mais informações, consulte Configurações do Airflow bloqueadas.

DAGs do Airflow (fluxos de trabalho)

O DAG do Apache Airflow é um fluxo de trabalho, ou seja, um conjunto de tarefas com dependências extras. O Cloud Composer usa o Cloud Storage para armazenar os DAGs. Adicione ou remova DAGs do ambiente do Cloud Composer no bucket do Cloud Storage associado ao ambiente. Depois de mover os DAGs relacionados ao bucket de armazenamento, eles serão automaticamente adicionados e programados no ambiente.

Além de programar DAGs, é possível acioná-los manualmente ou em resposta aos eventos. Por exemplo, as alterações que ocorrem no bucket do Cloud Storage associado. Para mais informações, consulte Como acionar DAGs.

Plug-ins

É possível instalar plug-ins personalizados no ambiente, incluindo interfaces, sensores, hooks e operadores internos do Apache Airflow. Para mais informações, consulte Instalação de plug-ins personalizados.

Dependências do Python

Instale dependências do Python do Índice de pacotes Python do ambiente ou de um repositório de pacotes particular. Para mais informações, consulte Como instalar dependências do Python.

Se as dependências não estiverem no índice de pacotes, também será possível usar o recurso plug-ins.

Controle de acesso

Você gerencia a segurança no nível do projeto do Google Cloud e pode atribuir papéis do Cloud Identity and Access Management (IAM) que impeçam que usuários individuais modifiquem ou criem ambientes. Se uma pessoa não tiver acesso ao projeto ou um papel apropriado do IAM do Cloud Composer, ela não poderá acessar os ambientes. Para mais informações, consulte Controle de acesso do Cloud Composer.

Registro e monitoramento

É possível visualizar os registros do Airflow associados a tarefas únicas do DAG na interface da Web do Airflow e na pasta logs no bucket do Cloud Storage associado.

Os registros de streaming estão disponíveis para o Cloud Composer. Acesse os registros de streaming no "Visualizador de registros" no Console do Google Cloud e usando o pacote de operações do Google Cloud. Para informações sobre como usar o conjunto de operações do Google Cloud, consulte Como monitorar ambientes do Cloud Composer.

O Cloud Composer também fornece registros de auditoria, como os de atividades administrativas, para os projetos do Google Cloud. Para mais informações, consulte Como ver registros de auditoria.

Rede e segurança

Durante a criação do ambiente, o Cloud Composer fornece as seguintes opções de configuração:

Recursos ainda não disponíveis

VPC Service Controls

O VPC Service Controls permite a configuração do perímetro de serviço em recursos da VPC e serviços gerenciados pelo Google para controlar a movimentação de dados ao longo do perímetro.

Atualmente, o VPC Service Controls não é compatível com o Cloud Composer.