Recursos do Cloud Composer

Nesta página, você encontra uma visão geral dos recursos do Cloud Composer.

O Cloud Composer é um serviço gerenciado do Apache Airflow para criar, programar, monitorar e gerenciar fluxos de trabalho.

Ambientes do Airflow

Um ambiente do Cloud Composer é um wrapper em torno do Apache Airflow. O Cloud Composer cria os elementos a seguir em cada ambiente:

  • Servidor da Web: executa a interface da Web do Apache Airflow, que é protegida pelo Cloud Identity-Aware Proxy. Para mais informações, consulte Interface da Web do Airflow.
  • Banco de dados: armazena os metadados do Apache Airflow.
  • Intervalo do Cloud Storage: o Cloud Composer associa um intervalo do Cloud Storage ao ambiente. Esse intervalo armazena os DAGs, registros, plug-ins personalizados e dados do ambiente. Para mais informações sobre o intervalo de armazenamento do Cloud Composer, consulte Cloud Storage.

Gerenciamento do Airflow

Para acessar e gerenciar os ambientes do Airflow, é possível usar as ferramentas nativas a seguir:

  • Interface da Web: é possível acessá-la no Console do Google Cloud Platform ou por meio de um URL direto com as permissões apropriadas. Para mais informações, consulte Interface da Web do Airflow.
  • Ferramentas de linha de comando: depois de instalar o SDK do Cloud, execute gcloud composer environments para emitir comandos CLI do Airflow aos ambientes do Cloud Composer. Para mais informações, consulte Interface de linha de comando do Airflow.

Além das ferramentas nativas, as APIs REST ou RPC do Cloud Composer fornecem acesso programático aos ambientes do Airflow. Para mais informações, consulte APIs e referências.

Configuração do Airflow

Em geral, as configurações que o Cloud Composer fornece no Apache Airflow são as mesmas de uma implantação do Airflow hospedada localmente. Algumas delas são pré-configuradas no Cloud Composer, e não é possível alterar as propriedades. Você especifica outras configurações ao criar ou atualizar o ambiente. Para mais informações, consulte Configurações do Airflow.

DAGs do Airflow (fluxos de trabalho)

O DAG do Apache Airflow é um fluxo de trabalho, ou seja, um conjunto de tarefas com dependências extras. O Cloud Composer usa o Cloud Storage para armazenar os DAGs. Adicione ou remova DAGs do ambiente do Cloud Composer no intervalo do Cloud Storage associado a ele. Depois que são movidos para o intervalo de armazenamento, os DAGs são automaticamente adicionados e programados no ambiente.

Além de programar DAGs, é possível acioná-los manualmente ou em resposta aos eventos. Por exemplo, as alterações que ocorrem no intervalo do Cloud Storage associado. Para mais informações, consulte Como acionar DAGs.

Plug-ins

É possível instalar plug-ins personalizados no ambiente, incluindo interfaces, sensores, hooks e operadores internos do Apache Airflow. Para mais informações, consulte Plug-ins do Cloud Composer.

Dependências do Python

É possível instalar dependências do Python usando o Índice de pacotes Python no ambiente. Se as dependências não estiverem no índice, use o recurso de plug-ins. Para mais informações, consulte Como instalar dependências do Python.

Controle de acesso

Gerencie a segurança para envolvidos no projeto do GCP e atribua papéis do Cloud Identity and Access Management (IAM) que impeçam a criação ou modificação de ambientes pelos usuários. Se uma pessoa não tiver acesso ao projeto ou um papel apropriado do IAM do Cloud Composer, ela não poderá acessar os ambientes. Para mais informações, consulte Controle de acesso do Cloud Composer.

Como gerar e monitorar registros

É possível visualizar os registros do Airflow associados a tarefas do DAG na interface da Web do Airflow e na pasta logs no intervalo associado do Cloud Storage.

Os registros de streaming estão disponíveis para o Cloud Composer. Para acessá-los, use o visualizador de registros no Console do Google Cloud Platform ou o Stackdriver. Para mais informações sobre como usar o Stackdriver, consulte Como monitorar ambientes do Cloud Composer.

O Cloud Composer também fornece registros de auditoria dos projetos do GCP, incluindo os de atividades do administrador. Para mais informações, consulte Como ver registros de auditoria.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…