Recursos do Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Nesta página, você encontrará uma visão geral dos recursos e capacidades do Cloud Composer.

O Cloud Composer é um serviço gerenciado do Apache Airflow para criar, programar, monitorar e gerenciar fluxos de trabalho.

Ambientes do Airflow

Um ambiente do Cloud Composer é um wrapper em torno do Apache Airflow. O Cloud Composer cria os seguintes componentes para cada ambiente:

  • Cluster do GKE: os programadores, os workers e a fila do Redis do Airflow são executados como cargas de trabalho do GKE em um único cluster e são responsáveis por processar e executar DAGs. O cluster também hospeda outros componentes do Cloud Composer, como o agente do Composer e o Airflow, que ajudam a gerenciar o ambiente, reúnem registros para armazenar no Cloud Logging e coletam métricas para serem enviadas ao Cloud Monitoring.
  • Servidor da Web: o servidor da Web executa a interface da Web do Apache Airflow e o Identity-Aware Proxy protege a interface. Para mais informações, consulte Interface da Web do Airflow.
  • Banco de dados: armazena os metadados do Apache Airflow.
  • Bucket do Cloud Storage: o Cloud Composer associa um bucket do Cloud Storage ao ambiente. O bucket associado armazena os DAGs, registros, plug-ins personalizados e dados para o ambiente. Para mais informações sobre o bucket de armazenamento do Cloud Composer, consulte Dados armazenados no Cloud Storage.

Gerenciamento do Airflow

Para acessar e gerenciar os ambientes do Airflow, é possível usar as ferramentas nativas a seguir:

  • Interface da Web: acesse a interface da Web do Airflow no Console do Google Cloud ou por URL direto com as permissões apropriadas. Para mais informações, consulte a interface da Web do Airflow.
  • Ferramentas de linha de comando: depois de instalar o SDK do Cloud, execute comandos gcloud composer environments para emitir comandos do Airflow para linhas de comando nos ambientes do Cloud Composer. Para informações, consulte [Interface de linha de comando do Airflow][cc-access-airflow-cli].

Além das ferramentas nativas, as APIs REST e RPC do Cloud Composer fornecem acesso programático aos seus ambientes do Airflow. Para mais informações, consulte APIs e referências.

Configuração do Airflow

Em geral, as configurações que o Cloud Composer fornece para o Apache Airflow são as mesmas de uma implantação do Airflow hospedada localmente. Algumas configurações do Airflow são pré-configuradas no Cloud Composer, e não é possível alterar as propriedades. Outras configurações que você especifica ao criar ou atualizar o ambiente. Para mais informações, consulte Configurações bloqueadas do Airflow.

DAGs do Airflow (fluxos de trabalho)

O DAG do Apache Airflow é um fluxo de trabalho, ou seja, um conjunto de tarefas com dependências extras. O Cloud Composer usa o Cloud Storage para armazenar DAGs. Para adicionar ou remover DAGs do ambiente do Cloud Composer, adicione ou remova os DAGs do bucket associado ao ambiente. Depois que os DAGs são movidos, eles são adicionados e programados automaticamente no ambiente.

Além de programar DAGs, é possível acioná-los manualmente ou em resposta a eventos, como as alterações que ocorrem no bucket associado do Cloud Storage. Para mais informações, consulte Como acionar DAGs.

Plug-ins

É possível instalar plug-ins personalizados no ambiente, incluindo interfaces, sensores, hooks e operadores internos do Apache Airflow. Para mais informações, consulte Como instalar plug-ins personalizados.

Dependências do Python

É possível instalar dependências do Python usando o Indexndice de pacotes do Python no ambiente ou a partir de um repositório de pacotes particular. Para mais informações, consulte Como instalar dependências do Python.

Se as dependências não estiverem no índice de pacotes, também será possível usar o recurso plug-ins.

Controle de acesso

Você gerencia a segurança para envolvidos no projeto do Google Cloud e pode atribuir papéis de gerenciamento de identidade e acesso (IAM) que impedem que usuários individuais modifiquem ou criem ambientes. Se uma pessoa não tiver acesso ao seu projeto ou não tiver um papel apropriado do IAM do Cloud Composer, ela não poderá acessar nenhum dos seus ambientes. Para mais informações, consulte Controle de acesso.

Como gerar registros e monitorar

É possível ver os registros do Airflow associados a tarefas únicas de DAG na interface da Web do Airflow e na pasta logs no bucket do Cloud Storage do ambiente. de dados.

Os registros de streaming estão disponíveis para o Cloud Composer. Para mais informações, consulte Como monitorar ambientes do Cloud Composer.

O Cloud Composer também fornece registros de auditoria, como os de atividades administrativas, para os projetos do Google Cloud. Para mais informações, consulte Como ver registros de auditoria.

Rede e segurança

Por padrão, o Cloud Composer implanta um cluster do Google Kubernetes Engine nativo no modo Padrão.

Para mais flexibilidade de segurança e de rede, o Cloud Composer também oferece suporte aos seguintes recursos.

VPC compartilhada

A VPC compartilhada permite o gerenciamento compartilhado de recursos de rede a partir de um projeto de host central para aplicar políticas de rede consistentes em projetos.

Quando o Cloud Composer participa de uma VPC compartilhada, o ambiente do Cloud Composer está em um projeto de serviço e pode invocar serviços hospedados em outros projetos do Google Cloud. Os recursos dentro dos projetos de serviço se comunicam de maneira segura entre os limites do projeto usando endereços IP internos. Para requisitos de projeto de rede e host, consulte Como configurar a VPC compartilhada.

Ambiente do Cloud Composer nativo de VPC

Com a VPC nativa, os endereços IP do pod e do serviço no cluster do GKE são roteáveis nativamente na rede do Google Cloud, inclusive por meio de peering de rede VPC }

Nesta configuração, o Cloud Composer implanta um cluster do GKE nativo de VPC usando endereços IP de alias no seu ambiente. Quando você usa clusters nativos de VPC, o GKE escolhe automaticamente um intervalo secundário. Para requisitos de rede específicos, também é possível configurar os intervalos secundários dos pods do GKE e serviços do GKE durante a configuração do ambiente do Cloud Composer.

Ambiente de IP privado do Cloud Composer

Com o IP privado, os fluxos de trabalho do Cloud Composer são totalmente isolados da Internet pública.

Nessa configuração, o Cloud Composer implanta um cluster do GKE nativo de VPC usando endereços IP do alias no projeto do cliente. O cluster do GKE para o ambiente é configurado como um cluster particular, e a instância do Cloud SQL é configurada para IP particular.

O Cloud Composer também cria uma conexão de peering entre a rede VPC do seu projeto de cliente e a rede VPC do seu projeto de locatário.

O que há de novo