Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Nesta página, descrevemos a arquitetura dos ambientes do Cloud Composer.
Configurações de arquitetura de ambiente
Os ambientes do Cloud Composer 3 têm uma única configuração que não dependem do tipo de rede:
Projetos de clientes e locatários
Quando você cria um ambiente, o Cloud Composer distribui entre um projeto de locatário e um cliente:
- Projeto do cliente é um projeto do Google Cloud em que você cria seus ambientes. É possível criar mais de um ambiente em um único projeto do cliente.
O projeto do locatário é um projeto de locatário gerenciado pelo Google. O projeto de locatário fornece controle de acesso unificado e uma camada adicional de a segurança de dados no seu ambiente. Cada Cloud Composer ambiente tem seu próprio projeto de locatário.
Componentes do ambiente
Um ambiente do Cloud Composer consiste em componentes do ambiente.
Um componente de ambiente é um elemento de uma infraestrutura gerenciada do Airflow executada no Google Cloud, como parte do seu ambiente. Ambiente são executados no locatário ou no projeto do cliente em seu ambiente.
Bucket do ambiente
O bucket do ambiente é um bucket do Cloud Storage que armazena DAGs, plug-ins, dependências de dados e registros do Airflow. Ambientes do bucket está localizado no projeto do cliente.
Quando você faz upload dos arquivos DAG para a pasta /dags no
no bucket do ambiente, o Cloud Composer sincronizará os DAGs com os componentes do Airflow.
Servidor da Web do Airflow
O servidor da Web Airflow executa a interface do Airflow do seu ambiente.
O Cloud Composer fornece acesso à interface com base nas identidades e vinculações de políticas do IAM definidas para os usuários.
Banco de dados do Airflow
O banco de dados do Airflow é uma instância do Cloud SQL executada no projeto de locatário do seu ambiente. Ele hospeda o banco de dados de metadados do Airflow.
Para proteger informações confidenciais de conexão e fluxo de trabalho, o Cloud Composer permite acesso ao banco de dados apenas para a conta de serviço do seu ambiente.
Outros componentes do Airflow
Outros componentes do Airflow que são executados no seu ambiente são:
Os programadores do Airflow analisam arquivos de definição do DAG e programam execuções do DAG com base no intervalo da programação, e coloca em fila as tarefas a serem executadas Workers do Airflow.
Os acionadores do Airflow monitoram de maneira assíncrona todas as tarefas adiadas na sua de nuvem. Se você definir o número de acionadores no seu ambiente acima zero, então você pode usar operadores adiáveis nos DAGs.
Os processadores de DAG do Airflow processam arquivos de DAG e os transformam em do DAG. No Cloud Composer 3, os processadores de DAG são executados como um ambiente separado componentes de solução.
Os workers do Airflow executam tarefas programadas pelo Airflow programadores. O número mínimo e máximo de workers no ambiente muda dinamicamente, dependendo do número de tarefas na fila.
Arquitetura do ambiente do Cloud Composer 3
Nos ambientes do Cloud Composer 3:
- O projeto de locatário hospeda uma instância do Cloud SQL com o Airflow no seu banco de dados.
- Todos os recursos do Airflow são executados no projeto de locatário.
- O projeto do cliente hospeda o bucket do ambiente.
- É possível usar um anexo de rede VPC personalizado no projeto do cliente para anexar o ambiente a uma rede VPC personalizada. Você pode usar um um anexo atual, ou o Cloud Composer pode criá-lo automaticamente sob demanda. Também é possível remover um ambiente uma rede VPC.
- o console do Google Cloud, o Monitoring e Fazer login no projeto do cliente fornece maneiras de gerenciar ambientes de execução de DAGs e DAGs, além de acessar as métricas e ou de sistemas operacionais de contêineres. Também é possível usar a interface do Airflow, a Google Cloud CLI a API Cloud Composer e o Terraform para os mesmos fins.
Integração com o Cloud Logging e o Cloud Monitoring
O Cloud Composer se integra ao Cloud Logging e Cloud Monitoring do seu projeto do Google Cloud, para que você tenha um lugar centralizado para visualizar registros do Airflow e do DAG.
O Cloud Monitoring coleta e ingere métricas, eventos e metadados do Cloud Composer para gerar insights com painéis e gráficos.
Devido à natureza de streaming do Cloud Logging, é possível visualizar os registros emitidos por componentes do Airflow imediatamente, em vez de esperar que eles apareçam no bucket do Cloud Storage do seu ambiente.
Para limitar o número de registros no seu projeto do Google Cloud, pare o processamento de todos os registros. Não desative o Logging.