Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Esta página descreve a arquitetura dos ambientes do Cloud Composer.
Configurações de arquitetura do ambiente
Os ambientes do Cloud Composer 3 têm uma única configuração que não depende do tipo de rede:
Projetos de clientes e inquilinos
Quando cria um ambiente, o Cloud Composer distribui os recursos do ambiente entre um inquilino e um projeto do cliente:
O projeto do cliente é um Google Cloud projeto onde cria os seus ambientes. Pode criar mais do que um ambiente num único projeto de cliente.
O projeto de inquilino é um projeto de inquilino gerido pela Google e pertence à organização Google.com. O projeto de inquilino oferece controlo de acesso unificado e uma camada adicional de segurança de dados ao seu ambiente. Cada ambiente do Cloud Composer tem o seu próprio projeto de inquilino.
Componentes do ambiente
Um ambiente do Cloud Composer é composto por componentes do ambiente.
Um componente de ambiente é um elemento de uma infraestrutura do Airflow gerida que é executado no Google Cloud, como parte do seu ambiente. Os componentes do ambiente são executados no inquilino ou no projeto do cliente do seu ambiente.
Segmento do ambiente
O contentor do ambiente é um contentor do Cloud Storage que armazena DAGs, plug-ins, dependências de dados e registos do Airflow. O contentor do ambiente está localizado no projeto do cliente.
Quando carrega os ficheiros DAG para a pasta /dags no contentor do seu ambiente, o Cloud Composer sincroniza os DAGs com os componentes do Airflow do seu ambiente.
Servidor Web do Airflow
O servidor Web do Airflow executa a IU do Airflow do seu ambiente.
O Cloud Composer fornece acesso à interface com base nas identidades dos utilizadores e nas associações de políticas do IAM definidas para os utilizadores.
Base de dados do Airflow
A base de dados do Airflow é uma instância do Cloud SQL que é executada no projeto de inquilino do seu ambiente. Alojamento da base de dados de metadados do Airflow.
Para proteger informações confidenciais de ligação e fluxo de trabalho, o Cloud Composer permite o acesso à base de dados apenas à conta de serviço do seu ambiente.
Outros componentes do fluxo de ar
Outros componentes do Airflow que são executados no seu ambiente:
Os programadores do Airflow analisam ficheiros de definição de DAG, programam execuções de DAG com base no intervalo de programação e colocam tarefas em fila para execução pelos trabalhadores do Airflow.
Os acionadores do Airflow monitorizam de forma assíncrona todas as tarefas adiadas no seu ambiente. Se definir o número de acionadores no seu ambiente acima de zero, pode usar operadores adiáveis nos seus DAGs.
Os processadores DAG do Airflow processam ficheiros DAG e transformam-nos em objetos DAG. No Cloud Composer 3, os processadores de DAG são executados como componentes de ambiente separados.
Os trabalhadores do Airflow executam tarefas agendadas pelos programadores do Airflow. O número mínimo e máximo de trabalhadores no seu ambiente muda dinamicamente consoante o número de tarefas na fila.
Arquitetura do ambiente do Cloud Composer 3
Em ambientes do Cloud Composer 3:
- O projeto de inquilino aloja uma instância do Cloud SQL com a base de dados do Airflow.
- Todos os recursos do Airflow são executados no projeto de inquilino.
- O projeto do cliente aloja o contentor do ambiente.
- Pode usar uma associação de rede VPC personalizada no projeto do cliente para associar o ambiente a uma rede VPC personalizada. Pode usar um anexo existente ou o Cloud Composer pode criá-lo automaticamente a pedido. Também é possível desassociar um ambiente de uma rede de VPC.
- Google Cloud , a consola, a monitorização e o registo no projeto do cliente oferecem formas de gerir o ambiente, os DAGs e as execuções de DAGs, bem como de aceder às métricas e aos registos do ambiente. Também pode usar a IU do Airflow, a CLI do Google Cloud, a API Cloud Composer e o Terraform para os mesmos fins.
Em ambientes do Cloud Composer 3 altamente resilientes:
A instância do Cloud SQL do seu ambiente está configurada para alta disponibilidade (é uma instância regional). Numa instância regional, a configuração é composta por uma instância principal e uma instância de reserva.
O seu ambiente executa os seguintes componentes do Airflow em zonas separadas:
- Dois programadores do Airflow
- Dois servidores Web
- Pelo menos, dois processadores DAG (até um total de 10)
Se forem usados acionadores, pelo menos dois acionadores (até um total de 10)
O número mínimo de trabalhadores está definido como dois e o cluster do seu ambiente distribui instâncias de trabalhadores entre zonas. Em caso de uma indisponibilidade zonal, as instâncias de trabalho afetadas são reagendadas numa zona diferente.
Integração com o Cloud Logging e o Cloud Monitoring
O Cloud Composer integra-se com o Cloud Logging e o Cloud Monitoring do seu Google Cloud projeto, para que tenha um local central para ver os registos do Airflow e DAG.
O Cloud Monitoring recolhe e carrega métricas, eventos e metadados do Cloud Composer para gerar estatísticas através de painéis de controlo e gráficos.
Devido à natureza de streaming do Cloud Logging, pode ver os registos emitidos pelos componentes do Airflow imediatamente, em vez de esperar que os registos do Airflow apareçam no contentor do Cloud Storage do seu ambiente.
Para limitar o número de registos no seu Google Cloud projeto, pode parar toda a ingestão de registos. Não desative o registo.