Cloud Composer 1 | Cloud Composer 2
Para executar um aplicativo essencial para os negócios no Cloud Composer, várias partes precisam ter responsabilidades diferentes. Embora não seja uma lista completa, este documento lista as responsabilidades do Google e do Cliente.
Responsabilidades do Google
Como aumentar a proteção e a aplicação de patches nos componentes do ambiente do Cloud Composer e na infraestrutura subjacente, incluindo o cluster do Google Kubernetes Engine, o banco de dados do Cloud SQL (que hospeda o banco de dados do Airflow), o Pub/Sub, o Artifact Registry e outros elementos do ambiente. Em particular, isso inclui o upgrade automático da infraestrutura, incluindo o cluster do GKE e a instância do Cloud SQL de um ambiente.
Proteger o acesso a ambientes do Cloud Composer incorporar o controle de acesso fornecido pelo IAM, criptografar dados em repouso por padrão, fornecer criptografia de armazenamento gerenciada pelo cliente e criptografar dados em trânsito.
Fornece integrações do Google Cloud para o Identity and Access Management, os Registros de auditoria do Cloud e o Cloud Key Management Service.
Restringir e registrar o acesso administrativo do Google aos clusters de clientes para fins de suporte contratual com Transparência no acesso e Aprovação de acesso.
Publicação de informações sobre mudanças incompatíveis com versões anteriores do Cloud Composer e do Airflow nas Notas de lançamento do Cloud Composer.
Como manter a documentação do Cloud Composer atualizada:
Descrição de todas as funcionalidades fornecidas pelo Cloud Composer.
Fornece instruções de solução de problemas que ajudam a manter os ambientes em um estado íntegro.
Publicação de informações sobre problemas conhecidos com soluções alternativas (se houver).
Resolver incidentes de segurança críticos relacionados a ambientes do Cloud Composer e imagens do Airflow fornecidos pelo Cloud Composer (exceto pacotes Python instalados pelo cliente) ao fornecer novas versões de ambiente que atendam aos incidentes.
Dependendo do plano de suporte do cliente, solucionar problemas de integridade do ambiente do Cloud Composer.
Manter e expandir a funcionalidade do provedor do Terraform do Cloud Composer.
Colaborar com a comunidade do Apache Airflow para manter e desenvolver operadores do Google Airflow.
solucionar problemas e, se possível, corrigir problemas nas funcionalidades principais do Airflow.
Responsabilidades do cliente
fazer upgrade para novas versões do Cloud Composer e do Airflow para manter a compatibilidade com o produto e resolver problemas de segurança quando o serviço do Cloud Composer publicar uma versão que resolva os problemas;
Manter o código dos DAGs para mantê-lo compatível com a versão usada do Airflow.
Manter a configuração do cluster do GKE do ambiente intacta, incluindo o recurso de upgrade automático.
Manutenção das permissões adequadas no IAM para a conta de serviço do ambiente. Particularmente, manter as permissões exigidas pelo Agente do Cloud Composer e pela conta de serviço do ambiente. Manter a permissão necessária para a chave CMEK usada para a criptografia do ambiente do Cloud Composer e alterná-la de acordo com suas necessidades.
Manutenção das permissões de usuário final adequadas na configuração do IAM e do controle de acesso da IU do Airflow.
Manter o tamanho do banco de dados do Airflow abaixo de 16 GB usando o DAG de manutenção.
resolver todos os problemas de análise do DAG antes de encaminhar casos de suporte para o Cloud Customer Care.
Ajustar os parâmetros do ambiente do Cloud Composer (como CPU e memória para componentes do Airflow) e as configurações do Airflow para atender às expectativas de desempenho e carga dos ambientes do Cloud Composer usando o Guia de otimização do Cloud Composer e o guia de escalonamento de ambiente.
Evite remover as permissões exigidas pelo agente do Cloud Composer e pelas contas de serviço do ambiente. A remoção dessas permissões pode levar a operações de gerenciamento com falha ou a falhas no DAG e na tarefa.
Manter todos os serviços e APIs exigidos pelo Cloud Composer sempre ativados. Essas dependências precisam ter cotas configuradas nos níveis necessários para o Cloud Composer.
Manter os repositórios do Artifact Registry que hospedam imagens de contêiner usadas por ambientes do Cloud Composer.
Seguir as recomendações e práticas recomendadas para a implementação de DAGs.
diagnóstico de falhas de DAG e tarefa usando instruções de solução de problemas do programador, solução de problemas do DAG e solução do acionador;
Evite instalar ou executar outros componentes no cluster do GKE do ambiente que interferem nos componentes do Cloud Composer e impedem que eles funcionem corretamente.