Modelo de responsabilidade compartilhada do Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

A execução de um aplicativo essencial para os negócios no Cloud Composer exige que várias partes tenham responsabilidades diferentes. Embora não seja uma lista completa, este documento lista as responsabilidades do Google e do cliente.

Responsabilidades do Google

  • Proteção e aplicação de patch nos componentes e na infraestrutura do ambiente do Cloud Composer, incluindo cluster do Google Kubernetes Engine, banco de dados do Cloud SQL (que hospeda o banco de dados do Airflow), Pub/Sub, Artifact Registry e outros elementos do ambiente. Isso inclui a atualização automática da infraestrutura subjacente, incluindo o cluster do GKE e a instância do Cloud SQL de um ambiente.

  • Proteção do acesso a ambientes do Cloud Composer incorporando o controle de acesso fornecido pelo IAM, criptografando dados em repouso por padrão, oferecendo criptografia de armazenamento adicional gerenciada pelo cliente e criptografando dados em trânsito.

  • Fornecer integrações Google Cloud para o Identity and Access Management, os registros de auditoria do Cloud e o Cloud Key Management Service.

  • Restringir e registrar o acesso administrativo do Google aos clusters dos clientes para fins de suporte contratual com a Transparência no acesso e a Aprovação de acesso.

  • Publicar informações sobre mudanças incompatíveis com versões anteriores entre o Cloud Composer e as versões do Airflow nas Notas da versão do Cloud Composer.

  • Manter a documentação do Cloud Composer atualizada:

    • Fornece uma descrição de todas as funcionalidades do Cloud Composer.

    • Fornecer instruções de solução de problemas que ajudam a manter os ambientes em um estado saudável.

    • Publicar informações sobre problemas conhecidos com soluções alternativas (se elas existirem).

  • Resolver incidentes de segurança críticos relacionados a ambientes do Cloud Composer e imagens do Airflow fornecidas pelo Cloud Composer (exceto pacotes Python instalados pelo cliente) com novas versões de ambiente que abordam os incidentes.

  • Dependendo do plano de suporte do cliente, solução de problemas de integridade do ambiente do Cloud Composer.

  • Manter e expandir a funcionalidade do provedor do Terraform para Cloud Composer.

  • Colaborar com a comunidade do Apache Airflow para manter e desenvolver operadores do Google Airflow.

  • Solucionar problemas e, se possível, corrigir problemas nas funcionalidades principais do Airflow.

Responsabilidades do cliente

  • Fazer upgrade para novas versões do Cloud Composer e do Airflow para manter o suporte ao produto e resolver problemas de segurança assim que o serviço do Cloud Composer publicar uma versão que resolva os problemas.

  • Manter o código dos DAGs para que ele seja compatível com a versão do Airflow usada.

  • Manter intacta a configuração do cluster do GKE do ambiente, principalmente o recurso de upgrade automático.

  • Manter as permissões adequadas no IAM para a conta de serviço do ambiente. Em especial, manter as permissões exigidas pelo agente do Cloud Composer e pela conta de serviço do ambiente. Manter a permissão necessária para a chave CMEK usada na criptografia do ambiente do Cloud Composer e fazer a rotação dela de acordo com suas necessidades.

  • Manter as permissões adequadas no IAM para o bucket do ambiente e o repositório do Artifact Registry em que as imagens de componentes do Cloud Composer são armazenadas .

  • Manter as permissões adequadas do IAM para uma conta de serviço que realiza instalações de pacotes do PyPI. Para mais informações, consulte Controle de acesso.

  • Manter as permissões adequadas do usuário final na configuração de controle de acesso do IAM e da interface do Airflow.

  • Manter o tamanho do banco de dados do Airflow abaixo de 16 GB usando o DAG de manutenção.

  • Resolva todos os problemas de análise de DAG antes de abrir casos de suporte para o Cloud Customer Care.

  • Nomear os DAGs de maneira adequada (por exemplo, sem usar caracteres invisíveis como ESPAÇO ou TAB nos nomes dos DAGs) para que as métricas possam ser informadas corretamente para os DAGs.

  • Faça upgrade do código dos DAGs para que ele não use operadores descontinuados e migre para as alternativas atualizadas. Os operadores descontinuados podem ser removidos dos provedores do Airflow, o que pode afetar seus planos de upgrade para uma versão mais recente do Cloud Composer ou do Airflow. Os operadores descontinuados também não são mantidos e precisam ser usados "como estão".

  • Configurar as permissões corretas do IAM ao usar back-ends de secrets, como o Secret Manager, para que a conta de serviço do ambiente tenha acesso a ele.

  • Ajustar os parâmetros do ambiente do Cloud Composer (como CPU e memória para componentes do Airflow) e as configurações do Airflow para atender às expectativas de desempenho e carga dos ambientes do Cloud Composer usando o guia de otimização do Cloud Composer e o guia de escalonamento de ambiente.

  • Evite remover as permissões exigidas pelo agente do Cloud Composer e pelas contas de serviço do ambiente. A remoção dessas permissões pode levar a falhas nas operações de gerenciamento ou nos DAGs e tarefas.

  • Manter todos os serviços e APIs exigidos pelo Cloud Composer sempre ativados. Essas dependências precisam ter cotas configuradas nos níveis exigidos pelo Cloud Composer.

  • Manter repositórios do Artifact Registry que hospedam imagens de contêiner usadas por ambientes do Cloud Composer.

  • Seguir recomendações e práticas recomendadas para implementar DAGs.

  • Diagnosticar falhas de DAG e de tarefas usando instruções para solução de problemas do programador, solução de problemas do DAG e solução de problemas do acionador.

  • Evite instalar ou executar outros componentes no cluster do GKE do ambiente que interfiram nos componentes do Cloud Composer e impeçam que eles funcionem corretamente.

A seguir