Modelo de responsabilidade partilhada do Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

A execução de uma aplicação essencial para a empresa no Cloud Composer requer que várias partes tenham responsabilidades diferentes. Embora não seja uma lista exaustiva, este documento indica as responsabilidades da Google e do Cliente.

Responsabilidades da Google

  • Reforçar e aplicar patches aos componentes e à infraestrutura subjacente do ambiente do Cloud Composer, incluindo o cluster do Google Kubernetes Engine, a base de dados do Cloud SQL (que aloja a base de dados do Airflow), o Pub/Sub, o Artifact Registry e outros elementos do ambiente. Em particular, isto inclui a atualização automática da infraestrutura subjacente, incluindo o cluster do GKE e a instância do Cloud SQL de um ambiente.

  • Proteger o acesso a ambientes do Cloud Composer através da incorporação do controlo de acesso fornecido pela IAM, encriptação de dados em repouso por predefinição, fornecimento de encriptação de armazenamento adicional gerida pelo cliente, encriptação de dados em trânsito.

  • Fornecer Google Cloud integrações para a gestão de identidade e de acesso, os registos de auditoria do Google Cloud e o Cloud Key Management Service.

  • Restringir e registar o acesso administrativo da Google aos clusters dos clientes para fins de apoio técnico contratual com a Transparência de acesso e a aprovação de acesso.

  • Publicação de informações sobre alterações incompatíveis com versões anteriores entre as versões do Cloud Composer e do Airflow nas notas de lançamento do Cloud Composer.

  • Manter a documentação do Cloud Composer atualizada:

    • Facultar uma descrição de todas as funcionalidades fornecidas pelo Cloud Composer.

    • Fornecer instruções de resolução de problemas que ajudam a manter os ambientes num estado saudável.

    • Publicar informações sobre problemas conhecidos com soluções alternativas (se existirem).

  • Resolver incidentes de segurança críticos relacionados com ambientes do Cloud Composer e imagens do Airflow fornecidas pelo Cloud Composer (excluindo pacotes Python instalados pelo cliente) através da disponibilização de novas versões do ambiente que resolvem os incidentes.

  • Consoante o plano de apoio técnico do cliente, resolução de problemas de problemas de estado do ambiente do Cloud Composer.

  • Manter e expandir a funcionalidade do fornecedor Terraform do Cloud Composer.

  • Colaborar com a comunidade do Apache Airflow para manter e desenvolver os operadores do Google Airflow.

  • Resolução de problemas e, se possível, correção de problemas nas funcionalidades principais do Airflow.

Responsabilidades do cliente

  • Atualizar para novas versões do Cloud Composer e do Airflow para manter o apoio técnico do produto e resolver problemas de segurança assim que o serviço Cloud Composer publicar uma versão do Cloud Composer que resolva os problemas.

  • Manter o código dos DAGs para o manter compatível com a versão do Airflow usada.

  • Manter as autorizações adequadas no IAM para a conta de serviço do ambiente. Em particular, manter as autorizações necessárias pelo agente do Cloud Composer e pela conta de serviço do ambiente. Manter a autorização necessária para a chave CMEK usada para a encriptação do ambiente do Cloud Composer e rodá-la de acordo com as suas necessidades.

  • Manter as autorizações adequadas no IAM para o contentor do ambiente.

  • Manter as autorizações de IAM adequadas para uma conta de serviço que realiza instalações de pacotes do PyPI. Para mais informações, consulte o artigo Controlo de acesso.

  • Manter as autorizações adequadas do utilizador final na configuração de controlo de acesso da IU do IAM e do Airflow.

  • Manter o tamanho da base de dados do Airflow abaixo de 20 GB através da utilização do DAG de manutenção.

  • Resolver todos os problemas de análise de DAGs antes de apresentar registos de apoio técnico ao apoio técnico ao cliente da Google Cloud.

  • Atribuir nomes aos DAGs de forma adequada (por exemplo, sem usar carateres invisíveis, como ESPAÇO ou TAB nos nomes dos DAGs) para que as métricas possam ser comunicadas corretamente para os DAGs.

  • Atualize o código dos DAGs para que não use operadores descontinuados e migre para as respetivas alternativas atualizadas. Os operadores descontinuados podem ser removidos dos fornecedores do Airflow, o que pode afetar os seus planos de atualização para uma versão posterior do Cloud Composer ou do Airflow. Os operadores descontinuados também não são mantidos e têm de ser usados "tal como estão".

  • Configurar as autorizações da IAM adequadas quando usar back-ends secretos, como o Secret Manager, para que a conta de serviço do ambiente tenha acesso ao mesmo.

  • Ajustar os parâmetros do ambiente do Cloud Composer (como a CPU e a memória dos componentes do Airflow) e as configurações do Airflow para cumprir as expetativas de desempenho e de carga dos ambientes do Cloud Composer através do guia de otimização do Cloud Composer e do guia de escalabilidade do ambiente.

  • Evitar a remoção de autorizações exigidas pelo agente do Cloud Composer e pelas contas de serviço do ambiente (a remoção destas autorizações pode levar a falhas nas operações de gestão ou a falhas de DAG e tarefas).

  • Manter todos os serviços e APIs necessários pelo Cloud Composer sempre ativados. Estas dependências têm de ter quotas configuradas nos níveis necessários para o Cloud Composer.

  • Seguir as recomendações e as práticas recomendadas para a implementação de DAGs.

  • Diagnosticar falhas de DAGs e tarefas através de instruções para resolução de problemas do agendador, resolução de problemas de DAGs e resolução de problemas do acionador.

O que se segue?