Modelo de responsabilidade compartilhada do Cloud Composer

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

A execução de um aplicativo essencial para os negócios no Cloud Composer exige que várias partes tenham responsabilidades diferentes. Embora não seja uma lista completa, este documento lista as responsabilidades do Google e do cliente.

Responsabilidades do Google

  • Aumento da proteção e Aplicar um patch no Cloud Composer os componentes e a infraestrutura subjacente, incluindo Cluster do Google Kubernetes Engine, banco de dados do Cloud SQL (que hospeda o servidor banco de dados), Pub/Sub, Artifact Registry e outros os elementos. Isso inclui o upgrade automático da infraestrutura subjacente, incluindo o cluster do GKE e a instância do Cloud SQL de um ambiente.

  • Como proteger o acesso aos ambientes do Cloud Composer com incorporando o controle de acesso fornecido pelo IAM, criptografar dados em repouso por padrão, fornecer criptografia extra no armazenamento gerenciado pelo cliente, criptografia de dados em trânsito.

  • Integração do Google Cloud com o Identity and Access Management e os Registros de auditoria do Cloud e o Cloud Key Management Service.

  • Restringir e registrar o acesso administrativo do Google aos clientes clusters para fins de suporte contratual com Transparência no acesso e Aprovação de acesso.

  • Publicar informações sobre alterações incompatíveis com versões anteriores entre Versões do Cloud Composer e Airflow no Notas de lançamento do Cloud Composer.

  • Como manter a documentação do Cloud Composer atualizada:

    • Fornecer uma descrição de todas as funcionalidades fornecidas pelo Cloud Composer

    • Fornecer instruções de solução de problemas que ajudam a manter os ambientes em um estado saudável.

    • Publicação de informações sobre problemas conhecidos com soluções alternativas (se existirem).

  • Solução de incidentes de segurança críticos relacionados a ambientes do Cloud Composer e imagens do Airflow fornecidas pelo Cloud Composer (exceto pacotes Python instalados pelo cliente) com a entrega de novas versões de ambiente que abordam os incidentes.

  • Dependendo do plano de suporte do cliente, a solução de problemas de integridade do ambiente do Cloud Composer.

  • Manter e expandir a funcionalidade do provedor do Terraform do Cloud Composer.

  • Cooperar com a comunidade do Apache Airflow para manter e desenvolver operadores do Google Airflow.

  • Solucionar problemas e, se possível, corrigir problemas nas funcionalidades principais do Airflow.

Responsabilidades do cliente

  • como fazer upgrade para novas versões do Cloud Composer e do Airflow para manter suporte para o produto e resolver problemas de segurança O serviço do Cloud Composer publica que resolva os problemas.

  • manutenção do código dos DAGs para que ele seja compatível com a versão usada do Airflow.

  • Como manter intacta a configuração do cluster do GKE do ambiente, incluindo o recurso de upgrade automático.

  • Manter as permissões adequadas no IAM para os conta de serviço. Particularmente, manter as permissões exigidas pelo Agente do Cloud Composer e os conta de serviço do ambiente. Mantenha a permissão necessária para a chave CMEK usada para criptografia do ambiente do Cloud Composer e gire-a de acordo com suas necessidades.

  • Mantenha as permissões adequadas no IAM para o bucket do ambiente e o repositório do Artifact Registry, onde as imagens de componentes do Composer são armazenadas.

  • Como manter as permissões adequadas do usuário final no IAM e no Airflow Configuração do controle de acesso da interface.

  • Mantenha o tamanho do banco de dados do Airflow abaixo de 16 GB usando o DAG de manutenção.

  • Resolver todos os problemas de análise do DAG antes de criar casos de suporte para Cloud Customer Care.

  • Ajustar os parâmetros do ambiente do Cloud Composer (como CPU e memória para componentes do Airflow) e configurações do Airflow para atender desempenho e as expectativas de carga dos ambientes do Cloud Composer usando Guia de otimização do Cloud Composer e guia de escalonamento do ambiente.

  • Evite remover as permissões necessárias pelo agente do Cloud Composer e pelas contas de serviço do ambiente. A remoção dessas permissões pode levar a falhas nas operações de gerenciamento ou em DAGs e tarefas.

  • Mantenha todos os serviços e APIs necessários pelo Cloud Composer sempre ativados. Essas dependências precisam ter cotas configuradas nos níveis exigidos para o Cloud Composer.

  • Manter repositórios do Artifact Registry que hospedam imagens de contêiner usadas por ambientes do Cloud Composer.

  • Seguir as recomendações e práticas recomendadas para a implementação de DAGs.

  • Diagnosticar falhas de DAG e tarefas usando instruções para solução de problemas do programador, solução de problemas do DAG e solução de problemas do acionador.

  • Evite instalar ou executar outros componentes no cluster do GKE do ambiente que interfiram nos componentes do Cloud Composer e impeçam o funcionamento correto deles.

A seguir