Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
A execução de um aplicativo essencial para os negócios no Cloud Composer requer que várias partes tenham responsabilidades diferentes. Embora não seja uma lista completa, este documento lista as responsabilidades tanto do Google quanto do Cliente.
Responsabilidades do Google
Aumentar a proteção e aplicar patches nos componentes e na infraestrutura subjacente do ambiente do Cloud Composer, incluindo o cluster do Google Kubernetes Engine, o banco de dados do Cloud SQL (que hospeda o banco de dados do Airflow), o Pub/Sub, o Artifact Registry e outros elementos de ambiente. Especificamente, isso inclui o upgrade automático da infraestrutura, incluindo o cluster do GKE e a instância do Cloud SQL de um ambiente.
Proteger o acesso aos ambientes do Cloud Composer incorporando o controle de acesso fornecido pelo IAM, criptografando dados em repouso por padrão, fornecendo criptografia de armazenamento gerenciada pelo cliente e criptografando dados em trânsito.
Integração do Google Cloud com o Identity and Access Management, os Registros de auditoria do Cloud e o Cloud Key Management Service.
Restringir e registrar o acesso administrativo do Google aos clusters de clientes para fins de suporte contratual com Transparência no acesso e Aprovação de acesso.
Publicação de informações sobre alterações incompatíveis com versões anteriores do Cloud Composer e do Airflow nas Notas de lançamento do Cloud Composer.
Como manter a documentação do Cloud Composer atualizada:
A descrição de todas as funcionalidades fornecidas pelo Cloud Composer.
Fornecer instruções de solução de problemas que ajudam a manter os ambientes em um estado íntegro.
Publicar informações sobre problemas conhecidos com soluções alternativas (se houver).
Resolver incidentes de segurança críticos relacionados a ambientes do Cloud Composer e imagens do Airflow fornecidas pelo Cloud Composer (exceto pacotes Python instalados pelo cliente) com novas versões de ambiente que resolvam os incidentes.
Dependendo do plano de suporte do cliente, solucionar os problemas de integridade do ambiente do Cloud Composer.
Manter e expandir a funcionalidade do provedor Terraform do Cloud Composer.
Colaborar com a comunidade do Apache Airflow para manter e desenvolver os operadores do Google Airflow
Solução de problemas e, se possível, correção de problemas nas principais funcionalidades do Airflow.
Responsabilidades do cliente
Fazer upgrade para novas versões do Cloud Composer e do Airflow para manter o suporte ao produto e resolver problemas de segurança depois que o serviço do Cloud Composer publica uma versão do Cloud Composer que resolve os problemas.
manutenção do código dos DAGs para que ele seja compatível com a versão usada do Airflow.
Manter a configuração do cluster do GKE do ambiente intacta, incluindo especialmente o recurso de upgrade automático.
Manter as permissões adequadas no IAM para a conta de serviço do ambiente. Particularmente, manter as permissões exigidas pelo agente do Cloud Composer e pela conta de serviço do ambiente. Manter a permissão necessária para a chave CMEK usada para criptografia do ambiente do Cloud Composer e trocá-la de acordo com suas necessidades.
Manter as permissões de usuário final adequadas na configuração do IAM e do controle de acesso da interface do Airflow.
é necessário manter o banco de dados do Airflow abaixo de 16 GB com o DAG de manutenção.
Resolver todos os problemas de análise do DAG antes de encaminhar casos de suporte ao Cloud Customer Care.
Ajustar os parâmetros de ambiente do Cloud Composer (como CPU e memória para componentes do Airflow) e as configurações do Airflow para atender às expectativas de desempenho e carga dos ambientes usando o guia de otimização e o guia de escalonamento do ambiente.
Evitar remover as permissões exigidas pelo agente do Cloud Composer e pelas contas de serviço do ambiente. A remoção dessas permissões pode causar falhas nas operações de gerenciamento ou no DAG e nas tarefas.
Manter todos os serviços e APIs exigidos pelo Cloud Composer sempre ativados. Essas dependências precisam ter cotas configuradas nos níveis exigidos para o Cloud Composer.
Manter repositórios do Artifact Registry que hospedam imagens de contêiner usadas por ambientes do Cloud Composer.
Siga as recomendações e práticas recomendadas para implementar DAGs.
Diagnosticar falhas de DAG e tarefas usando instruções para solução de problemas do programador, Solução de problemas do DAG e solução de problemas do acionador.
Evite instalar ou executar outros componentes no cluster do GKE do ambiente que interfiram nos componentes do Cloud Composer e impeçam o funcionamento correto deles.