Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Pour gérer une application critique sur Cloud Composer, différentes responsabilités doivent être assumées par plusieurs groupes. Cette liste n'est pas exhaustive ce document dresse la liste des responsabilités qui incombent à Google côtés.
Responsabilités de Google
Renforcement et correction des composants et de l'infrastructure sous-jacente de l'environnement Cloud Composer, y compris le cluster Google Kubernetes Engine, la base de données Cloud SQL (qui héberge la base de données Airflow), Pub/Sub, Artifact Registry et d'autres éléments de l'environnement. Cela inclut notamment la mise à niveau automatique de l'infrastructure sous-jacente, y compris du cluster GKE et de l'instance Cloud SQL d'un environnement.
Protégez l'accès aux environnements Cloud Composer en intégrant le contrôle des accès fourni par IAM, en chiffrement des données au repos par défaut, en fournissant un chiffrement de stockage supplémentaire géré par le client et en chiffrement des données en transit.
Intégrations Google Cloud pour Identity and Access Management et Cloud Audit Logs et Cloud Key Management Service.
Restriction et journalisation de l'accès administrateur Google aux données des clients clusters à des fins de support contractuel Access Transparency et Access Approval :
Publication d'informations sur les modifications non rétrocompatibles entre les versions Cloud Composer et Airflow dans les notes de version de Cloud Composer.
Mise à jour de la documentation Cloud Composer :
Description de toutes les fonctionnalités fournies par Cloud Composer.
En fournissant des instructions de dépannage qui aident à maintenir les environnements en bon état de fonctionnement.
La publication d'informations sur les problèmes connus liés aux solutions de contournement (si elles existent).
Résolution des incidents de sécurité critiques liés aux environnements Cloud Composer et aux images Airflow fournies par Cloud Composer (à l'exception des packages Python installés par le client) en fournissant de nouvelles versions d'environnements pour résoudre les incidents.
En fonction du forfait d'assistance dont dispose le client, Problèmes liés à l'état de l'environnement Cloud Composer.
Gérer et développer les fonctionnalités du fournisseur Terraform Cloud Composer.
Collaborer avec la communauté Apache Airflow pour gérer et développer les opérateurs Google Airflow.
Dépannage et, si possible, correction des problèmes liés aux fonctionnalités de base d'Airflow.
Responsabilités du client
Mettre à niveau vers les nouvelles versions de Cloud Composer et d'Airflow pour maintenir la prise en charge du produit et résoudre les problèmes de sécurité une fois que le service Cloud Composer aura publié une version qui les résout.
Maintenance du code des DAG pour qu'ils restent compatibles avec la version Airflow utilisée.
Maintenir la configuration du cluster GKE de l'environnement intacte, en particulier sa fonctionnalité de mise à niveau automatique.
Gérer les autorisations appropriées dans IAM pour le compte de service de l'environnement. En particulier, conservez les autorisations requises par l'agent Cloud Composer et le compte de service de l'environnement. Gérer l'autorisation requise pour la clé CMEK utilisée pour le chiffrement de l'environnement Cloud Composer et la faire pivoter selon vos besoins.
Maintenir les autorisations appropriées dans IAM pour le bucket de l'environnement et le dépôt Artifact Registry où les images de composants de Composer sont stockées.
Maintenir les autorisations appropriées des utilisateurs finaux dans IAM et Airflow Configuration du contrôle des accès à l'interface utilisateur
Maintenir la taille de la base de données Airflow en dessous de 16 Go en utilisant le DAG de maintenance.
Résolvez tous les problèmes d'analyse DAG avant de créer des demandes d'assistance auprès du service client Cloud.
Ajuster les paramètres d'environnement Cloud Composer (tels que le processeur et mémoire pour les composants Airflow) et les configurations Airflow pour répondre en termes de performances et de charge des environnements Cloud Composer avec Guide d'optimisation de Cloud Composer et le guide sur le scaling de l'environnement.
Éviter de supprimer les autorisations requises par l'agent Cloud Composer et comptes de service de l'environnement Google Cloud (la suppression de ces autorisations peut entraîner aux opérations de gestion ayant échoué, ou aux DAG et aux échecs de tâches).
La permanence de l'activation de tous les services et API requis par Cloud Composer Ces dépendances doivent avoir des quotas configurés aux niveaux requises pour Cloud Composer.
Conserver les dépôts Artifact Registry qui hébergent les images de conteneurs utilisées par Environnements Cloud Composer.
Suivre les recommandations et les bonnes pratiques pour à implémenter des DAG.
Diagnostiquer les échecs des DAG et des tâches à l'aide d'instructions pour dépannage du planificateur, Dépannage du DAG et dépannage du déclencheur.
Éviter d'installer ou d'exécuter des composants supplémentaires dans le Clusters GKE qui interfèrent avec Cloud Composer composants et empêchent leur bon fonctionnement.