Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Pour exécuter une application stratégique sur Cloud Composer, plusieurs parties doivent assumer des responsabilités distinctes. Bien que cette liste ne soit pas exhaustive, ce document répertorie les responsabilités côté client et côté Google.
Responsabilités de Google
Renforcer et appliquer des correctifs aux composants et à l'infrastructure sous-jacente de l'environnement Cloud Composer, y compris le cluster Google Kubernetes Engine, la base de données Cloud SQL (qui héberge la base de données Airflow), Pub/Sub, Artifact Registry et d'autres éléments d'environnement Cela inclut notamment la mise à niveau automatique de l'infrastructure sous-jacente, y compris le cluster GKE et l'instance Cloud SQL d'un environnement.
Protéger l'accès aux environnements Cloud Composer via l'intégration du contrôle des accès fourni par IAM, le chiffrement par défaut des données au repos, le chiffrement supplémentaire du stockage géré par le client et le chiffrement des données en transit.
Intégrations Google Cloud pour Identity and Access Management, Cloud Audit Logs et Cloud Key Management Service
Restriction et journalisation de l'accès administrateur de Google aux clusters des clients à des fins d'assistance contractuelle avec Access Transparency et Access Approval
Publication d'informations sur les modifications incompatibles avec les versions antérieures entre les versions de Cloud Composer et d'Airflow dans les notes de version de Cloud Composer.
Maintenir la documentation Cloud Composer à jour:
Fournir une description de toutes les fonctionnalités fournies par Cloud Composer.
Fournir des instructions de dépannage qui aident à maintenir les environnements dans un état sain.
Publication d'informations sur les problèmes connus liés aux solutions de contournement (le cas échéant)
Résoudre les incidents de sécurité critiques liés aux environnements Cloud Composer et aux images Airflow fournies par Cloud Composer (à l'exclusion des packages Python installés par le client) en fournissant de nouvelles versions d'environnement traitant les incidents.
Suivant le forfait d'assistance du client, résolution des problèmes liés à l'état de l'environnement Cloud Composer.
Gérer et étendre les fonctionnalités du fournisseur Terraform pour Cloud Composer.
Coopération avec la communauté Apache Airflow pour gérer et développer les opérateurs Google Airflow
Dépannage et, si possible, résolution des problèmes liés aux principales fonctionnalités d'Airflow
Responsabilités du client
Mise à niveau vers de nouvelles versions de Cloud Composer et d'Airflow pour conserver la compatibilité du produit et résoudre les problèmes de sécurité une fois que le service Cloud Composer a publié une version de Cloud Composer qui résout ces problèmes.
Maintenance du code des DAG pour qu'ils restent compatibles avec la version Airflow utilisée.
Conserver la configuration du cluster GKE de l'environnement intacte, en particulier sa fonctionnalité de mise à niveau automatique.
Maintien des autorisations appropriées dans IAM pour le compte de service de l'environnement. En particulier, le maintien des autorisations requises par l'agent Cloud Composer et le compte de service de l'environnement. Conservez les autorisations requises pour la clé CMEK utilisée pour le chiffrement de l'environnement Cloud Composer et effectuez sa rotation en fonction de vos besoins.
Maintenir les autorisations appropriées pour les utilisateurs finaux dans la configuration du contrôle des accès à l'interface utilisateur d'Airflow et d'IAM.
Maintenir la taille de la base de données Airflow en dessous de 16 Go à l'aide du DAG de maintenance
Résolution de tous les problèmes d'analyse du DAG avant d'envoyer des demandes d'assistance à Cloud Customer Care
Ajuster les paramètres d'environnement Cloud Composer (tels que le processeur et la mémoire pour les composants Airflow) et les configurations Airflow pour répondre aux attentes en termes de performances et de charge des environnements Cloud Composer à l'aide du guide d'optimisation Cloud Composer et du guide de scaling de l'environnement.
Éviter de supprimer les autorisations requises par l'agent Cloud Composer et les comptes de service de l'environnement (la suppression de ces autorisations peut entraîner l'échec des opérations de gestion, ou l'échec du DAG et des tâches).
Tous les services et API requis par Cloud Composer doivent rester activés. Ces dépendances doivent avoir des quotas configurés aux niveaux requis pour Cloud Composer.
conserver les dépôts Artifact Registry qui hébergent des images de conteneurs utilisées par les environnements Cloud Composer.
Respectez les recommandations et les bonnes pratiques pour la mise en œuvre des DAG.
Diagnostiquez l'échec du DAG et des tâches à l'aide des instructions de dépannage du programmeur, de dépannage du DAG et du dépannage des déclencheurs.
Éviter d'installer ou d'exécuter dans le cluster GKE de l'environnement des composants supplémentaires qui interfèrent avec les composants Cloud Composer et les empêchent de fonctionner correctement.