Cloud Composer 1 | Cloud Composer 2
Pour exécuter une application stratégique sur Cloud Composer, plusieurs parties doivent assumer des responsabilités différentes. Bien qu'il ne s'agisse pas d'une liste exhaustive, ce document recense les responsabilités de Google et du client.
Responsabilités de Google
Renforcer et corriger les composants et l'infrastructure sous-jacente de l'environnement Cloud Composer, y compris le cluster Google Kubernetes Engine, la base de données Cloud SQL (qui héberge la base de données Airflow), Pub/Sub, Artifact Registry et d'autres éléments de l'environnement En particulier, cela inclut la mise à niveau automatique de l'infrastructure sous-jacente, y compris le cluster GKE et l'instance Cloud SQL d'un environnement.
Protection de l'accès aux environnements Cloud Composer via l'intégration du contrôle des accès fourni par IAM, le chiffrement des données au repos par défaut, le chiffrement supplémentaire du stockage géré par le client et le chiffrement des données en transit.
Fournir des intégrations à Google Cloud pour Identity and Access Management, Cloud Audit Logs et Cloud Key Management Service.
Restriction et journalisation de l'accès administrateur de Google aux clusters des clients à des fins d'assistance contractuelle avec Access Transparency et Access Approval.
Publication d'informations sur les modifications incompatibles avec les versions antérieures entre les versions de Cloud Composer et d'Airflow dans les notes de version de Cloud Composer.
Maintenir la documentation Cloud Composer à jour:
Fournir une description de toutes les fonctionnalités fournies par Cloud Composer
Fournir des instructions de dépannage permettant de maintenir les environnements en bon état
Publication d'informations sur les problèmes connus avec des solutions de contournement (le cas échéant)
Résolution d'incidents de sécurité critiques liés aux environnements Cloud Composer et aux images Airflow fournies par Cloud Composer (à l'exclusion des packages Python installés par le client) en fournissant de nouvelles versions d'environnement pour résoudre les incidents.
En fonction de la formule d'assistance du client, dépannage des problèmes liés à l'état de l'environnement Cloud Composer.
Gérer et étendre les fonctionnalités du fournisseur Terraform pour Cloud Composer
Coopération avec la communauté Apache Airflow pour la maintenance et le développement des opérateurs Google Airflow
Résoudre les problèmes liés aux fonctionnalités principales d'Airflow et, si possible, résoudre les problèmes associés.
Responsabilités du client
Mise à niveau vers les nouvelles versions de Cloud Composer et d'Airflow pour maintenir la compatibilité du produit et résoudre les problèmes de sécurité une fois que le service Cloud Composer publie une version Cloud Composer qui résout les problèmes.
Gérer le code des DAG pour qu'il reste compatible avec la version Airflow utilisée.
conserver la configuration du cluster GKE de l'environnement, en particulier sa fonctionnalité de mise à niveau automatique ;
Maintien des autorisations appropriées dans IAM pour le compte de service de l'environnement. en particulier le fait de conserver les autorisations requises par l'agent Cloud Composer et le compte de service de l'environnement. Conserver l'autorisation requise pour la clé CMEK utilisée pour le chiffrement de l'environnement Cloud Composer et la faire pivoter en fonction de vos besoins.
Maintenir les autorisations d'utilisateur final appropriées dans la configuration du contrôle des accès à l'interface utilisateur d'IAM et d'Airflow
Maintenir une taille de base de données Airflow inférieure à 16 Go grâce au DAG de maintenance.
Résolution de tous les problèmes d'analyse des DAG avant d'envoyer des demandes d'assistance à Cloud Customer Care
Ajuster les paramètres de l'environnement Cloud Composer (tels que le processeur et la mémoire pour les composants Airflow) et les configurations Airflow pour répondre aux attentes en termes de performances et de charge des environnements Cloud Composer, à l'aide du guide d'optimisation Cloud Composer et du guide de scaling de l'environnement
Éviter de supprimer les autorisations requises par l'agent Cloud Composer et les comptes de service de l'environnement (la suppression de ces autorisations peut entraîner l'échec d'opérations de gestion ou des échecs de DAG et de tâches).
Tous les services et API requis par Cloud Composer doivent toujours être activés. Des quotas doivent être configurés aux niveaux requis pour Cloud Composer pour ces dépendances.
Conserver les dépôts Artifact Registry qui hébergent des images de conteneur utilisées par les environnements Cloud Composer.
Respectez les recommandations et les bonnes pratiques d'implémentation des DAG.
Diagnostiquer les échecs de DAG et de tâches à l'aide d'instructions pour le dépannage du programmeur, le dépannage du DAG et le dépannage des déclencheurs.
Éviter d'installer ou d'exécuter des composants supplémentaires dans le cluster GKE de l'environnement qui interfèrent avec les composants Cloud Composer et les empêchent de fonctionner correctement.