Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Pour gérer une application critique sur Cloud Composer, différentes responsabilités doivent être assumées par plusieurs groupes. Cette liste n'est pas exhaustive ce document dresse la liste des responsabilités qui incombent à Google côtés.
Responsabilités de Google
Renforcer et l'application de correctifs à Cloud Composer ; de l'environnement et de l'infrastructure sous-jacente, y compris Le cluster Google Kubernetes Engine, la base de données Cloud SQL (qui héberge l'instance Airflow de base de données), Pub/Sub, Artifact Registry et d'autres environnements éléments. Cela inclut la mise à niveau automatique l'infrastructure, y compris le cluster GKE Instance Cloud SQL d'un environnement.
Pour protéger l'accès aux environnements Cloud Composer, intégrant le contrôle des accès fourni par IAM, chiffrer des données au repos par défaut, Fournit un chiffrement du stockage géré par le client supplémentaire, chiffrement des données en transit.
Fournir des intégrations Google Cloud pour Identity and Access Management, Cloud Audit Logging et Cloud Key Management Service.
Restriction et journalisation de l'accès administrateur Google aux données des clients clusters à des fins de support contractuel Access Transparency et Access Approval :
Informations sur la publication des modifications incompatibles avec les versions antérieures entre Versions Cloud Composer et Airflow Notes de version de Cloud Composer
Mise à jour de la documentation Cloud Composer :
Description de toutes les fonctionnalités fournies par Cloud Composer.
Fournir des instructions de dépannage pour maintenir les environnements dans un état sain
Publication d'informations sur les problèmes connus et les solutions de contournement (le cas échéant).
Résoudre les incidents de sécurité critiques liés à Cloud Composer et les images Airflow fournies par Cloud Composer. (à l'exception des packages Python installés par le client) en livrant de nouveaux de l'environnement pour résoudre les incidents.
Selon le plan d'assistance du client, dépannage des problèmes d'état de l'environnement Cloud Composer.
Le maintien et le développement des fonctionnalités Fournisseur Terraform pour Cloud Composer
Collaborer avec la communauté Apache Airflow pour gérer et développer les opérateurs Google Airflow.
Dépannage et, si possible, correction des problèmes liés aux fonctionnalités de base d'Airflow.
Responsabilités du client
Mettre à niveau vers les nouvelles versions de Cloud Composer et d'Airflow pour maintenir la prise en charge du produit et résoudre les problèmes de sécurité une fois que le service Cloud Composer aura publié une version qui les résout.
Gérer le code des DAG afin de le maintenir compatible avec la version d'Airflow utilisée.
Maintenir la configuration du cluster GKE de l'environnement intacte, en particulier sa fonctionnalité de mise à niveau automatique.
Le maintien des autorisations appropriées dans IAM pour les de service géré. En particulier, conservez les autorisations requises par l'agent Cloud Composer et le compte de service de l'environnement. Maintien autorisation requise pour la clé CMEK utilisée pour Cloud Composer et de le faire tourner selon vos besoins.
Le maintien des autorisations appropriées dans IAM pour les et le dépôt Artifact Registry où sont stockées les images de composants de Composer.
Maintenir les autorisations appropriées des utilisateurs finaux dans IAM et Airflow Configuration du contrôle des accès à l'interface utilisateur
Maintenir la taille de la base de données Airflow en dessous de 16 Go à l'aide du DAG de maintenance.
Résolvez tous les problèmes d'analyse DAG avant de créer des demandes d'assistance auprès du service client Cloud.
Ajustement des paramètres de l'environnement Cloud Composer (tels que le processeur et la mémoire pour les composants Airflow) et des configurations Airflow pour répondre aux attentes de performances et de charge des environnements Cloud Composer à l'aide du guide d'optimisation de Cloud Composer et du guide de scaling d'environnement.
Éviter de supprimer les autorisations requises par l'agent Cloud Composer et comptes de service de l'environnement Google Cloud (la suppression de ces autorisations peut entraîner aux opérations de gestion ayant échoué, ou aux DAG et aux échecs de tâches).
Maintenir Tous les services et API requis par Cloud Composer est toujours activée. Les quotas de ces dépendances doivent être configurés aux niveaux requis pour Cloud Composer.
Maintien des dépôts Artifact Registry qui hébergent les images de conteneur utilisées par les environnements Cloud Composer.
Suivez les recommandations et les bonnes pratiques pour implémenter des DAG.
Diagnostiquer les échecs de DAG et de tâches à l'aide des instructions de dépannage du planificateur, de dépannage du DAG et de dépannage du déclencheur.
Éviter d'installer ou d'exécuter des composants supplémentaires dans le Clusters GKE qui interfèrent avec Cloud Composer composants et empêchent leur bon fonctionnement.