Modèle de responsabilité partagée Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Pour exécuter une application critique sur Cloud Composer, différentes responsabilités doivent être assumées par plusieurs groupes. Bien qu'il ne s'agisse pas d'une liste exhaustive, ce document répertorie les responsabilités de Google et du client.

Responsabilités de Google

  • Renforcement et correction des composants et de l'infrastructure sous-jacente de l'environnement Cloud Composer, y compris le cluster Google Kubernetes Engine, la base de données Cloud SQL (qui héberge la base de données Airflow), Pub/Sub, Artifact Registry et d'autres éléments de l'environnement. Cela inclut notamment la mise à niveau automatique de l'infrastructure sous-jacente, y compris du cluster GKE et de l'instance Cloud SQL d'un environnement.

  • Protégez l'accès aux environnements Cloud Composer en intégrant le contrôle des accès fourni par IAM, en chiffrement des données au repos par défaut, en fournissant un chiffrement de stockage supplémentaire géré par le client et en chiffrement des données en transit.

  • Fournir des Google Cloud intégrations pour Identity and Access Management, Cloud Audit Logs et Cloud Key Management Service.

  • Limiter et consigner l'accès administrateur Google aux clusters des clients à des fins d'assistance contractuelle avec Access Transparency et Access Approval.

  • Publication d'informations sur les modifications non rétrocompatibles entre les versions Cloud Composer et Airflow dans les notes de version de Cloud Composer.

  • Mise à jour de la documentation Cloud Composer:

    • Description de toutes les fonctionnalités fournies par Cloud Composer.

    • Fournir des instructions de dépannage pour maintenir les environnements dans un état sain

    • Publier des informations sur les problèmes connus et les solutions de contournement (le cas échéant)

  • Résolution des incidents de sécurité critiques liés aux environnements Cloud Composer et aux images Airflow fournies par Cloud Composer (à l'exception des packages Python installés par le client) en fournissant de nouvelles versions d'environnements pour résoudre les incidents.

  • Selon le plan d'assistance du client, dépannage des problèmes d'état de l'environnement Cloud Composer.

  • Gérer et développer les fonctionnalités du fournisseur Terraform pour Cloud Composer.

  • Collaborer avec la communauté Apache Airflow pour gérer et développer les opérateurs Google Airflow.

  • Résoudre les problèmes liés aux fonctionnalités de base d'Airflow et, si possible, les corriger

Responsabilités du client

  • Mettre à niveau vers les nouvelles versions de Cloud Composer et d'Airflow pour continuer à prendre en charge le produit et résoudre les problèmes de sécurité une fois que le service Cloud Composer aura publié une version de Cloud Composer qui les résout.

  • Gérer le code des DAG afin de le maintenir compatible avec la version d'Airflow utilisée.

  • Maintenir la configuration du cluster GKE de l'environnement intacte, en particulier sa fonctionnalité de mise à niveau automatique.

  • Gérer les autorisations appropriées dans IAM pour le compte de service de l'environnement. En particulier, conservez les autorisations requises par l'agent Cloud Composer et le compte de service de l'environnement. Gérer l'autorisation requise pour la clé CMEK utilisée pour le chiffrement de l'environnement Cloud Composer et la faire pivoter selon vos besoins.

  • Gérer les autorisations appropriées dans IAM pour le bucket de l'environnement et le dépôt Artifact Registry où les images de composants de Cloud Composer sont stockées.

  • Maintenir des autorisations IAM appropriées pour un compte de service qui effectue des installations de paquets PyPI. Pour en savoir plus, consultez la page Contrôle des accès.

  • Maintien des autorisations appropriées pour les utilisateurs finaux dans la configuration du contrôle des accès de l'interface utilisateur IAM et d'Airflow.

  • Maintenir la taille de la base de données Airflow en dessous de 16 Go à l'aide du DAG de maintenance.

  • Résolvez tous les problèmes d'analyse DAG avant de créer des demandes d'assistance auprès du Cloud Customer Care.

  • Nommer les DAG de manière appropriée (par exemple, sans utiliser de caractères invisibles tels que l'espace ou la tabulation dans les noms de DAG) afin que les métriques puissent être correctement enregistrées pour les DAG.

  • Mettez à niveau le code des DAG afin qu'il n'utilise pas d'opérateurs obsolètes et migrez vers leurs alternatives à jour. Les opérateurs obsolètes peuvent être supprimés des fournisseurs Airflow, ce qui peut avoir un impact sur vos projets de mise à niveau vers une version ultérieure de Cloud Composer ou d'Airflow. Les opérateurs obsolètes ne sont pas non plus gérés et doivent être utilisés tels quels.

  • Configurer les autorisations IAM appropriées lorsque vous utilisez des backends de secret tels que Secret Manager afin que le compte de service de l'environnement y ait accès.

  • Ajustement des paramètres de l'environnement Cloud Composer (tels que le processeur et la mémoire pour les composants Airflow) et des configurations Airflow pour répondre aux attentes de performances et de charge des environnements Cloud Composer à l'aide du guide d'optimisation de Cloud Composer et du guide de scaling d'environnement.

  • Éviter de supprimer les autorisations requises par l'agent Cloud Composer et les comptes de service de l'environnement (la suppression de ces autorisations peut entraîner l'échec des opérations de gestion ou des échecs de DAG et de tâches).

  • La permanence de l'activation de tous les services et API requis par Cloud Composer Les quotas de ces dépendances doivent être configurés aux niveaux requis pour Cloud Composer.

  • Maintien des dépôts Artifact Registry qui hébergent les images de conteneur utilisées par les environnements Cloud Composer.

  • Suivez les recommandations et les bonnes pratiques pour implémenter des DAG.

  • Diagnostiquer les échecs de DAG et de tâches à l'aide des instructions de dépannage du planificateur, de dépannage du DAG et de dépannage du déclencheur.

  • Éviter d'installer ou d'exécuter des composants supplémentaires dans le cluster GKE de l'environnement qui interfèrent avec les composants Cloud Composer et les empêchent de fonctionner correctement.

Étapes suivantes