Modèle de responsabilité partagée Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Pour exécuter une application stratégique sur Cloud Composer, différentes responsabilités doivent être assumées par plusieurs groupes. Bien que cette liste ne soit pas exhaustive, ce document répertorie les responsabilités de Google et du client.

Responsabilités de Google

  • Le renforcement et l'application de correctifs aux composants de l'environnement Cloud Composer et à l'infrastructure sous-jacente, y compris le cluster Google Kubernetes Engine, la base de données Cloud SQL (qui héberge la base de données Airflow), Pub/Sub, Artifact Registry et d'autres éléments de l'environnement. Cela inclut notamment la mise à niveau automatique de l'infrastructure sous-jacente, y compris le cluster GKE et l'instance Cloud SQL d'un environnement.

  • Protéger l'accès aux environnements Cloud Composer en intégrant le contrôle des accès fourni par IAM, en chiffrant les données au repos par défaut, en fournissant un chiffrement de stockage supplémentaire géré par le client et en chiffrant les données en transit.

  • Fournir des intégrations Google Cloud pour Identity and Access Management, Cloud Audit Logs et Cloud Key Management Service.

  • Limiter et consigner l'accès administrateur Google aux clusters des clients à des fins d'assistance contractuelle avec Access Transparency et Access Approval.

  • Publication d'informations sur les modifications incompatibles avec les versions antérieures entre les versions de Cloud Composer et d'Airflow dans les notes de version de Cloud Composer.

  • Mise à jour de la documentation Cloud Composer :

    • Description de toutes les fonctionnalités fournies par Cloud Composer.

    • Fournir des instructions de dépannage qui aident à maintenir les environnements en bon état.

    • Publication d'informations sur les problèmes connus et les solutions de contournement (le cas échéant).

  • Résoudre les incidents de sécurité critiques liés aux environnements Cloud Composer et aux images Airflow fournies par Cloud Composer (à l'exclusion des packages Python installés par le client) en fournissant de nouvelles versions d'environnement permettant de résoudre les incidents.

  • Dépannage des problèmes d'état de l'environnement Cloud Composer en fonction du forfait d'assistance du client.

  • Maintenir et étendre les fonctionnalités du fournisseur Terraform Cloud Composer.

  • Coopération avec la communauté Apache Airflow pour la maintenance et le développement des opérateurs Google Airflow.

  • Résoudre les problèmes et, si possible, les corriger dans les fonctionnalités de base d'Airflow.

Responsabilités du client

  • Mettez à niveau Cloud Composer et Airflow vers de nouvelles versions pour continuer à bénéficier de l'assistance produit et résoudre les problèmes de sécurité dès que le service Cloud Composer publie une version de Cloud Composer qui résout ces problèmes.

  • Maintenir le code des DAG pour qu'il reste compatible avec la version d'Airflow utilisée.

  • Conserver intacte la configuration du cluster GKE de l'environnement, en particulier sa fonctionnalité de mise à niveau automatique.

  • Maintenir les autorisations appropriées dans IAM pour le compte de service de l'environnement. En particulier, conservez les autorisations requises par l'agent Cloud Composer et le compte de service de l'environnement. Maintenir l'autorisation requise pour la clé CMEK utilisée pour le chiffrement de l'environnement Cloud Composer et la faire pivoter selon vos besoins.

  • Maintenir les autorisations appropriées dans IAM pour le bucket de l'environnement et le dépôt Artifact Registry où sont stockées les images de composants de Cloud Composer.

  • Maintenir les autorisations IAM appropriées pour un compte de service qui effectue des installations de packages PyPI. Pour en savoir plus, consultez la page Contrôle des accès.

  • Maintenir des autorisations appropriées pour les utilisateurs finaux dans IAM et la configuration du contrôle des accès à l'interface utilisateur d'Airflow.

  • Maintenir la taille de la base de données Airflow en dessous de 16 Go à l'aide du DAG de maintenance.

  • Résolvez tous les problèmes d'analyse DAG avant de créer des demandes d'assistance auprès du Cloud Customer Care.

  • Nommer correctement les DAG (par exemple, sans utiliser de caractères invisibles comme ESPACE ou TAB dans les noms de DAG) afin que les métriques puissent être correctement signalées pour les DAG.

  • Mettez à niveau le code des DAG afin qu'il n'utilise pas d'opérateurs obsolètes et migrez vers leurs alternatives à jour. Les opérateurs obsolètes peuvent être supprimés des fournisseurs Airflow, ce qui peut avoir un impact sur vos plans de mise à niveau vers une version ultérieure de Cloud Composer ou d'Airflow. Les opérateurs obsolètes ne sont pas non plus mis à jour et doivent être utilisés "tels quels".

  • Configurer les autorisations IAM appropriées lorsque vous utilisez des backends secrets tels que Secret Manager afin que le compte de service de l'environnement y ait accès.

  • Ajustez les paramètres de l'environnement Cloud Composer (tels que le processeur et la mémoire des composants Airflow) et les configurations Airflow pour répondre aux attentes en termes de performances et de charge des environnements Cloud Composer à l'aide du guide d'optimisation de Cloud Composer et du guide de scaling d'environnement.

  • Évitez de supprimer les autorisations requises par les comptes de service de l'agent et de l'environnement Cloud Composer (la suppression de ces autorisations peut entraîner l'échec des opérations de gestion ou des DAG et des tâches).

  • En gardant tous les services et API requis par Cloud Composer toujours activés. Ces dépendances doivent avoir des quotas configurés aux niveaux requis pour Cloud Composer.

  • Conserver les dépôts Artifact Registry qui hébergent les images de conteneurs utilisées par les environnements Cloud Composer.

  • Suivez les recommandations et les bonnes pratiques pour implémenter les DAG.

  • Diagnostiquer les échecs de DAG et de tâches à l'aide des instructions de dépannage du programmateur, de dépannage des DAG et de dépannage du déclencheur.

  • Évitez d'installer ou d'exécuter des composants supplémentaires dans le cluster GKE de l'environnement qui interfèrent avec les composants Cloud Composer et les empêchent de fonctionner correctement.

Étapes suivantes