Modell der geteilten Verantwortung für Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Für die Ausführung einer geschäftskritischen Anwendung in Cloud Composer müssen mehrere Parteien unterschiedliche Verantwortlichkeiten übernehmen. In diesem Dokument werden die Verantwortlichkeiten aufgeführt, die Google und dem Kunden obliegen. Die Liste ist jedoch nicht vollständig.

Verantwortlichkeiten von Google

  • Absicherung und Patching der Komponenten und der zugrunde liegenden Infrastruktur der Cloud Composer-Umgebung, einschließlich des Google Kubernetes Engine-Clusters, der Cloud SQL-Datenbank (in der die Airflow-Datenbank gehostet wird), Pub/Sub, Artifact Registry und anderer Umgebungselemente. Dazu gehört insbesondere das automatische Upgrade der zugrunde liegenden Infrastruktur, einschließlich des GKE-Cluster und der Cloud SQL-Instanz einer Umgebung.

  • Schutz des Zugriffs auf Cloud Composer-Umgebungen durch Einbeziehung der von IAM bereitgestellten Zugriffssteuerung, Standardverschlüsselung inaktiver Daten, Bereitstellung von zusätzlicher vom Kunden verwalteter Speicherverschlüsselung und Verschlüsselung von Daten bei der Übertragung.

  • Bereitstellung von Google Cloud Integrationen für Identity and Access Management, Cloud-Audit-Logs und Cloud Key Management Service.

  • Beschränken und Protokollieren des administrativen Zugriffs von Google auf Kundencluster mit Access Transparency und Access Approval für vertragliche Supportzwecke.

  • Veröffentlichung von Informationen zu abwärtsinkompatiblen Änderungen zwischen Cloud Composer- und Airflow-Versionen in den Cloud Composer-Versionshinweisen.

  • Cloud Composer-Dokumentation auf dem neuesten Stand halten:

    • Hier finden Sie eine Beschreibung aller Funktionen von Cloud Composer.

    • Anleitung zur Fehlerbehebung, damit Umgebungen in einem guten Zustand bleiben.

    • Veröffentlichung von Informationen zu bekannten Problemen mit Problemumgehungen (falls vorhanden).

  • Beheben kritischer Sicherheitsvorfälle im Zusammenhang mit Cloud Composer-Umgebungen und von Cloud Composer bereitgestellten Airflow-Images (mit Ausnahme von vom Kunden installierten Python-Paketen) durch Bereitstellung neuer Umgebungsversionen, in denen die Vorfälle behoben werden.

  • Je nach Support-Abo des Kunden kann die Fehlerbehebung bei Problemen mit dem Systemstatus der Cloud Composer-Umgebung erfolgen.

  • Wartung und Erweiterung der Funktionalität des Cloud Composer-Terraform-Anbieters.

  • Zusammenarbeit mit der Apache Airflow-Community bei der Wartung und Entwicklung von Google Airflow-Operatoren.

  • Fehlerbehebung und, falls möglich, Behebung von Problemen in den Airflow-Kernfunktionen.

Pflichten der Kunden

  • Führen Sie ein Upgrade auf neue Cloud Composer- und Airflow-Versionen durch, um die Unterstützung für das Produkt aufrechtzuerhalten und Sicherheitsprobleme zu beheben, sobald der Cloud Composer-Dienst eine Cloud Composer-Version veröffentlicht, in der die Probleme behoben werden.

  • Den DAG-Code so zu pflegen, dass er mit der verwendeten Airflow-Version kompatibel bleibt.

  • Die GKE-Clusterkonfiguration der Umgebung muss intakt bleiben, insbesondere die Funktion für automatische Upgrades.

  • Die richtigen Berechtigungen in IAM für das Dienstkonto der Umgebung beibehalten. Insbesondere die Berechtigungen, die vom Cloud Composer-Agent und vom Dienstkonto der Umgebung benötigt werden. Die erforderliche Berechtigung für den CMEK-Schlüssel, der für die Cloud Composer-Umgebungsverschlüsselung verwendet wird, muss beibehalten und nach Bedarf rotiert werden.

  • Die richtigen Berechtigungen in IAM für den Bucket der Umgebung und das Artifact Registry-Repository beibehalten, in dem die Komponenten-Images von Cloud Composer gespeichert sind.

  • Die richtigen IAM-Berechtigungen für ein Dienstkonto beibehalten, das PyPI-Pakete installiert. Weitere Informationen finden Sie unter Zugriffssteuerung.

  • Aufrechterhaltung der richtigen Endnutzerberechtigungen in IAM und der Airflow-UI-Zugriffssteuerungskonfiguration.

  • Die Größe der Airflow-Datenbank muss durch Verwendung des Wartungs-DAG unter 16 GB gehalten werden.

  • Alle Probleme beim DAG-Parsing beheben, bevor Sie Supportanfragen an Cloud Customer Care richten.

  • DAGs richtig benennen, z. B. ohne unsichtbare Zeichen wie LEERZEICHEN oder TAB in DAG-Namen, damit Messwerte für DAGs korrekt erfasst werden können.

  • Aktualisieren Sie den Code von DAGs, damit keine eingestellten Operatoren verwendet werden, und migrieren Sie zu den aktuellen Alternativen. Eingestellte Operatoren werden möglicherweise aus Airflow-Providern entfernt, was sich auf Ihre Pläne für ein Upgrade auf eine spätere Cloud Composer- oder Airflow-Version auswirken kann. Die eingestellten Operatoren werden auch nicht mehr gewartet und müssen „wie besehen“ verwendet werden.

  • Konfigurieren Sie die richtigen IAM-Berechtigungen, wenn Sie Secret-Back-Ends wie Secret Manager verwenden, damit das Dienstkonto der Umgebung darauf zugreifen kann.

  • Anpassen von Cloud Composer-Umgebungsparametern (z. B. CPU und Arbeitsspeicher für Airflow-Komponenten) und Airflow-Konfigurationen, um die Leistungs- und Lastanforderungen von Cloud Composer-Umgebungen zu erfüllen. Verwenden Sie dazu den Cloud Composer-Optimierungsleitfaden und den Leitfaden zur Umgebungsskalierung.

  • Vermeiden Sie das Entfernen von Berechtigungen, die für die Dienstkonten des Cloud Composer-Agents und der Umgebung erforderlich sind. Das Entfernen dieser Berechtigungen kann entweder zu fehlgeschlagenen Verwaltungsoperationen oder zu DAG- und Aufgabenfehlern führen.

  • Alle von Cloud Composer benötigten Dienste und APIs müssen immer aktiviert sein. Für diese Abhängigkeiten müssen Kontingente auf den für Cloud Composer erforderlichen Ebenen konfiguriert sein.

  • Artifact Registry-Repositories mit Container-Images, die von Cloud Composer-Umgebungen verwendet werden, beibehalten.

  • Empfehlungen und Best Practices für die Implementierung von DAGs beachten.

  • Diagnose von DAG- und Aufgabenfehlern anhand der Anleitungen zur Fehlerbehebung beim Planer, Fehlerbehebung bei DAGs und Fehlerbehebung beim Trigger.

  • Vermeiden Sie die Installation oder Ausführung zusätzlicher Komponenten im GKE-Cluster der Umgebung, die die Cloud Composer-Komponenten beeinträchtigen und verhindern, dass sie richtig funktionieren.

Nächste Schritte