Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Für das Ausführen geschäftskritischer Anwendungen in Cloud Composer müssen mehrere Parteien unterschiedliche Verantwortlichkeiten übernehmen. In diesem Dokument sind die Verantwortlichkeiten für Google und den Kunden aufgeführt. Die Liste ist jedoch nicht vollständig.
Verantwortlichkeiten von Google
Härtung und Patchen der Komponenten und der zugrunde liegenden Infrastruktur der Cloud Composer-Umgebung, einschließlich Google Kubernetes Engine-Cluster, Cloud SQL-Datenbank (die die Airflow-Datenbank hostet), Pub/Sub, Artifact Registry und anderer Umgebungselemente. Dazu gehört insbesondere das automatische Upgrade der zugrunde liegenden Infrastruktur, einschließlich des GKE-Clusters und der Cloud SQL-Instanz einer Umgebung.
Schutz des Zugriffs auf Cloud Composer-Umgebungen durch Einbindung der Zugriffssteuerung von IAM, Verschlüsselung inaktiver Daten standardmäßig, zusätzliche vom Kunden verwaltete Speicherverschlüsselung und Verschlüsselung von Daten während der Übertragung.
Bereitstellung von Google Cloud Integrationen für Identity and Access Management, Cloud Audit Logs und Cloud Key Management Service.
Beschränken und Protokollieren des administrativen Zugriffs von Google auf Kundencluster mit Access Transparency und Access Approval für vertragliche Supportzwecke.
Informationen zu nicht abwärtskompatiblen Änderungen zwischen Cloud Composer- und Airflow-Versionen in den Cloud Composer-Releasehinweisen veröffentlichen.
Cloud Composer-Dokumentation auf dem neuesten Stand halten:
Beschreibung aller Funktionen von Cloud Composer.
Anleitungen zur Fehlerbehebung, die dazu beitragen, dass Umgebungen in einem fehlerfreien Zustand bleiben.
Informationen zu bekannten Problemen mit Umgehungsmöglichkeiten veröffentlichen (falls vorhanden)
Behebung kritischer Sicherheitsvorfälle im Zusammenhang mit Cloud Composer-Umgebungen und von Cloud Composer bereitgestellten Airflow-Images (ausgenommen vom Kunden installierte Python-Pakete) durch Bereitstellung neuer Umgebungsversionen, die die Vorfälle beheben.
Je nach Supportplan des Kunden Fehlerbehebung bei Problemen mit der Verfügbarkeit der Cloud Composer-Umgebung.
Wartung und Erweiterung der Funktionen des Cloud Composer Terraform-Anbieters
Zusammenarbeit mit der Apache Airflow-Community zur Pflege und Entwicklung von Google Airflow-Operatoren
Fehlerbehebung und Behebung von Problemen mit den Hauptfunktionen von Airflow.
Pflichten der Kunden
Führen Sie ein Upgrade auf neue Cloud Composer- und Airflow-Versionen durch, um den Support für das Produkt aufrechtzuerhalten und Sicherheitsprobleme zu beheben, sobald der Cloud Composer-Dienst eine Cloud Composer-Version veröffentlicht, die die Probleme behebt.
Den DAG-Code so pflegen, dass er mit der verwendeten Airflow-Version kompatibel bleibt.
Die GKE-Clusterkonfiguration der Umgebung bleibt intakt, insbesondere die Funktion für automatische Upgrades.
Die richtigen Berechtigungen in IAM für das Dienstkonto der Umgebung verwalten Insbesondere müssen die Berechtigungen für den Cloud Composer-Agenten und das Dienstkonto der Umgebung beibehalten werden. Sie müssen die erforderlichen Berechtigungen für den CMEK-Schlüssel verwalten, der für die Verschlüsselung der Cloud Composer-Umgebung verwendet wird, und ihn nach Bedarf rotieren.
Die richtigen Berechtigungen in IAM für den Bucket der Umgebung und das Artifact Registry-Repository verwalten, in dem die Komponenten-Images von Cloud Composer gespeichert sind.
Die richtigen IAM-Berechtigungen für ein Dienstkonto verwalten, das PyPI-Paketinstallationen durchführt Weitere Informationen finden Sie unter Zugriffssteuerung.
Die richtigen Endnutzerberechtigungen in der IAM- und Airflow-UI-Zugriffssteuerungskonfiguration beibehalten
Airflow-Datenbankgröße mithilfe des Wartungs-DAG unter 20 GB halten
Beheben Sie alle Probleme beim DAG-Parsing, bevor Sie Supportanfragen an den Cloud-Kundenservice senden.
DAGs müssen richtig benannt werden, z. B. ohne unsichtbare Zeichen wie LEERZEICHEN oder TABELLENSÄTZE in DAG-Namen, damit Messwerte für DAGs korrekt erfasst werden können.
Aktualisieren Sie den Code von DAGs, damit keine veralteten Operatoren verwendet werden, und migrieren Sie zu den aktuellen Alternativen. Eingestellte Operatoren werden möglicherweise von Airflow-Anbietern entfernt. Dies kann sich auf Ihre Pläne für ein Upgrade auf eine neuere Cloud Composer- oder Airflow-Version auswirken. Die eingestellten Operatoren werden nicht mehr gepflegt und müssen unverändert verwendet werden.
Konfigurieren Sie die richtigen IAM-Berechtigungen, wenn Sie Secret-Backends wie Secret Manager verwenden, damit das Dienstkonto der Umgebung darauf zugreifen kann.
Anpassen der Cloud Composer-Umgebungsparameter (z. B. CPU und Arbeitsspeicher für Airflow-Komponenten) und Airflow-Konfigurationen, um die Leistungs- und Lastanforderungen von Cloud Composer-Umgebungen zu erfüllen, mithilfe des Cloud Composer-Optimierungsleitfadens und des Leitfadens zur Umgebungsskalierung
Entfernen Sie keine Berechtigungen, die vom Cloud Composer-Agenten und den Dienstkonten der Umgebung benötigt werden. Das Entfernen dieser Berechtigungen kann zu fehlgeschlagenen Verwaltungsvorgängen oder zu DAG- und Aufgabenausfällen führen.
Alle von Cloud Composer erforderlichen Dienste und APIs müssen immer aktiviert sein. Für diese Abhängigkeiten müssen Kontingente auf den für Cloud Composer erforderlichen Ebenen konfiguriert sein.
Artifact Registry-Repositories mit Container-Images, die von Cloud Composer-Umgebungen verwendet werden, beibehalten
Empfehlungen und Best Practices für die Implementierung von DAGs
Informationen zur Diagnose von DAG- und Aufgabenfehlern mithilfe der Anleitungen zur Fehlerbehebung beim Planer, zur Fehlerbehebung bei DAGs und zur Fehlerbehebung bei Triggern
Vermeiden Sie die Installation oder Ausführung zusätzlicher Komponenten im GKE-Cluster der Umgebung, die die Cloud Composer-Komponenten beeinträchtigen und ihre ordnungsgemäße Funktion verhindern.