Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Für das Ausführen geschäftskritischer Anwendungen in Cloud Composer sind mehrere Parteien erforderlich. In diesem Dokument sind die Verantwortlichkeiten für Google und den Kunden aufgeführt. Die Liste ist jedoch nicht vollständig.
Verantwortlichkeiten von Google
Härtung und Patchen der Komponenten und der zugrunde liegenden Infrastruktur der Cloud Composer-Umgebung, einschließlich Google Kubernetes Engine-Cluster, Cloud SQL-Datenbank (die die Airflow-Datenbank hostet), Pub/Sub, Artifact Registry und anderer Umgebungselemente. Hierzu gehört insbesondere das automatische Upgrade des zugrunde liegenden Infrastruktur, einschließlich GKE-Cluster und Cloud SQL-Instanz einer Umgebung.
Schutz des Zugriffs auf Cloud Composer-Umgebungen durch Zugriffssteuerung von IAM, inaktive Daten standardmäßig verschlüsseln, zusätzliche vom Kunden verwaltete Speicherverschlüsselung Daten bei der Übertragung verschlüsseln
Google Cloud-Integrationen für Identity and Access Management, Cloud Audit Logs und Cloud Key Management Service bereitstellen
Beschränkung und Protokollierung des Administratorzugriffs von Google auf die Cluster zu vertraglichen Supportzwecken mit Access Transparency und Access Approval (Zugriffsgenehmigung).
Informationen zu nicht abwärtskompatiblen Änderungen zwischen Cloud Composer- und Airflow-Versionen in den Cloud Composer-Releasehinweisen veröffentlichen.
Cloud Composer-Dokumentation auf dem neuesten Stand halten:
Beschreiben Sie alle Funktionen, die von Cloud Composer
Anleitungen zur Fehlerbehebung, die dazu beitragen, dass Umgebungen in einem fehlerfreien Zustand bleiben.
Informationen zu bekannten Problemen mit Umgehungsmöglichkeiten veröffentlichen (falls vorhanden)
Kritische Sicherheitsvorfälle im Zusammenhang mit Cloud Composer beheben Umgebungen und Airflow-Images, die von Cloud Composer bereitgestellt werden (ausgenommen vom Kunden installierte Python-Pakete) durch die Bereitstellung neuer und Umgebungsversionen zur Behebung der Vorfälle.
Je nach Supportplan des Kunden Fehlerbehebung bei Problemen mit der Verfügbarkeit der Cloud Composer-Umgebung.
Wartung und Erweiterung der Funktionen des Cloud Composer Terraform-Anbieters
Zusammenarbeit mit der Apache Airflow-Community zur Wartung und Entwicklung Google Airflow-Operatoren:
Probleme im Airflow Core beheben (wenn möglich) Funktionalitäten.
Pflichten der Kunden
Führen Sie ein Upgrade auf neue Cloud Composer- und Airflow-Versionen durch, um den Support für das Produkt aufrechtzuerhalten und Sicherheitsprobleme zu beheben, sobald der Cloud Composer-Dienst eine Cloud Composer-Version veröffentlicht, die die Probleme behebt.
Pflegen des DAGs-Codes, damit er mit der verwendeten Airflow-Version kompatibel bleibt.
Die GKE-Clusterkonfiguration der Umgebung bleibt intakt, insbesondere die Funktion für automatische Upgrades.
Die richtigen Berechtigungen in IAM für das Dienstkonto der Umgebung verwalten Insbesondere müssen die Berechtigungen für den Cloud Composer-Agenten und das Dienstkonto der Umgebung beibehalten werden. Sie müssen die erforderlichen Berechtigungen für den CMEK-Schlüssel verwalten, der für die Verschlüsselung der Cloud Composer-Umgebung verwendet wird, und ihn nach Bedarf rotieren.
Die richtigen Berechtigungen in IAM für die Bucket und Artifact Registry-Repository, in dem die Komponenten-Images des Composers gespeichert werden.
Korrekte Endnutzerberechtigungen in IAM und Airflow verwalten Konfiguration der UI-Zugriffssteuerung
Die Größe der Airflow-Datenbank unter 16 GB zu halten, den Wartungs-DAG
Beheben Sie alle Probleme beim DAG-Parsing, bevor Sie Supportanfragen an den Cloud-Kundenservice senden.
Anpassen der Cloud Composer-Umgebungsparameter (z. B. CPU und Arbeitsspeicher für Airflow-Komponenten) und Airflow-Konfigurationen, um die Leistungs- und Lastanforderungen von Cloud Composer-Umgebungen zu erfüllen, mithilfe des Cloud Composer-Optimierungsleitfadens und des Leitfadens zur Umgebungsskalierung
Vermeiden Sie das Entfernen von Berechtigungen, die für den Cloud Composer-Agent und Dienstkonten der Umgebung verwalten. Das Entfernen dieser Berechtigungen kann dazu führen, auf fehlgeschlagene Verwaltungsvorgänge oder DAG- und Aufgabenfehler).
Alle von Cloud Composer erforderlichen Dienste und APIs müssen immer aktiviert sein. Für diese Abhängigkeiten müssen Kontingente auf Ebenen konfiguriert sein für Cloud Composer erforderlich.
Artifact Registry-Repositories mit Container-Images, die von Cloud Composer-Umgebungen verwendet werden, beibehalten
Empfehlungen und Best Practices für DAGs implementieren können.
Informationen zur Diagnose von DAG- und Aufgabenfehlern mithilfe der Anleitungen zur Fehlerbehebung beim Planer, zur Fehlerbehebung bei DAGs und zur Fehlerbehebung bei Triggern
Vermeiden Sie die Installation oder Ausführung zusätzlicher Komponenten im GKE-Cluster der Umgebung, die die Cloud Composer-Komponenten beeinträchtigen und ihre ordnungsgemäße Funktion verhindern.