Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Für das Ausführen geschäftskritischer Anwendungen in Cloud Composer sind mehrere Parteien erforderlich. Auch wenn keine vollständige Liste listet dieses Dokument die Pflichten von Google und dem Kunden auf, Seiten.
Verantwortlichkeiten von Google
Härtung und Patchen der Komponenten und der zugrunde liegenden Infrastruktur der Cloud Composer-Umgebung, einschließlich Google Kubernetes Engine-Cluster, Cloud SQL-Datenbank (die die Airflow-Datenbank hostet), Pub/Sub, Artifact Registry und anderer Umgebungselemente. Dazu gehört insbesondere das automatische Upgrade der zugrunde liegenden Infrastruktur, einschließlich des GKE-Clusters und der Cloud SQL-Instanz einer Umgebung.
Schutz des Zugriffs auf Cloud Composer-Umgebungen durch Einbindung der Zugriffssteuerung von IAM, Verschlüsselung inaktiver Daten standardmäßig, zusätzliche vom Kunden verwaltete Speicherverschlüsselung und Verschlüsselung von Daten während der Übertragung.
Google Cloud-Integrationen für Identity and Access Management, Cloud Audit Logs und Cloud Key Management Service bereitstellen
Beschränkung und Protokollierung des Administratorzugriffs von Google auf die Cluster zu vertraglichen Supportzwecken mit Access Transparency und Access Approval (Zugriffsgenehmigung).
Informationen zu nicht abwärtskompatiblen Änderungen zwischen Cloud Composer- und Airflow-Versionen in den Cloud Composer-Releasehinweisen veröffentlichen.
Cloud Composer-Dokumentation auf dem neuesten Stand halten:
Beschreibung aller Funktionen von Cloud Composer.
Anleitungen zur Fehlerbehebung zur Verfügung stellen, die dazu beitragen, die Umgebungen in ein fehlerfreier Zustand ist.
Informationen zu bekannten Problemen mit Umgehungsmöglichkeiten veröffentlichen (falls vorhanden)
Behebung kritischer Sicherheitsvorfälle im Zusammenhang mit Cloud Composer-Umgebungen und von Cloud Composer bereitgestellten Airflow-Images (ausgenommen vom Kunden installierte Python-Pakete) durch Bereitstellung neuer Umgebungsversionen, die die Vorfälle beheben.
Je nach Supportplan des Kunden Fehlerbehebung bei Problemen mit der Verfügbarkeit der Cloud Composer-Umgebung.
Wartung und Erweiterung der Funktionen des Cloud Composer Terraform-Anbieters
Zusammenarbeit mit der Apache Airflow-Community zur Pflege und Entwicklung von Google Airflow-Operatoren
Probleme im Airflow Core beheben (wenn möglich) Funktionalitäten.
Pflichten der Kunden
Upgrade auf neue Cloud Composer- und Airflow-Versionen durchführen, um Support für das Produkt zu erhalten und Sicherheitsprobleme einmal Der Cloud Composer-Dienst veröffentlicht einen Cloud Composer-Dienst die die Probleme behebt.
Den DAG-Code so pflegen, dass er mit der verwendeten Airflow-Version kompatibel bleibt.
Die GKE-Clusterkonfiguration der Umgebung bleibt erhalten, insbesondere die automatische Upgradefunktion.
Die richtigen Berechtigungen in IAM für das Dienstkonto der Umgebung verwalten Insbesondere das Beibehalten der vom Cloud Composer-Agent und den Dienstkonto der Umgebung. Sie müssen die erforderlichen Berechtigungen für den CMEK-Schlüssel verwalten, der für die Verschlüsselung der Cloud Composer-Umgebung verwendet wird, und ihn nach Bedarf rotieren.
Die richtigen Berechtigungen in IAM für den Bucket der Umgebung und das Artifact Registry-Repository verwalten, in dem die Komponenten-Images von Composer gespeichert sind.
Die richtigen Endnutzerberechtigungen in der IAM- und Airflow-UI-Zugriffssteuerungskonfiguration beibehalten
Die Größe der Airflow-Datenbank unter 16 GB zu halten, den Wartungs-DAG
Beheben Sie alle Probleme beim DAG-Parsing, bevor Sie Supportanfragen an den Cloud-Kundenservice senden.
Cloud Composer-Umgebungsparameter anpassen (z. B. CPU und Arbeitsspeicher für Airflow-Komponenten) und Airflow-Konfigurationen, Leistungs- und Lasterwartungen von Cloud Composer-Umgebungen mit Optimierungsleitfaden für Cloud Composer und im Leitfaden zur Skalierung der Umgebung.
Entfernen Sie keine Berechtigungen, die vom Cloud Composer-Agenten und den Dienstkonten der Umgebung benötigt werden. Das Entfernen dieser Berechtigungen kann zu fehlgeschlagenen Verwaltungsvorgängen oder zu DAG- und Aufgabenausfällen führen.
Wird beibehalten alle für Cloud Composer erforderlichen Dienste und APIs immer aktiviert. Für diese Abhängigkeiten müssen Kontingente auf den für Cloud Composer erforderlichen Ebenen konfiguriert sein.
Artifact Registry-Repositories beibehalten, die Container-Images hosten, die von Cloud Composer-Umgebungen.
Empfehlungen und Best Practices für die Implementierung von DAGs
Informationen zur Diagnose von DAG- und Aufgabenfehlern mithilfe der Anleitungen zur Fehlerbehebung beim Planer, zur Fehlerbehebung bei DAGs und zur Fehlerbehebung bei Triggern
Vermeiden Sie die Installation oder Ausführung zusätzlicher Komponenten im GKE-Cluster der Umgebung, die die Cloud Composer-Komponenten beeinträchtigen und ihre ordnungsgemäße Funktion verhindern.