Cloud Composer 1 Cloud Composer 2
Für die Ausführung einer geschäftskritischen Anwendung in Cloud Composer müssen mehrere Parteien unterschiedliche Verantwortlichkeiten übernehmen. Dieses Dokument ist zwar keine vollständige Liste, enthält aber auch die Verantwortlichkeiten sowohl für Google als auch für Kunden.
Verantwortlichkeiten von Google
Härtung und Patching der Komponenten und der zugrunde liegenden Infrastruktur der Cloud Composer-Umgebung, einschließlich des Google Kubernetes Engine-Clusters, der Cloud SQL-Datenbank (die die Airflow-Datenbank hostet), Pub/Sub, Artifact Registry und anderer Umgebungselemente. Dies umfasst insbesondere das automatische Upgrade der zugrunde liegenden Infrastruktur, einschließlich des GKE-Cluster und der Cloud SQL-Instanz einer Umgebung.
Schützen des Zugriffs auf Cloud Composer-Umgebungen durch Einbindung der Zugriffssteuerung von IAM, standardmäßige Verschlüsselung inaktiver Daten, zusätzlicher vom Kunden verwalteter Speicherverschlüsselung und Verschlüsselung von Daten bei der Übertragung.
Bereitstellung von Google Cloud-Integrationen für Identity and Access Management, Cloud-Audit-Logs und Cloud Key Management Service
Beschränken und Logging von Google-Administratorzugriff auf Kundencluster für vertragliche Supportzwecke mit Access Transparency und Access Approval.
Veröffentlichung von Informationen zu abwärtsinkompatiblen Änderungen zwischen Cloud Composer- und Airflow-Versionen in den Versionshinweisen für Cloud Composer.
Halten Sie die Cloud Composer-Dokumentation auf dem neuesten Stand:
Beschreibung aller von Cloud Composer bereitgestellten Funktionen.
Bereitstellung von Anleitungen zur Fehlerbehebung, damit die Umgebungen in einem fehlerfreien Zustand bleiben
Veröffentlichen von Informationen zu bekannten Problemen mit Problemumgehungen (falls vorhanden).
Beheben kritischer Sicherheitsvorfälle im Zusammenhang mit Cloud Composer-Umgebungen und Airflow-Images, die von Cloud Composer bereitgestellt werden (ausgenommen vom Kunden installierte Python-Pakete) durch Bereitstellung neuer Umgebungsversionen, die auf die Vorfälle reagieren.
Behebung von Problemen mit dem Zustand der Cloud Composer-Umgebung je nach Supportplan des Kunden.
Funktionalität des Cloud Composer-Terraform-Anbieters beibehalten und erweitern.
Zusammenarbeit mit der Apache Airflow-Community, um Google Airflow-Operatoren zu verwalten und zu entwickeln.
Fehlerbehebung und, wenn möglich, Beheben von Problemen in den Airflow-Hauptfunktionen
Pflichten der Kunden
Führen Sie ein Upgrade auf neue Cloud Composer- und Airflow-Versionen durch, um den Support für das Produkt aufrechtzuerhalten und Sicherheitsprobleme zu beheben, nachdem der Cloud Composer-Dienst eine Cloud Composer-Version veröffentlicht hat, die die Probleme behebt.
Verwalten des DAGs-Codes, damit er mit der verwendeten Airflow-Version kompatibel bleibt.
Beibehalten der GKE-Clusterkonfiguration der Umgebung, insbesondere der Funktion für automatische Upgrades
Verwalten Sie die erforderlichen IAM-Berechtigungen für das Dienstkonto der Umgebung. Insbesondere werden die für den Cloud Composer-Agent und das Dienstkonto der Umgebung erforderlichen Berechtigungen beibehalten. Die erforderliche Berechtigung für den CMEK-Schlüssel verwalten, der für die Verschlüsselung der Cloud Composer-Umgebung verwendet wird, und ihn entsprechend Ihren Anforderungen rotieren.
Die richtigen Endnutzerberechtigungen in der Konfiguration von IAM und Airflow-UI-Zugriffssteuerung verwalten.
Mithilfe des Wartungs-DAG die Größe der Airflow-Datenbank unter 16 GB halten.
Beheben Sie alle Probleme beim DAG-Parsing, bevor Sie Supportanfragen an Cloud Customer Care senden.
Cloud Composer-Umgebungsparameter (z. B. CPU und Arbeitsspeicher für Airflow-Komponenten) sowie Airflow-Konfigurationen anpassen, um die Leistungs- und Lasterwartungen von Cloud Composer-Umgebungen zu erfüllen. Informationen hierzu finden Sie im Leitfaden zur Optimierung von Cloud Composer und im Leitfaden zur Umgebungsskalierung.
Vermeiden Sie das Entfernen von Berechtigungen, die für den Cloud Composer-Agent und die Dienstkonten der Umgebung erforderlich sind. Das Entfernen dieser Berechtigungen kann entweder zu fehlgeschlagenen Verwaltungsvorgängen oder zu DAG- und Aufgabenfehlern führen.
Alle für Cloud Composer erforderlichen Dienste und APIs müssen immer aktiviert bleiben. Für diese Abhängigkeiten müssen Kontingente auf Ebenen konfiguriert sein, die für Cloud Composer erforderlich sind.
Artifact Registry-Repositories beibehalten, die Container-Images hosten, die von Cloud Composer-Umgebungen verwendet werden.
Empfehlungen und Best Practices zum Implementieren von DAGs.
Diagnose von DAG- und Aufgabenfehlern anhand der Anleitungen zur Fehlerbehebung für Planer, zur DAG-Fehlerbehebung und zur Fehlerbehebung bei Triggern
Sie sollten keine zusätzlichen Komponenten im GKE-Cluster der Umgebung installieren oder ausführen, die Cloud Composer-Komponenten beeinträchtigen und ihre ordnungsgemäße Funktion beeinträchtigen.