Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Auf dieser Seite wird die Architektur von Cloud Composer-Umgebungen beschrieben.
Konfigurationen der Umgebungsarchitektur
Cloud Composer 3-Umgebungen haben eine einzelne Konfiguration, die nicht vom Netzwerktyp abhängt:
Kunden- und Mandantenprojekte
Beim Erstellen einer Umgebung verteilt Cloud Composer die Ressourcen der Umgebung auf einen Mandanten und ein Kundenprojekt:
- Das Kundenprojekt ist ein Google Cloud-Projekt, in dem Sie Ihre Umgebungen erstellen. Sie können in einem Kundenprojekt mehrere Umgebungen erstellen.
Das Mandantenprojekt ist ein von Google verwaltetes Mandantenprojekt. Das Mandantenprojekt bietet eine einheitliche Zugriffssteuerung und eine zusätzliche Datensicherheitsebene für Ihre Umgebung. Jede Cloud Composer-Umgebung hat ein eigenes Mandantenprojekt.
Umgebungskomponenten
Eine Cloud Composer-Umgebung besteht aus Umgebungskomponenten.
Eine Umgebungskomponente ist ein Element einer verwalteten Airflow-Infrastruktur, die in Google Cloud als Teil Ihrer Umgebung ausgeführt wird. Umgebungskomponenten werden entweder im Mandanten oder im Kundenprojekt Ihrer Umgebung ausgeführt.
Bucket der Umgebung
Der Bucket der Umgebung ist ein Cloud Storage-Bucket, in dem DAGs, Plug-ins, Datenabhängigkeiten und Airflow-Logs gespeichert werden. Der Bucket der Umgebung befindet sich im Kundenprojekt.
Wenn Sie Ihre DAG-Dateien in den Ordner /dags im Bucket der Umgebung hochladen, synchronisiert Cloud Composer die DAGs mit Airflow-Komponenten Ihrer Umgebung.
Airflow-Webserver
Der Airflow-Webserver führt die Airflow-UI Ihrer Umgebung aus.
Cloud Composer bietet Zugriff auf die Benutzeroberfläche basierend auf Nutzeridentitäten und IAM-Richtlinienbindungen, die für Nutzer definiert sind.
Airflow-Datenbank
Eine Airflow-Datenbank ist eine Cloud SQL-Instanz, die im Mandantenprojekt Ihrer Umgebung ausgeführt wird. Sie hostet die Airflow-Metadatendatenbank.
Zum Schutz vertraulicher Verbindungs- und Workflowinformationen lässt Cloud Composer den Datenbankzugriff nur auf das Dienstkonto Ihrer Umgebung zu.
Andere Luftstromkomponenten
Andere Airflow-Komponenten, die in Ihrer Umgebung ausgeführt werden, sind:
Airflow-Planer parsen DAG-Definitionsdateien, planen DAG-Ausführungen anhand des Zeitplanintervalls und stellen Aufgaben zur Ausführung durch Airflow-Worker in die Warteschlange.
Airflow-Trigger überwachen alle ausgesetzten Aufgaben in Ihrer Umgebung asynchron. Wenn Sie die Anzahl der Trigger in Ihrer Umgebung auf mehr als null setzen, können Sie zurückstellbare Operatoren in Ihren DAGs verwenden.
Airflow-DAG-Prozessoren verarbeiten DAG-Dateien und wandeln sie in DAG-Objekte um. In Cloud Composer 3 werden DAG-Prozessoren als separate Umgebungskomponenten ausgeführt.
Airflow-Worker führen Aufgaben aus, die von Airflow-Planern geplant wurden. Die minimale und maximale Anzahl von Workern in Ihrer Umgebung ändert sich je nach Anzahl der Aufgaben in der Warteschlange dynamisch.
Architektur der Cloud Composer 3-Umgebung
In Cloud Composer 3-Umgebungen:
- Im Mandantenprojekt wird eine Cloud SQL-Instanz mit der Airflow-Datenbank gehostet.
- Alle Airflow-Ressourcen werden im Mandantenprojekt ausgeführt.
- Im Kundenprojekt wird der Bucket der Umgebung gehostet.
- Mit einem benutzerdefinierten VPC-Netzwerkanhang im Kundenprojekt kann die Umgebung an ein benutzerdefiniertes VPC-Netzwerk angehängt werden. Sie können einen vorhandenen Anhang verwenden oder ihn von Cloud Composer bei Bedarf automatisch erstellen lassen. Es ist auch möglich, eine Umgebung von einem VPC-Netzwerk zu trennen.
- Die Google Cloud Console, Monitoring und Logging im Kundenprojekt bieten Möglichkeiten, die Umgebung, DAGs und DAG-Ausführungen zu verwalten sowie auf Umgebungsmesswerte und Logs zuzugreifen. Sie können für denselben Zweck auch die Airflow-UI, die Google Cloud CLI, die Cloud Composer API und Terraform verwenden.
Einbindung in Cloud Logging und Cloud Monitoring
Cloud Composer kann in Cloud Logging und Cloud Monitoring Ihres Google Cloud-Projekts eingebunden werden. So haben Sie einen zentralen Ort zum Ansehen von Airflow- und DAG-Logs.
Cloud Monitoring sammelt und erfasst Messwerte, Ereignisse und Metadaten aus Cloud Composer, um über Dashboards und Diagramme Informationen zu generieren.
Aufgrund des Streaming-Charakters von Cloud Logging können Sie Logs, die von Airflow-Komponenten ausgegeben werden, sofort ansehen, anstatt darauf zu warten, dass Airflow-Logs im Cloud Storage-Bucket Ihrer Umgebung angezeigt werden.
Wenn Sie die Anzahl der Logs in Ihrem Google Cloud-Projekt begrenzen möchten, beenden Sie die gesamte Aufnahme von Logs. Deaktivieren Sie das Logging aber nicht.