Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Auf dieser Seite wird die Architektur von Cloud Composer-Umgebungen beschrieben.
Konfigurationen der Umgebungsarchitektur
Cloud Composer 3-Umgebungen haben eine einzelne Konfiguration, die nicht sind vom Netzwerktyp abhängig:
Kunden- und Mandantenprojekte
Beim Erstellen einer Umgebung verteilt Cloud Composer die Umgebungsressourcen zwischen einem Mandanten und einem Kundenprojekt zu speichern:
- Das Kundenprojekt ist ein Google Cloud-Projekt, in dem Sie Ihre Umgebungen erstellen. Sie können in einem Kundenprojekt mehrere Umgebungen erstellen.
Das Mandantenprojekt ist ein von Google verwaltetes Mandantenprojekt. Das Mandantenprojekt bietet eine einheitliche Zugriffssteuerung und eine zusätzliche Ebene Datensicherheit in Ihrer Umgebung. Jeder Cloud Composer Die Umgebung hat ein eigenes Mandantenprojekt.
Umgebungskomponenten
Eine Cloud Composer-Umgebung besteht aus Umgebungskomponenten.
Eine Umgebungskomponente ist ein Element einer verwalteten Airflow-Infrastruktur, die in Google Cloud als Teil Ihrer Umgebung ausgeführt wird. Umgebung Komponenten, die entweder im Mandanten oder im Kundenprojekt von für Ihre Umgebung.
Bucket der Umgebung
Bucket der Umgebung ist ein Cloud Storage-Bucket zum Speichern von DAGs, Plug-ins, Datenabhängigkeiten und Airflow-Logs. Umgebung Bucket befindet sich im Kundenprojekt.
Wenn Sie Ihre DAG-Dateien in den Ordner /dags in Ihrem
des Buckets der Umgebung synchronisiert Cloud Composer die DAGs mit Airflow-Komponenten Ihrer Umgebung.
Airflow-Webserver
Der Airflow-Webserver führt die Airflow-UI Ihrer Umgebung aus.
Cloud Composer bietet nutzerabhängig Zugriff auf die Benutzeroberfläche Identitäten und IAM-Richtlinienbindungen für Nutzer definiert.
Airflow-Datenbank
Eine Airflow-Datenbank ist eine Cloud SQL-Instanz, die im Mandantenprojekt Ihrer Umgebung ausgeführt wird. Sie hostet die Airflow-Metadatendatenbank.
Zum Schutz vertraulicher Verbindungs- und Workflowinformationen lässt Cloud Composer den Datenbankzugriff nur auf das Dienstkonto Ihrer Umgebung zu.
Andere Luftstromkomponenten
Andere Airflow-Komponenten, die in Ihrer Umgebung ausgeführt werden, sind:
Airflow-Planer parsen DAG-Definitionsdateien, planen DAG-Ausführungen basierend auf dem Zeitplanintervall erstellt und Aufgaben zur Ausführung in die Warteschlange gestellt Airflow-Worker
Airflow-Trigger überwachen alle ausgesetzten Aufgaben in Ihrem zu verbessern. Wenn Sie oben die Anzahl der Trigger in Ihrer Umgebung festgelegt haben null, dann können Sie zurückstellbare Operatoren in Ihren DAGs.
Airflow-DAG-Prozessoren verarbeiten DAG-Dateien und wandeln sie in DAG-Objekte. In Cloud Composer 3 werden DAG-Prozessoren als separate Umgebung ausgeführt. Komponenten.
Airflow-Worker führen Aufgaben aus, die von Airflow geplant wurden Planer. Die minimale und maximale Anzahl von Workern in Ihrer Umgebung ändert sich und dynamisch je nach Anzahl der Aufgaben in der Warteschlange.
Architektur der Cloud Composer 3-Umgebung
In Cloud Composer 3-Umgebungen:
- Das Mandantenprojekt hostet eine Cloud SQL-Instanz mit der Airflow- Datenbank.
- Alle Airflow-Ressourcen werden im Mandantenprojekt ausgeführt.
- Im Kundenprojekt wird der Bucket der Umgebung gehostet.
- Mit einem benutzerdefinierten VPC-Netzwerkanhang im Kundenprojekt können die Umgebung an ein benutzerdefiniertes VPC-Netzwerk anhängen. Sie können einen vorhandener Anhang oder von Cloud Composer erstellt werden kann automatisch on demand. Es ist auch möglich, eine Umgebung von VPC-Netzwerk.
- Google Cloud Console, Monitoring und Das Logging des Kundenprojekts bietet Möglichkeiten zum Verwalten des DAGs und DAG-Ausführungen sowie für den Zugriff auf Umgebungsmesswerte Logs. Sie können auch die Airflow-UI, die Google Cloud CLI Cloud Composer API und Terraform für denselben Zweck.
Einbindung in Cloud Logging und Cloud Monitoring
Cloud Composer kann in Cloud Logging und Cloud Monitoring Ihres Google Cloud-Projekts, sodass Sie Airflow- und DAG-Logs
Cloud Monitoring erfasst und nimmt Messwerte, Ereignisse und Metadaten auf von Cloud Composer bis zu Informationen durch Dashboards und Diagramme generieren
Aufgrund des Streaming-Charakters von Cloud Logging können Sie Logs, die von Airflow-Komponenten ausgegeben werden, sofort ansehen, anstatt darauf zu warten, dass Airflow-Logs im Cloud Storage-Bucket Ihrer Umgebung angezeigt werden.
Wenn Sie die Anzahl der Logs in Ihrem Google Cloud-Projekt begrenzen möchten, beenden Sie die gesamte Aufnahme von Logs. Deaktivieren Sie das Logging aber nicht.