Was ist Cloud Composer?

Diese Seite bietet einen Überblick über Cloud Composer, die Google Cloud-Lösung zum Erstellen und Bereitstellen von Workflows mit Apache Airflow.

Vorteile von Cloud Composer

Cloud Composer ist ein vollständig verwalteter Workflow-Orchestrierungsdienst, mit dem Sie Workflows erstellen können, die sich über Clouds und lokale Rechenzentren erstrecken. Der Dienst basiert auf dem Open-Source-Projekt Apache Airflow und wird in der Programmiersprache Python betrieben. Cloud Composer ist anbieterunabhängig und nutzerfreundlich. Durch die Verwendung von Cloud Composer anstelle einer lokalen Instanz von Apache Airflow können Nutzer vom Besten von Airflow profitieren, ohne dass eine Installation oder ein hoher Verwaltungsaufwand erforderlich sind.

Workflows, DAGs und Aufgaben

In der Datenanalyse stellt ein Workflow eine Reihe von Aufgaben zur Aufnahme, Transformation, Analyse oder Verwendung von Daten dar. In Airflow werden Workflows mithilfe von DAGs oder „gerichteten azyklischen Graphen“ erstellt.

Ein DAG ist eine Sammlung von Aufgaben, die Sie planen und ausführen möchten, so, dass die Struktur deren Beziehungen und Abhängigkeiten wiedergibt. DAGs werden in Python-Skripts erstellt, die die DAG-Struktur (Aufgaben und deren Abhängigkeiten) mithilfe von Code definieren.

Jede Aufgabe in einem DAG kann fast alles darstellen. Eine Aufgabe kann beispielsweise eine der folgenden Funktionen ausführen:

  • Daten für die Aufnahme vorbereiten
  • API beobachten
  • E-Mails senden
  • Pipeline ausführen

Ein DAG sollte sich nicht mit der Funktion jeder einzelnen Aufgabe befassen. Ziel von ihr ist es, sicherzustellen, dass jede Aufgabe zur richtigen Zeit, in der richtigen Reihenfolge oder mit der richtigen Fehlerbehandlung ausgeführt wird.

Weitere Informationen zu DAGs und Aufgaben finden Sie in der Apache Airflow-Dokumentation.

Umgebungen

Um Workflows auszuführen, müssen Sie zuerst eine Umgebung erstellen. Airflow hängt von vielen ausgeführten Mikrodiensten ab. Deshalb stellt Cloud Composer Google Cloud-Komponenten für Ihre Workflows bereit. Diese Komponenten werden zusammen als Cloud Composer-Umgebung bezeichnet.

Umgebungen sind eigenständige Airflow-Deployments, die auf Google Kubernetes Engine basieren, und funktionieren mit anderen, in Airflow integrierten Google Cloud-Diensten. Sie können eine oder mehrere Umgebungen in einem einzelnen Google Cloud-Projekt erstellen. Sie können Cloud Composer-Umgebungen in jeder unterstützten Region erstellen.

Einen detaillierten Einblick in die Komponenten einer Umgebung finden Sie unter Architektur von Cloud Composer-Umgebungen.

Nächste Schritte