Was ist Cloud Composer?

Diese Seite bietet einen Überblick über Cloud Composer, die Google Cloud-Lösung zum Erstellen und Bereitstellen von Workflows mit Apache Airflow.

Vorteile von Cloud Composer

Cloud Composer ist ein vollständig verwalteter Workflow-Orchestrierungsdienst, mit dem Sie Workflows erstellen können, die sich über Clouds und lokale Rechenzentren erstrecken. Der Dienst basiert auf dem Open-Source-Projekt Apache Airflow und wird in der Programmiersprache Python betrieben. Cloud Composer ist anbieterunabhängig und nutzerfreundlich. Durch die Verwendung von Cloud Composer anstelle einer lokalen Instanz von Apache Airflow können Nutzer vom Besten von Airflow profitieren, ohne dass eine Installation oder ein hoher Verwaltungsaufwand erforderlich sind.

Workflows, DAGs und Aufgaben

Bei der Datenanalyse stellt ein Workflow eine Reihe von Aufgaben zum Aufnehmen, Transformieren, Analysieren oder Nutzen von Daten dar. In Airflow werden Workflows mithilfe von DAGs oder „gerichteten azyklischen Graphen“ erstellt.

Ein DAG ist eine Sammlung von Aufgaben, die Sie planen und ausführen möchten, so, dass die Struktur deren Beziehungen und Abhängigkeiten wiedergibt. DAGs werden in Python-Skripts erstellt, die die DAG-Struktur (Aufgaben und deren Abhängigkeiten) mithilfe von Code definieren.

Jede Aufgabe in einem DAG kann fast alles darstellen. Eine Aufgabe kann beispielsweise eine der folgenden Funktionen ausführen:

  • Daten für die Aufnahme vorbereiten
  • API beobachten
  • E-Mails senden
  • Pipeline ausführen

Ein DAG sollte sich nicht mit der Funktion jeder einzelnen Aufgabe befassen. Ziel von ihr ist es, sicherzustellen, dass jede Aufgabe zur richtigen Zeit, in der richtigen Reihenfolge oder mit der richtigen Fehlerbehandlung ausgeführt wird.

Weitere Informationen zu DAGs und Aufgaben finden Sie in der Apache Airflow-Dokumentation.

Umgebungen

Wenn Sie Workflows ausführen möchten, müssen Sie zuerst eine Umgebung erstellen. Airflow hängt von der Anzahl der ausgeführten Mikrodienste ab. Cloud Composer stellt Google Cloud-Komponenten zum Ausführen Ihrer Workflows bereit. Diese Komponenten werden allgemein als Cloud Composer-Umgebung bezeichnet.

Umgebungen sind eigenständige Airflow-Deployments, die auf Google Kubernetes Engine basieren, und funktionieren mit anderen, in Airflow integrierten Google Cloud-Diensten. Sie können eine oder mehrere Umgebungen in einem einzelnen Google Cloud-Projekt mit jeder unterstützten Region erstellen. Sie können Cloud Composer-Umgebungen in jeder unterstützten Region erstellen.

Ausführliche Informationen zu den Komponenten einer Umgebung finden Sie unter Architektur der Cloud Composer-Umgebung.

Nächste Schritte