Managed Service for Apache Airflow (ehemals Cloud Composer)

Orchestrierte Workflows schlagen Brücken zwischen lokaler Infrastruktur und öffentlichen Clouds. Sie können dies nutzen, um den Übergang in die Cloud zu erleichtern oder bei einer hybriden Datenumgebung zu bleiben. Erstellen Sie Workflows, deren Daten, Prozesse und Dienste aus mehreren Clouds stammen können, und schaffen Sie so eine einheitliche Datenumgebung.

Managed Service for Apache Airflow bietet Nutzern Flexibilität und Portabilität. Dieses Projekt, an dem sich auch Google beteiligt, ist anbieterunabhängig und mit vielen Plattformen kompatibel, zu denen durch die wachsende Airflow-Community in Zukunft noch weitere hinzukommen werden.

Managed Service for Apache Airflow-Pipelines werden mithilfe von Python als gerichtete azyklische Graphen (Directed Acyclic Graphs, DAGs) konfiguriert. So wird eine einfache Anwendung für alle Nutzer ermöglicht. Greifen Sie per Mausklick direkt auf eine umfangreiche Connector-Bibliothek zu und erzeugen Sie mehrere grafische Darstellungen des Workflows in Aktion. Dadurch wird die Fehlerbehebung besonders einfach. Dank automatischer Synchronisierung der gerichteten azyklischen Graphen bleiben Ihre Jobs im Zeitplan.

Zu den wichtigsten Verbesserungen gehören die DAG-Versionsverwaltung für Prüfbarkeit und zuverlässige Rollbacks sowie vom Scheduler verwaltete Backfills für eine einfachere Aufbereitung von Verlaufsdaten. Eine neue API und ein neues SDK für die Ausführung von Aufgaben ebnen den Weg für zukünftige Unterstützung mehrerer Sprachen und isolierte Aufgabenumgebungen. Nutzer profitieren von einer schnelleren, modernen React-basierten Benutzeroberfläche mit verbesserter Navigation. Die geplante ereignisgesteuerte Planung zielt auf reaktivere, nahezu in Echtzeit ablaufende Pipelines ab. Der Edge Executor optimiert die remote Ausführung von Aufgaben und eine geteilte CLI (airflow/airflowctl) bietet eine übersichtlichere Befehlszeile für Entwicklung und Betrieb.