Workflow-Planungslösungen

In diesem Abschnitt werden Google Cloud-Optionen beschrieben, mit denen Sie Workflows planen können.

Dataproc-Workflowvorlagen

Mithilfe der Workflowvorlagen von Dataproc können Sie Workflows flexibel und nutzerfreundlich verwalten und ausführen. Eine Workflowvorlage ist eine wiederverwendbare Workflowkonfiguration, die Jobs in einer Grafik definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen.

Cloud Scheduler

Cloud Scheduler ist ein vollständig verwalteter Cronjob-Planer für Unternehmen. Sie können damit praktisch jeden Job planen, einschließlich Batchjobs, Big Data-Jobs und Cloud-Infrastrukturvorgängen. Cloud Scheduler bietet eine einfache zeitbasierte Planung, z. B. täglich oder stündlich, ohne dass Sie Code schreiben müssen.

Vorteile:

  • Aktiviert die zeitbasierte Instanziierung von Workflowvorlagen basierend auf vertrauten Cron-Ausdrücken

  • Kein Code muss geschrieben werden

Anleitung: Workflow mit Cloud Scheduler

Cloud Functions

Cloud Run-Funktionen sind eine einfache Computing-Lösung, zweckgebundenen, eigenständigen Funktionen, die auf Cloud-Ereignisse reagieren, eine Server- oder Laufzeitumgebung müssen verwaltet werden. Sie können Cloud Run-Funktionen zum Starten von Workflows als Reaktion auf Pub/Sub oder Dateiänderungen in Cloud Storage. Sie können Cloud Run-Funktionen verwenden, mit Cloud Scheduler für Workflows, die die Berechnung von zeitbasierten Parametern.

Vorteile:

  • Aktiviert die Workflowinstanziierung als Reaktion auf Datenereignisse, z. B. neue Dateien in Cloud Storage oder Pub/Sub-Ereignisse.

  • Mit Dataproc ist nur minimales Programmieren erforderlich Los, Node.js oder Python Clientbibliotheken

  • Workflows und Workflowparameter dynamisch generieren

Anleitung: Workflow mit Cloud Run-Funktionen

Cloud Composer

Cloud Composer ist ein verwalteter Apache Airflow-Dienst, mit dem Sie Workflows erstellen, planen, überwachen und verwalten können.

Vorteile:

  • Unterstützt zeit- und ereignisbasierter Planung

  • Vereinfachte Dataproc-Aufrufe mit Operatoren

  • Workflows und Workflowparameter dynamisch generieren

  • Datenflüsse erstellen, die mehrere Google Cloud-Produkte umfassen

Anleitung: Workflow mit Cloud Composer