Workflow-Planungslösungen

In diesem Abschnitt werden Google Cloud-Optionen beschrieben, mit denen Sie Workflows planen können.

Dataproc-Workflowvorlagen

Mithilfe der Workflowvorlagen von Dataproc können Sie Workflows flexibel und nutzerfreundlich verwalten und ausführen. Eine Workflowvorlage ist eine wiederverwendbare Workflowkonfiguration, die Jobs in einer Grafik definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen.

Cloud Scheduler

Cloud Scheduler ist ein vollständig verwalteter Cronjob-Planer für Unternehmen. Sie können praktisch jeden Job planen, einschließlich Batchjobs, Big-Data-Jobs und Cloudinfrastrukturvorgängen. Sie bietet eine einfache zeitbasierte Planung,z. B. täglich oder stündlich, ohne dass Sie Code schreiben müssen.

Vorteile:

  • Aktiviert die zeitbasierte Instanziierung von Workflowvorlagen basierend auf vertrauten Cron-Ausdrücken

  • Kein Code zum Schreiben

Anleitung: Workflow mit Cloud Scheduler

Cloud Functions

Cloud Functions ist eine einfache Computing-Lösung, mit der Sie eigenständige, zweckgebundene Funktionen erstellen können, die auf Cloudereignisse reagieren, ohne einen Server oder eine Laufzeitumgebung verwalten zu müssen. Sie können Cloud Functions verwenden, um Workflows als Reaktion auf Pub/Sub-Ereignisse oder Dateiänderungen in Cloud Storage zu starten. Sie können Cloud Functions mit Cloud Scheduler für Workflows verwenden, die eine Berechnung zeitbasierter Parameter erfordern.

Vorteile:

  • Aktiviert die Workflowinstanziierung als Reaktion auf Datenereignisse, z. B. neue Dateien in Cloud Storage oder Pub/Sub-Ereignisse.

  • Minimale Codierung mit den Dataproc-Clientbibliotheken Go, Node.js oder Python erforderlich

  • Workflows und Workflowparameter dynamisch generieren

Anleitung: Workflow mit Cloud Functions

Cloud Composer

Cloud Composer ist ein verwalteter Apache Airflow-Dienst, mit dem Sie Workflows erstellen, planen, überwachen und verwalten können.

Vorteile:

  • Unterstützt die zeit- und ereignisbasierte Planung

  • Vereinfachte Dataproc-Aufrufe mit Operatoren

  • Workflows und Workflowparameter dynamisch generieren

  • Datenströme erstellen, die mehrere Google Cloud-Produkte umfassen