In diesem Abschnitt werden Google Cloud-Optionen beschrieben, mit denen Sie Workflows planen können.
Dataproc-Workflowvorlagen
Mithilfe der Workflowvorlagen von Dataproc können Sie Workflows flexibel und nutzerfreundlich verwalten und ausführen. Eine Workflowvorlage ist eine wiederverwendbare Workflowkonfiguration, die Jobs in einer Grafik definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen.
Cloud Scheduler
Cloud Scheduler ist ein vollständig verwalteter Cronjob-Planer für Unternehmen. Sie können damit praktisch jeden Job planen, einschließlich Batchjobs, Big Data-Jobs und Cloud-Infrastrukturvorgängen. Cloud Scheduler bietet eine einfache zeitbasierte Planung, z. B. täglich oder stündlich, ohne dass Sie Code schreiben müssen.
Vorteile:
Aktiviert die zeitbasierte Instanziierung von Workflowvorlagen basierend auf vertrauten Cron-Ausdrücken
Kein Code muss geschrieben werden
Anleitung: Workflow mit Cloud Scheduler
Cloud Functions
Cloud Run Functions ist eine einfache Computing-Lösung zum Erstellen von eigenständigen und zweckgebundenen Funktionen, die auf Cloud-Ereignisse reagieren, ohne einen Server oder eine Laufzeitumgebung verwalten zu müssen. Sie können Cloud Run-Funktionen zum Starten von Workflows als Reaktion auf Pub/Sub oder Dateiänderungen in Cloud Storage. Sie können Cloud Run-Funktionen verwenden, mit Cloud Scheduler für Workflows, die die Berechnung von zeitbasierten Parametern.
Vorteile:
Aktiviert die Workflowinstanziierung als Reaktion auf Datenereignisse, z. B. neue Dateien in Cloud Storage oder Pub/Sub-Ereignisse.
Minimale Programmierung mit Dataproc-Go-, Node.js- oder Python-Clientbibliotheken
Workflows und Workflowparameter dynamisch generieren
Anleitung: Workflow mit Cloud Run-Funktionen
Cloud Composer
Cloud Composer ist ein verwalteter Apache Airflow-Dienst, mit dem Sie Workflows erstellen, planen, überwachen und verwalten können.
Vorteile:
Unterstützt zeit- und ereignisbasierter Planung
Vereinfachte Dataproc-Aufrufe mit Operatoren
Workflows und Workflowparameter dynamisch generieren
Datenflüsse erstellen, die mehrere Google Cloud-Produkte umfassen
Anleitung: Workflow mit Cloud Composer