In diesem Abschnitt werden Google Cloud-Optionen beschrieben, mit denen Sie Workflows planen können.
Dataproc-Workflowvorlagen
Mithilfe der Workflowvorlagen von Dataproc können Sie Workflows flexibel und nutzerfreundlich verwalten und ausführen. Eine Workflowvorlage ist eine wiederverwendbare Workflowkonfiguration, die Jobs in einer Grafik definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen.
Cloud Scheduler
Cloud Scheduler ist ein vollständig verwalteter Cronjob-Planer für Unternehmen. Sie können damit praktisch jeden Job planen, einschließlich Batchjobs, Big Data-Jobs und Cloud-Infrastrukturvorgängen. Cloud Scheduler bietet eine einfache zeitbasierte Planung, z. B. täglich oder stündlich, ohne dass Sie Code schreiben müssen.
Vorteile:
Aktiviert die zeitbasierte Instanziierung von Workflowvorlagen basierend auf vertrauten Cron-Ausdrücken
Kein Code muss geschrieben werden
Anleitung: Workflow mit Cloud Scheduler
Cloud Functions
Cloud Functions ist eine einfache Computing-Lösung zum Erstellen von eigenständigen und zweckgebundenen Funktionen, die auf Cloud-Ereignisse reagieren, ohne einen Server oder eine Laufzeitumgebung verwalten zu müssen. Sie können mit Cloud Functions Workflows starten, um auf Pub/Sub-Ereignisse oder Dateiänderungen in Cloud Storage zu reagieren. Sie können Cloud Functions mit Cloud Scheduler für Workflows verwenden, für die zeitbasierte Parameter berechnet werden müssen.
Vorteile:
Aktiviert die Workflowinstanziierung als Reaktion auf Datenereignisse, z. B. neue Dateien in Cloud Storage oder Pub/Sub-Ereignisse.
Minimale Programmierung mit Dataproc Go-, Node.js- oder Python-Clientbibliotheken
Workflows und Workflowparameter dynamisch generieren
Anleitung: Workflow mit Cloud Functions
Cloud Composer
Cloud Composer ist ein verwalteter Apache Airflow-Dienst, mit dem Sie Workflows erstellen, planen, überwachen und verwalten können.
Vorteile:
Unterstützt zeit- und ereignisbasierter Planung
Vereinfachte Dataproc-Aufrufe mit Operatoren
Workflows und Workflowparameter dynamisch generieren
Datenflüsse erstellen, die mehrere Google Cloud-Produkte umfassen
Anleitung: Workflow mit Cloud Composer