Übersicht über Dataproc-Workflow-Vorlagen

Die Dataproc WorkflowTemplates API bietet einen flexiblen und benutzerfreundlichen Mechanismus zum Verwalten und Ausführen von Workflows. Eine Workflowvorlage ist eine wiederverwendbare Workflowkonfiguration, die Jobs in einer Grafik definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen.

Wichtige Fakten

  • Durch das Instanziieren einer Workflowvorlage wird ein Workflow gestartet. Ein Workflow ist ein Vorgang, der eine gerichteter azyklischer Graph (Directed Acyclic Graph, DAG) von Jobs in einem Cluster.
    • Wenn der Workflow einen verwalteten Cluster verwendet, wird der Cluster erstellt und die Jobs werden ausgeführt. Nach Abschluss der Jobs wird der Cluster gelöscht.
    • Wenn der Workflow eine Clusterauswahl verwendet, werden die Jobs in einem ausgewählten vorhandenen Cluster ausgeführt.
  • Workflows sind ideal für komplexe Jobabläufe geeignet. Sie können Jobabhängigkeiten erstellen und damit festlegen, dass ein Job erst gestartet wird, nachdem die zugehörigen Abhängigkeiten erfolgreich abgeschlossen wurden.
  • Wenn Sie eine Workflow-Vorlage erstellen, wird Dataproc verwendet. erstellt keinen Cluster und sendet keine Jobs an einen Cluster. Dataproc erstellt oder wählt einen Cluster aus und führt Workflowjobs auf dem Cluster aus, wenn eine Workflowvorlage instanziert wird.

Arten von Workflowvorlagen

Verwalteter Cluster

In einer Workflowvorlage kann ein verwalteter Cluster angegeben sein. Der Workflow erstellt einen „sitzungsspezifischen“ Cluster zum Ausführen von Workflow-Jobs und löscht den Cluster, wenn der Workflow abgeschlossen ist.

Clusterauswahl

In einer Workflowvorlage kann ein vorhandener Cluster angegeben werden, in dem der Workflow ausgeführt werden soll. Jobs durch Angabe eines oder mehrerer Nutzerlabels zuvor mit dem Cluster verknüpft. Der Workflow wird in einem Cluster ausgeführt, der mit allen Labels übereinstimmt. Wenn mehrere Cluster übereinstimmen alle Labels enthält, wählt Dataproc den Cluster mit den meisten Verfügbarer YARN-Speicher zum Ausführen aller Workflowjobs. Am Ende des Workflows wird der ausgewählte Cluster von Dataproc nicht gelöscht. Weitere Informationen finden Sie unter Clusterauswahl mit Workflows verwenden.

Parametrisiert

Wenn Sie eine Workflow-Vorlage mehrmals mit unterschiedlichen Werten ausführen, können Sie Parameter verwenden, um die Workflow-Vorlage nicht bei jeder Ausführung bearbeiten zu müssen:

  1. die Parameter in der Vorlage zu definieren,

  2. unterschiedliche Werte für die Parameter bei jeder Ausführung übergeben.

Weitere Informationen finden Sie unter Workflowvorlagen parametrisieren.

Inline

Workflows können mit dem Befehl gcloud mit YAML-Dateien für Workflowvorlagen oder durch Aufrufen der Dataproc API InstantiateInline instanziiert werden (siehe Inline-Dataproc-Workflows verwenden). Inline-Workflows erstellen oder ändern keine Ressourcen für Workflow-Vorlagen.

Anwendungsfälle für Workflowvorlagen

  • Automatisierung sich wiederholender Aufgaben. Workflows schließen häufig verwendete Clusterkonfigurationen und -jobs ein.

  • Transaktionales Fire-and-Forget-API-Interaktionsmodell. Workflow-Vorlagen ersetzen die Schritte eines typischen Workflows, z. B.:

    1. Cluster erstellen
    2. Jobs senden
    3. Polling
    4. Löschen des Clusters

    Workflow-Vorlagen verwenden ein einzelnes Token, um den Fortschritt von der Erstellung des Clusters bis hin zu dessen Löschung zu verfolgen und die Fehlerbehandlung und Wiederherstellung zu automatisieren. Sie vereinfachen auch die Einbindung von Dataproc in andere Tools wie Cloud Run-Funktionen und Cloud Composer.

  • Unterstützung für sitzungsspezifische und langlebige Cluster. Eine häufige Herausforderung bei der Ausführung von Apache Hadoop besteht in der Optimierung und Anpassung der Größe von Clustern. Sitzungsspezifische (verwaltete) Cluster sind einfacher zu konfigurieren, da sie eine einzelne Arbeitslast ausführen. Clusterselektoren können mit langlebigere Cluster, um dieselbe Arbeitslast wiederholt auszuführen ohne dass amortisierte Kosten für das Erstellen und Löschen von Clustern entstehen.

  • Granulare IAM-Sicherheit. Zum Erstellen von Dataproc-Clustern und Senden von Jobs sind IAM-Berechtigungen erforderlich. Workflowvorlagen verwenden die vorlagenspezifische Berechtigung workflowTemplates.instantiate und sind nicht von Cluster- oder Jobberechtigungen abhängig.