Workflow mit Cloud Scheduler

Ziel:

1. Dataproc-Workflow-Vorlage erstellen, die einen
   SparkPi-Job ausführt
2. Erstellen Sie einen Cloud Scheduler-Job, um den Workflow zu einem bestimmten Zeitpunkt zu starten.

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• Dataproc
• Compute Engine
• Cloud Scheduler

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Hinweise

Projekt einrichten

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Benutzerdefinierte Rolle erstellen

1. Öffnen Sie in der Google Cloud Console die Seite IAM & Verwaltung → Rollen.
   1. Klicken Sie auf ROLLE ERSTELLEN, um die Seite Rolle erstellen zu öffnen.
   2. Füllen Sie die Felder "Titel", "Beschreibung", "ID" und "Startphase" aus. Vorschlag: Verwenden Sie "Dataproc-Workflow-Vorlage erstellen" als Rollentitel.
   3. Klicken Sie auf
      Berechtigungen hinzufügen.
      1. Klicken Sie im Formular Berechtigungen hinzufügen auf Filter und wählen Sie dann "Berechtigung" aus. Schließen Sie den Filter ab, um "Berechtigung: dataproc.workflowTemplates.instantiate" zu lesen.
      2. Klicken Sie auf das Kästchen links neben der aufgeführten Berechtigung und klicken Sie dann auf HINZUFÜGEN.

         

   4. Klicken Sie auf der Seite "Rolle erstellen" noch einmal auf PERMISSIONS HINZUFÜGEN, um die vorherigen Unterschritte zu wiederholen und der benutzerdefinierten Rolle die Berechtigung "iam.serviceAccounts.actAs" hinzuzufügen. Auf der Seite Rolle erstellen werden jetzt zwei Berechtigungen aufgeführt.

      

   5. Klicken Sie auf der Seite Benutzerdefinierte Rolle auf ERSTELLEN. Die benutzerdefinierte Rolle wird auf der Seite Rollen aufgeführt.

      

Dienstkonto erstellen

1. Rufen Sie in der Google Cloud Console die Seite Dienstkonten auf.

   Zur Seite „Dienstkonten“

2. Wählen Sie Ihr Projekt aus.

3. Klicken Sie auf Dienstkonto erstellen.

4. Geben Sie im Feld Dienstkontoname den Namen workflow-scheduler ein. Die Google Cloud Console füllt das Feld Dienstkonto-ID anhand dieses Namens aus.

5. Optional: Im Feld Beschreibung des Dienstkontos können Sie eine entsprechende Beschreibung eingeben.

6. Klicken Sie auf Erstellen und fortfahren.

7. Klicken Sie auf das Feld Rolle auswählen und wählen Sie die benutzerdefinierte Rolle Dataproc-Workflow-Vorlage erstellen aus, die Sie im vorherigen Schritt erstellt haben.

8. Klicken Sie auf Weiter.

9. Geben Sie im Feld Rolle „Dienstkontoadministrator“ die E-Mail-Adresse Ihres Google-Kontos ein.

10. Klicken Sie auf Fertig, um das Erstellen des Dienstkontos abzuschließen.

Workflow-Vorlage erstellen

Kopieren Sie die unten aufgeführten Befehle und führen Sie sie in einem lokalen Terminalfenster oder in Cloud Shell aus, um eine Workflow-Vorlage zu erstellen und zu definieren.

Hinweise:

• Die Befehle geben die Region "us-central1" an. Sie können eine andere Region angeben oder das Flag --region löschen, wenn Sie zuvor gcloud config set compute/region ausgeführt haben, um das Regionsattribut festzulegen.
• Die Sequenz "--" (Bindestrich-Bindestrich-Leerzeichen) im Befehl add-job übergibt das Argument 1000 an den SparkPi-Job, der die Anzahl der Stichproben angibt, die zur Schätzung des Werts von Pi verwendet werden.

1. Erstellen Sie die Workflow-Vorlage.

   gcloud dataproc workflow-templates create sparkpi \
       --region=us-central1
   

2. Fügen Sie der Workflow-Vorlage den Spark-Job hinzu. Die Schritt-ID "compute" ist erforderlich und identifiziert den hinzugefügten SparkPi-Job.

   gcloud dataproc workflow-templates add-job spark \
       --workflow-template=sparkpi \
       --step-id=compute \
       --class=org.apache.spark.examples.SparkPi \
       --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
       --region=us-central1 \
       -- 1000
   

3. Führen Sie den Workflow mit einem verwalteten Einzelknoten aus. Dataproc erstellt den Cluster, führt den Workflow aus und löscht den Cluster, wenn der Workflow abgeschlossen ist.

   gcloud dataproc workflow-templates set-managed-cluster sparkpi \
       --cluster-name=sparkpi \
       --single-node \
       --region=us-central1
   

4. Klicken Sie in der Google Cloud Console auf der Dataproc-Seite Workflows auf den Namen sparkpi, um die Seite Workflow-Vorlagendetails zu öffnen. Bestätigen Sie die Attribute der SparkPi-Vorlage.

   

Cloud Scheduler-Job erstellen

1. Öffnen Sie die Seite Cloud Scheduler in der Google Cloud Console. Sie müssen möglicherweise Ihr Projekt auswählen, um die Seite zu öffnen. Klicken Sie auf Job ERSTELLEN.

2. Geben Sie die folgenden Jobinformationen ein oder wählen Sie diese aus:

   1. Region auswählen: "us-central" oder eine andere Region, in der Sie Ihre Workflow-Vorlage erstellt haben
   2. Name: "sparkpi"
   3. Häufigkeit: Mit "* * * * *" wird jede Minute ausgewählt. "0 9 * * 1" wählt jeden Montag um 9 Uhr aus. Weitere Informationen zu anderen unix-cron-Werten finden Sie unter Jobzeitplan definieren. Hinweis:Sie können auf die Schaltfläche JETZT AUSFÜHREN in den Cloud Scheduler-Jobs in der Google Cloud Console klicken, um den Job auszuführen und zu testen, unabhängig von der Häufigkeit, die Sie für den Job festgelegt haben.
   4. Zeitzone: Wählen Sie Ihre timezone aus. Geben Sie "USA" ein, um die US-Zeitzonen aufzulisten.
   5. Ziel: „HTTP“
   6. URL: Fügen Sie nach dem Einfügen von your-project-id die folgende URL ein. Ersetzen Sie "us-central1", wenn Sie Ihre Workflow-Vorlage in einer anderen Region erstellt haben. Diese URL ruft die Dataproc API workflowTemplates.instantiate auf, um Ihre Sparkpi-Workflow-Vorlage auszuführen.

      https://dataproc.googleapis.com/v1/projects/your-project-id/regions/us-central1/workflowTemplates/sparkpi:instantiate?alt=json
      

   7. HTTP-Methode:
      1. "POST"
      2. Text: "{}"
         Wenn der geplante Job einen parametrisierten Workflow ausführt, können Sie die Parameter mithilfe einer JSON-Nutzlast im Text an den Workflow übergeben:

         {"parameters": {"PARAMETER_NAME": "VALUE"}}
         

   8. Auth-Header:
      1. "Add OAuth token"
      2. Dienstkonto: Fügen Sie den service account address des Dienstkontos ein, das Sie für diese Anleitung erstellt haben. Sie können die folgende Kontoadresse nach dem Einfügen von your-project-id verwenden:

         [e-mail]
         

      3. Bereich: Sie können dieses Element ignorieren.
   9. Klicken Sie auf ERSTELLEN.

Geplanten Workflow-Job testen

1. Klicken Sie in der Jobzeile sparkpi auf der Seite Cloud Scheduler-Jobs auf JETZT AUSFÜHREN.

2. Warten Sie einige Minuten und öffnen Sie dann die Dataproc-Seite Workflows, um zu prüfen, ob der SparkPi-Workflow abgeschlossen ist.

   

3. Nachdem der Workflow den verwalteten Cluster gelöscht hat, bleiben die Jobdetails in der Google Cloud Console erhalten. Klicken Sie auf den compute...-Job, der auf der Dataproc-Seite Jobs aufgeführt ist, um Details zum Workflow-Job anzuzeigen.

   

Bereinigen

Der Workflow in dieser Anleitung löscht den verwalteten Cluster, wenn der Workflow abgeschlossen ist. Wenn Sie den Workflow beibehalten, können Sie den Workflow noch einmal ausführen und es fallen keine Gebühren an. Sie können andere in dieser Anleitung erstellte Ressourcen löschen, um wiederkehrende Kosten zu vermeiden.

Ein Projekt löschen

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Workflow-Vorlage löschen

gcloud dataproc workflow-templates delete sparkpi \
    --region=us-central1

Cloud Scheduler-Job löschen

Öffnen Sie in der Google Cloud Console die Seite Cloud Scheduler-Jobs, klicken Sie auf das Kästchen links neben der Funktion sparkpi und klicken Sie auf LÖSCHEN.

Dienstkonto löschen

Öffnen Sie in der Google Cloud Console die Seite IAM und Verwaltung → Dienstkonten, klicken Sie auf das Kästchen links neben dem Dienstkonto workflow-scheduler... und klicken Sie auf LÖSCHEN.

Nächste Schritte

• Siehe Übersicht über Dataproc-Workflow-Vorlagen
• Siehe Lösungen für die Workflow-Planung