Workflow mit Cloud Functions

Hinweis

Richten Sie ein Google Cloud-Projekt und zwei (2) Cloud Storage-Buckets ein, falls Sie dies noch nicht getan haben.

Projekt einrichten

Melden Sie sich bei Ihrem Google-Konto an.
Wenn Sie noch kein Konto haben, melden Sie sich hier für ein neues Konto an.

Wählen Sie in der Cloud Console auf der Seite für die Projektauswahl ein Cloud-Projekt aus oder erstellen Sie eines.

Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

Zur Projektauswahl

Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für Ihr Projekt aktiviert ist.

Dataproc, Compute Engine, Cloud Storage, and Cloud Functions APIs aktivieren.
Aktivieren Sie die APIs

Installieren und initialisieren Sie das Cloud SDK.

Zwei (2) Cloud Storage-Buckets in Ihrem Projekt erstellen oder verwenden

Sie benötigen zwei Cloud Storage-Buckets in Ihrem Projekt: einen für Eingabedateien und einen für die Ausgabe.

Wechseln Sie in der Cloud Console zum Cloud Storage-Browser.
Zum Cloud Storage-Browser
Klicken Sie auf Bucket erstellen.
Geben Sie im Dialogfeld Bucket erstellen die folgenden Attribute an:
- Ein eindeutiger Bucket-Name gemäß den Anforderungen für Bucket-Namen.
- Eine Speicherklasse.
- Ein Standort, an dem Bucket-Daten gespeichert werden.
Klicken Sie auf Erstellen.

Workflow-Vorlage erstellen

Kopieren Sie die unten aufgeführten Befehle und führen Sie sie in einem lokalen Terminalfenster oder in Cloud Shell aus, um eine Workflow-Vorlage zu erstellen und zu definieren.

Hinweise:

Die Befehle geben die Region "us-central1" an. Sie können eine andere Region angeben oder das Flag --region löschen, wenn Sie zuvor gcloud config set compute/region ausgeführt haben, um das Regionsattribut festzulegen.
Die Sequenz "-- " (Bindestrich-Bindestrich-Leerzeichen) übergibt Argumente an die JAR-Datei. Mit dem Befehl wordcount input_bucket output_dir wird die Wordcount-Anwendung der JAR-Datei von Textdateien ausgeführt, die im Cloud Storage-input_bucket enthalten sind, und gibt dann Wordcount-Dateien an eine output_bucket aus. Sie parametrisieren das Argument für den Wordcount-Eingabe-Bucket, damit die Funktion dieses Argument bereitstellen kann.

Erstellen Sie die Workflow-Vorlage.

gcloud dataproc workflow-templates create wordcount-template \
    --region=us-central1

Fügen Sie der Workflow-Vorlage den Wordcount-Job hinzu.
1. Geben Sie output-bucket-name an, bevor Sie den Befehl ausführen. Die Funktion stellt den Eingabe-Bucket bereit. Nachdem Sie den Namen des Ausgabe-Buckets eingegeben haben, sollte das Argument des Ausgabe-Buckets so lauten: gs://your-output-bucket/wordcount-output".
2. Die Schrittzahl "count" ist erforderlich und identifiziert den hinzugefügten Hadoop-Job.
```
gcloud dataproc workflow-templates add-job hadoop \
    --workflow-template=wordcount-template \
    --step-id=count \
    --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
    --region=us-central1 \
    -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
```
Führen Sie den Workflow mit einem verwalteten Einzelknoten aus. Dataproc erstellt den Cluster, führt den Workflow aus und löscht den Cluster, wenn der Workflow abgeschlossen ist.
```
gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
    --cluster-name=wordcount \
    --single-node \
    --region=us-central1
```
Klicken Sie in der Cloud Console auf der Dataproc-Seite Workflows auf den Namen wordcount-template, um die Seite Workflow-Vorlagendetails zu öffnen. Bestätigen Sie die Wordcount-template-Attribute.

Workflow-Vorlage parametrisieren

Parametrisieren Sie die Eingabe-Bucket-Variable, die an die Workflow-Vorlage übergeben werden soll.

Exportieren Sie die Workflow-Vorlage zur Parametrisierung in eine wordcount.yaml-Textdatei.

gcloud dataproc workflow-templates export wordcount-template \
    --destination=wordcount.yaml \
    --region=us-central1

Öffnen Sie in einem Texteditor wordcount.yaml und fügen Sie am Ende der YAML-Datei einen parameters-Block hinzu, damit der Cloud Storage-INPUT_BUCKET_URI als args[1] an die Wordcount-Binärdatei übergeben werden kann, wenn der Workflow ausgelöst wird.
Unten sehen Sie ein Beispiel für eine exportierte YAML-Datei. Sie haben zwei Möglichkeiten, Ihre Vorlage zu aktualisieren:
1. Kopieren Sie dann die gesamte Datei und fügen Sie sie ein, um die exportierte Datei wordcount.yaml zu ersetzen, nachdem Sie your-output_bucket durch den Namen des Ausgabe-Buckets ersetzt haben, ODER
2. Kopieren Sie den Abschnitt parameters und fügen Sie ihn an das Ende der exportierten wordcount.yaml-Datei ein.
.
```
jobs:
- hadoopJob:
    args:
    - wordcount
    - gs://input-bucket
    - gs://your-output-bucket/wordcount-output
    mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
  stepId: count
placement:
  managedCluster:
    clusterName: wordcount
    config:
      softwareConfig:
        properties:
          dataproc:dataproc.allow.zero.workers: 'true'
parameters:
- name: INPUT_BUCKET_URI
  description: wordcount input bucket URI
  fields:
  - jobs['count'].hadoopJob.args[1]
```
Importieren Sie die parametrisierte wordcount.yaml-Textdatei. Geben Sie "Y" ein, wenn Sie aufgefordert werden, die Vorlage zu überschreiben.
```
gcloud dataproc workflow-templates import  wordcount-template \
    --source=wordcount.yaml \
    --region=us-central1
```

Cloud Functions-Funktion erstellen

Öffnen Sie in der Cloud Console die Seite Cloud Functions und klicken Sie auf "FUNKTION ERSTELLEN".
Geben Sie auf der Seite Funktion erstellen die folgenden Informationen ein oder wählen Sie sie aus:
1. Name: Wortzahl
2. Zugewiesener Speicher:Behalten Sie die Standardauswahl bei.
3. Trigger:
  - cl
  - Ereignistyp: Abschluss/Erstellen
  - Bucket: Wählen Sie Ihren Eingabe-Bucket aus (siehe Cloud Storage-Bucket im Projekt erstellen). Wenn Sie diesem Bucket eine Datei hinzufügen, löst die Funktion den Workflow aus. Der Workflow führt die Wordcount-Anwendung aus, mit der alle Textdateien im Bucket verarbeitet werden.
4. Quellcode:
  - Inline-Editor
  - Laufzeit: Node.js 8
  - Tab INDEX.JS: Ersetzen Sie das Standard-Code-Snippet durch den folgenden Code und bearbeiten Sie die Zeile const projectId, um Ihre -your-project-id- (ohne einen voran- oder nachgestellten "-") anzugeben.
```
const dataproc = require('@google-cloud/dataproc').v1;

exports.startWorkflow = (data) => {
 const projectId = '-your-project-id-'
 const region = 'us-central1'
 const workflowTemplate = 'wordcount-template'

const client = new dataproc.WorkflowTemplateServiceClient({
   apiEndpoint: `${region}-dataproc.googleapis.com`,
});

const file = data;
console.log("Event: ", file);

const inputBucketUri = `gs://${file.bucket}/${file.name}`;

const request = {
  name: client.workflowTemplatePath(projectId, region, workflowTemplate),
  parameters: {"INPUT_BUCKET_URI": inputBucketUri}
};

client.instantiateWorkflowTemplate(request)
  .then(responses => {
    console.log("Launched Dataproc Workflow:", responses[1]);
  })
  .catch(err => {
    console.error(err);
  });
};
```
  - Tab PACKAGE.JSON: Ersetzen Sie das Standard-Code-Snippet durch den folgenden Code.
```
{
  "name": "dataproc-workflow",
  "version": "1.0.0",
  "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
}
```
  - Auszuführende Funktion: Eingabe: "startWorkflow".
5. Klicken Sie auf ERSTELLEN.

Funktion testen

Kopieren Sie die öffentliche Datei rose.txt in Ihren Bucket, um die Funktion auszulösen. Fügen Sie in den Befehl your-input-bucket-name (den Bucket, der zum Auslösen der Funktion verwendet wird) ein.
```
gsutil cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
```
Warten Sie 30 Sekunden und führen Sie dann den folgenden Befehl aus, um zu prüfen, ob die Funktion erfolgreich ausgeführt wurde.
```
gcloud functions logs read wordcount
```
```
...
Function execution took 1348 ms, finished with status: 'ok'
```
Wenn Sie die Funktionslogs von der Listenseite Funktionen in der Cloud Console aus aufrufen möchten, klicken Sie auf den Funktionsnamen wordcount und dann auf der Seite Funktionsdetails auf "LOGS ANZEIGEN".
Sie können den Ordner wordcount-output in Ihrem Ausgabe-Bucket auf der Seite Storage-Browser in der Cloud Console ansehen.

Hinweis: Der Wordcount-Job schlägt fehl, wenn der Ordner wordcount-output vorhanden ist. Bevor Sie den Workflow durch wiederholtes Auslösen der Funktion neu ausführen, löschen Sie zuerst den Ordner wordcount-output im Ausgabe-Bucket. .
Nach Abschluss des Workflows bleiben die Jobdetails in der Cloud Console erhalten. Klicken Sie auf den count...-Job, der auf der Dataproc-Seite Jobs aufgeführt ist, um Details zum Workflow-Job anzuzeigen.

Bereinigen

Der Workflow in dieser Anleitung löscht den verwalteten Cluster, wenn der Workflow abgeschlossen ist. Sie können andere Ressourcen aus dieser Anleitung löschen, um wiederkehrende Kosten zu vermeiden.

Ein Projekt löschen

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

Alle Inhalte des Projekts werden gelöscht. Wenn Sie für diese Anleitung ein bereits bestehendes Projekt verwendet haben, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, wenn Sie Projekte wiederverwenden.

Wechseln Sie in der Cloud Console zur Seite Ressourcen verwalten.
Zur Seite "Ressourcen verwalten"
Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen .
Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Beenden, um das Projekt zu löschen.

Cloud Storage-Buckets löschen

Wechseln Sie in der Cloud Console zur Seite Cloud Storage-Browser.
Zum Cloud Storage-Browser
Klicken Sie auf das Kästchen neben dem Bucket, der gelöscht werden soll.
Klicken Sie zum Löschen des Buckets auf Löschen .

Workflow-Vorlage löschen

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Ihre Cloud Functions-Funktion löschen

Öffnen Sie in der Cloud Console die Seite Cloud Functions, klicken Sie auf das Kästchen links neben der Funktion wordcount und klicken Sie dann auf LÖSCHEN.

Nächste Schritte

Siehe Übersicht über Dataproc-Workflow-Vorlagen
Siehe Lösungen für die Workflow-Planung