Pipeline mit dem Job-Builder ausführen

Pipeline mit dem Job-Builder ausführen

In dieser Kurzanleitung erfahren Sie, wie Sie einen Dataflow-Job mit dem Dataflow-Job-Builder ausführen. Der Job-Builder ist eine visuelle Benutzeroberfläche zum Erstellen und Ausführen von Dataflow-Pipelines in der Google Cloud Console, ohne Code schreiben zu müssen.

In dieser Kurzanleitung laden Sie eine Beispielpipeline in den Job-Builder, führen einen Job aus und prüfen, ob der Job eine Ausgabe erstellt hat.

Hinweise

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, and Resource Manager APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, and Resource Manager APIs.

   Enable the APIs

8. Erstellen Sie einen Cloud Storage-Bucket:
1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets page

2. Click Create bucket.
3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
   • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
   • For Choose where to store your data, do the following:
     • Select a Location type option.
     • Select a Location option.
   • For Choose a default storage class for your data, select the following: Standard.
   • For Choose how to control access to objects, select an Access control option.
   • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
4. Click Create.

9. Damit Sie die Schritte in dieser Kurzanleitung ausführen können, muss Ihr Nutzerkonto die Rollen Dataflow-Administrator und Dienstkontonutzer haben. Das Compute Engine-Standarddienstkonto muss die Rolle "Dataflow-Worker" haben. So fügen Sie die erforderlichen Rollen in der Google Cloud Console hinzu:

   1. Rufen Sie die IAM-Seite auf.
      Zu IAM
   2. Wählen Sie Ihr Projekt aus.
   3. Klicken Sie in der Zeile mit Ihrem Nutzerkonto auf Hauptkonto bearbeiten.
   4. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Drop-down-Liste Dataflow-Administrator aus.
   5. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Drop-down-Liste Dienstkontonutzer aus.
   6. Klicken Sie auf Speichern.
   7. Klicken Sie in der Zeile mit dem Compute Engine-Standarddienstkonto auf Hauptkonto bearbeiten.
   8. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Drop-down-Liste Dataflow-Worker aus.
   9. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie in der Drop-down-Liste die Option Storage-Objekt-Administrator aus.

   10. Klicken Sie auf Speichern.

       Weitere Informationen zum Zuweisen von Rollen finden Sie unter IAM-Rolle über die Konsole zuweisen.

10. Jedes neue Projekt beginnt standardmäßig mit einem Standardnetzwerk. Wenn das Standardnetzwerk für Ihr Projekt deaktiviert oder gelöscht wurde, benötigen Sie in Ihrem Projekt ein Netzwerk, für das Ihr Nutzerkonto die Rolle Compute-Netzwerknutzer hat (roles/compute.networkUser).

Beispielpipeline laden

In diesem Schritt laden Sie eine Beispielpipeline, die die Wörter in King Lear von Shakespeare zählt.

1. Rufen Sie die Seite Jobs in der Google Cloud Console auf.

   ZU JOBS

2. Klicken Sie auf Job aus Vorlage erstellen.

3. Klicken Sie auf Job-Builder.

4. Klicken Sie auf Laden.

5. Klicken Sie auf Wortzählung. Der Job-Builder wird mit einer grafischen Darstellung der Pipeline ausgefüllt.

Für jeden Pipelineschritt wird im Job-Builder eine Karte mit den Konfigurationsparametern für diesen Schritt angezeigt. Im ersten Schritt werden beispielsweise Textdateien aus Cloud Storage gelesen. Der Speicherort der Quelldaten ist im Feld Textspeicherort bereits ausgefüllt.

Ausgabeort festlegen

In diesem Schritt geben Sie einen Cloud Storage-Bucket an, in den die Pipeline die Ausgabe schreibt.

1. Suchen Sie die Karte Neue Senke. Möglicherweise müssen Sie scrollen.

2. Klicken Sie im Feld Textspeicherort auf Durchsuchen.

3. Wählen Sie den Namen des Cloud Storage-Buckets aus, den Sie unter Hinweise erstellt haben.

4. Klicken Sie auf Untergeordnete Ressourcen ansehen.

5. Geben Sie im Feld „Dateiname“ words ein.

6. Klicken Sie auf Auswählen.

Job ausführen

Klicken Sie auf Job ausführen. Der Job-Builder erstellt einen Dataflow-Job und wechselt dann zum Job-Diagramm. Wenn der Job gestartet wird, zeigt die Jobgrafik eine grafische Darstellung der Pipeline an, die der im Job-Builder angezeigten ähnelt. Bei jedem Schritt der Pipeline wird der Status in der Jobgrafik aktualisiert.

Im Bereich Jobinfo wird der Gesamtstatus des Jobs angezeigt. Wenn der Job erfolgreich abgeschlossen wurde, wird das Feld Jobstatus auf Succeeded aktualisiert.

Jobausgabe überprüfen

Führen Sie nach Abschluss des Jobs die folgenden Schritte aus, um die Ausgabe der Pipeline aufzurufen:

1. Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Buckets.

   Buckets aufrufen

2. Klicken Sie in der Bucket-Liste auf den Namen des Buckets, den Sie unter Vorbereitung erstellt haben.

3. Klicken Sie auf die Datei mit dem Namen words-00000-of-00001.

4. Klicken Sie auf der Seite Objektdetails auf die authentifizierte URL, um die Pipelineausgabe aufzurufen.

Die Ausgabe sollte in etwa so aussehen:

brother: 20
deeper: 1
wrinkles: 1
'alack: 1
territory: 1
dismiss'd: 1
[....]

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

Projekt löschen

Am einfachsten können Sie weitere Kosten vermeiden, wenn Sie das Google Cloud-Projekt löschen, das Sie für den Schnellstart erstellt haben.

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Einzelne Ressourcen löschen

Wenn Sie das in dieser Kurzanleitung verwendete Google Cloud-Projekt beibehalten möchten, löschen Sie den Cloud Storage-Bucket:

1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets

2. Click the checkbox for the bucket that you want to delete.
3. To delete the bucket, click Delete, and then follow the instructions.

Nächste Schritte

• Verwenden Sie den Job-Builder zum Erstellen einer Pipeline.
• Mehr über das Apache Beam-Programmiermodell erfahren