Flexible Vorlage erstellen und ausführen

---

Mit flexiblen Vorlagen lässt sich eine Dataflow-Pipeline für die Bereitstellung verpacken. In dieser Anleitung erfahren Sie, wie Sie eine flexible Dataflow-Vorlage erstellen und dann mit dieser Vorlage einen Dataflow-Job ausführen.

Lernziele

• Erstellen Sie eine flexible Dataflow-Vorlage.
• Verwenden Sie die Vorlage, um einen Dataflow-Job auszuführen.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• Dataflow
• Cloud Storage
• Artifact Registry
• Cloud Build

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweise

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
2. Installieren Sie die Google Cloud CLI.

3. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

   gcloud init

4. Google Cloud-Projekt erstellen oder auswählen.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   • Erstellen Sie ein Google Cloud-Projekt:

     gcloud projects create PROJECT_ID

     Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud-Projekt, das Sie erstellen.

   • Wählen Sie das von Ihnen erstellte Google Cloud-Projekt aus:

     gcloud config set project PROJECT_ID

     Ersetzen Sie PROJECT_ID durch den Namen Ihres Google Cloud-Projekts.

5. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

6. Aktivieren Sie die Dataflow, Compute Engine, Logging, Cloud Storage, Cloud Storage JSON, Resource Manager, Artifact Registry, and Cloud Build API:

   gcloud services enable dataflow compute_component logging storage_component storage_api cloudresourcemanager.googleapis.com artifactregistry.googleapis.com cloudbuild.googleapis.com

7. Erstellen Sie lokale Anmeldedaten zur Authentifizierung für Ihr Google-Konto:

   gcloud auth application-default login

8. Gewähren Sie Ihrem Google-Konto Rollen. Führen Sie den folgenden Befehl für jede der folgenden IAM-Rollen einmal aus: roles/iam.serviceAccountUser

   gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE

   • Ersetzen Sie PROJECT_ID durch Ihre Projekt-ID.
   • Ersetzen Sie EMAIL_ADDRESS durch Ihre E-Mail-Adresse.
   • Ersetzen Sie ROLE durch jede einzelne Rolle.
9. Installieren Sie die Google Cloud CLI.

10. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

    gcloud init

11. Google Cloud-Projekt erstellen oder auswählen.

    Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

    • Erstellen Sie ein Google Cloud-Projekt:

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud-Projekt, das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Google Cloud-Projekt aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch den Namen Ihres Google Cloud-Projekts.

12. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

13. Aktivieren Sie die Dataflow, Compute Engine, Logging, Cloud Storage, Cloud Storage JSON, Resource Manager, Artifact Registry, and Cloud Build API:

    gcloud services enable dataflow compute_component logging storage_component storage_api cloudresourcemanager.googleapis.com artifactregistry.googleapis.com cloudbuild.googleapis.com

14. Erstellen Sie lokale Anmeldedaten zur Authentifizierung für Ihr Google-Konto:

    gcloud auth application-default login

15. Gewähren Sie Ihrem Google-Konto Rollen. Führen Sie den folgenden Befehl für jede der folgenden IAM-Rollen einmal aus: roles/iam.serviceAccountUser

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE

    • Ersetzen Sie PROJECT_ID durch Ihre Projekt-ID.
    • Ersetzen Sie EMAIL_ADDRESS durch Ihre E-Mail-Adresse.
    • Ersetzen Sie ROLE durch jede einzelne Rolle.

16. Weisen Sie Ihrem Compute Engine-Standarddienstkonto Rollen zu. Führen Sie den folgenden Befehl für jede der folgenden IAM-Rollen einmal aus:

    • roles/dataflow.admin
    • roles/dataflow.worker
    • roles/storage.objectAdmin
    • roles/artifactregistry.reader

    gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:[e-mail]" --role=SERVICE_ACCOUNT_ROLE

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Ihre Projekt-ID.
    • PROJECT_NUMBER ihre Projektnummer
    • SERVICE_ACCOUNT_ROLE: Jede einzelne Rolle

Umgebung vorbereiten

Installieren Sie das SDK und alle Anforderungen für Ihre Entwicklungsumgebung.

Java

1. Laden Sie das Java Development Kit (JDK) Version 11 herunter und installieren Sie es. Prüfen Sie, ob die Umgebungsvariable JAVA_HOME festgelegt ist und auf Ihre JDK-Installation verweist.

2. Laden Sie Apache Maven herunter und installieren Sie es entsprechend der Maven-Installationsanleitung für Ihr Betriebssystem.

Python

Installieren Sie das Apache Beam SDK für Python.

Einfach loslegen (Go)

Verwenden Sie die Anleitung zum Herunterladen und Installieren von Go, um Go für Ihr Betriebssystem herunterzuladen und zu installieren. Informationen dazu, welche Go-Laufzeitumgebungen von Apache Beam unterstützt werden, finden Sie unter Unterstützung von Apache Beam-Laufzeiten.

Laden Sie das Codebeispiel herunter.

Java

1. Klonen Sie das java-docs-samples-Repository.

   git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git
   

2. Rufen Sie das Codebeispiel für diese Anleitung auf.

   cd java-docs-samples/dataflow/flex-templates/getting_started
   

3. Erstellen Sie das Java-Projekt in einer Uber-JAR-Datei.

   mvn clean package

   In dieser Uber-JAR-Datei sind alle Abhängigkeiten eingebettet. Sie können diese Datei als eigenständige Anwendung ausführen, in der andere Bibliotheken keine externen Abhängigkeiten haben.

Python

1. Klonen Sie das python-docs-samples-Repository.

   git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
   

2. Rufen Sie das Codebeispiel für diese Anleitung auf.

   cd python-docs-samples/dataflow/flex-templates/getting_started
   

Einfach loslegen (Go)

1. Klonen Sie das golang-samples-Repository.

   git clone https://github.com/GoogleCloudPlatform/golang-samples.git
   

2. Rufen Sie das Codebeispiel für diese Anleitung auf.

   cd golang-samples/dataflow/flex-templates/wordcount
   

3. Kompilieren Sie das Go-Binärprogramm.

   GOOS=linux GOARCH=amd64 go build -o wordcount .

Cloud Storage-Bucket erstellen

Verwenden Sie den Befehl gcloud storage buckets create, um einen Cloud Storage-Bucket zu erstellen:

gcloud storage buckets create gs://BUCKET_NAME

Ersetzen Sie BUCKET_NAME durch einen Namen für Ihr Cloud Storage-Bucket. Cloud Storage-Bucket-Namen müssen global einmalig sein und die Anforderungen für Bucket-Namen erfüllen.

Artifact Registry-Repository erstellen

Erstellen Sie ein Artifact Registry-Repository, in das Sie das Docker-Container-Image für die Vorlage übertragen.

1. Verwenden Sie den Befehl gcloud artifacts repositories create, um ein neues Artifact Registry-Repository zu erstellen.

   gcloud artifacts repositories create REPOSITORY \
    --repository-format=docker \
    --location=LOCATION
   

   Ersetzen Sie Folgendes:

   • REPOSITORY: ein Name für Ihr Repository. Repository-Namen müssen für jeden Repository-Speicherort in einem Projekt einmalig sein.
   • LOCATION ist der regionale oder multiregionale Standort für das Repository.

2. Verwenden Sie den Befehl gcloud auth configure-docker, um Docker für die Authentifizierung von Anfragen für Artifact Registry zu konfigurieren. Mit diesem Befehl wird die Docker-Konfiguration aktualisiert, sodass Sie eine Verbindung zu Artifact Registry herstellen können, um Images zu übertragen.

   gcloud auth configure-docker LOCATION-docker.pkg.dev
   

Flex-Vorlagen können auch Images verwenden, die in privaten Registries gespeichert sind. Weitere Informationen finden Sie unter Image aus einer privaten Registry verwenden.

Erstellen Sie die flexible Vorlage

In diesem Schritt erstellen Sie mit dem Befehl gcloud dataflow flex-template build die flexible Vorlage.

Eine flexible Vorlage besteht aus folgenden Komponenten:

• Ein Docker-Container-Image, das Ihren Pipelinecode verpackt.

• Eine Vorlagenspezifikationsdatei. Diese Datei ist ein JSON-Dokument, das den Speicherort des Container-Images sowie Metadaten zur Vorlage enthält, z. B. Pipelineparameter.

Java

gcloud dataflow flex-template build gs://BUCKET_NAME/getting_started-java.json \
 --image-gcr-path "LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY/getting-started-java:latest" \
 --sdk-language "JAVA" \
 --flex-template-base-image JAVA11 \
 --metadata-file "metadata.json" \
 --jar "target/flex-template-getting-started-1.0.jar" \
 --env FLEX_TEMPLATE_JAVA_MAIN_CLASS="com.example.dataflow.FlexTemplateGettingStarted"

Ersetzen Sie Folgendes:

• BUCKET_NAME: der Name des Cloud Storage-Buckets, den Sie zuvor erstellt haben
• LOCATION: der Standort
• PROJECT_ID: die Google Cloud-Projekt-ID
• REPOSITORY: Name des Artifact Registry-Repositorys, das Sie zuvor erstellt haben

Python

gcloud dataflow flex-template build gs://BUCKET_NAME/getting_started-py.json \
 --image-gcr-path "LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY/getting-started-python:latest" \
 --sdk-language "PYTHON" \
 --flex-template-base-image "PYTHON3" \
 --metadata-file "metadata.json" \
 --py-path "." \
 --env "FLEX_TEMPLATE_PYTHON_PY_FILE=getting_started.py" \
 --env "FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE=requirements.txt"

Ersetzen Sie Folgendes:

• BUCKET_NAME: der Name des Cloud Storage-Buckets, den Sie zuvor erstellt haben
• LOCATION: der Standort
• PROJECT_ID: die Google Cloud-Projekt-ID
• REPOSITORY: Name des Artifact Registry-Repositorys, das Sie zuvor erstellt haben

Einfach loslegen (Go)

1. Verwenden Sie den Befehl gcloud builds submit, um das Docker-Image mit einem Dockerfile mit Cloud Build zu erstellen. Mit diesem Befehl wird die Datei erstellt und in Ihr Artifact Registry-Repository übertragen.

   gcloud builds submit --tag LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY/dataflow/wordcount-go:latest .
   

   Ersetzen Sie Folgendes:

   • LOCATION: der Standort
   • PROJECT_ID: die Google Cloud-Projekt-ID
   • REPOSITORY: Name des Artifact Registry-Repositorys, das Sie zuvor erstellt haben

2. Verwenden Sie den Befehl gcloud dataflow flex-template build, um eine Flex-Vorlage mit dem Namen wordcount-go.json in Ihrem Cloud Storage-Bucket zu erstellen.

   gcloud dataflow flex-template build gs://BUCKET_NAME/samples/dataflow/templates/wordcount-go.json \
     --image "LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY/dataflow/wordcount-go:latest" \
     --sdk-language "GO" \
     --metadata-file "metadata.json"

   Ersetzen Sie BUCKET_NAME durch den Namen des zuvor erstellten Cloud Storage-Buckets.

Flexible Vorlage ausführen

In diesem Schritt verwenden Sie die Vorlage, um einen Dataflow-Job auszuführen.

Java

1. Verwenden Sie den Befehl gcloud dataflow flex-template run, um einen Dataflow-Job auszuführen, der die flexible Vorlage verwendet.

   gcloud dataflow flex-template run "getting-started-`date +%Y%m%d-%H%M%S`" \
    --template-file-gcs-location "gs://BUCKET_NAME/getting_started-java.json" \
    --parameters output="gs://BUCKET_NAME/output-" \
    --region "REGION"

   Ersetzen Sie Folgendes:

   • BUCKET_NAME: der Name des Cloud Storage-Buckets, den Sie zuvor erstellt haben
   • REGION: Die Region.

2. Rufen Sie die Dataflow-Seite Jobs auf, um den Status des Dataflow-Jobs in der Google Cloud Console anzuzeigen.

   Zu Jobs

Wenn der Job erfolgreich ausgeführt wird, schreibt er die Ausgabe in eine Datei mit dem Namen gs://BUCKET_NAME/output--00000-of-00001.txt in Ihrem Cloud Storage-Bucket.

Python

1. Verwenden Sie den Befehl gcloud dataflow flex-template run, um einen Dataflow-Job auszuführen, der die flexible Vorlage verwendet.

   gcloud dataflow flex-template run "getting-started-`date +%Y%m%d-%H%M%S`" \
    --template-file-gcs-location "gs://BUCKET_NAME/getting_started-py.json" \
    --parameters output="gs://BUCKET_NAME/output-" \
    --region "REGION"
   

   Ersetzen Sie Folgendes:

   • BUCKET_NAME: der Name des Cloud Storage-Buckets, den Sie zuvor erstellt haben
   • REGION: Die Region.

2. Rufen Sie die Dataflow-Seite Jobs auf, um den Status des Dataflow-Jobs in der Google Cloud Console anzuzeigen.

   Zu Jobs

Wenn der Job erfolgreich ausgeführt wird, schreibt er die Ausgabe in eine Datei mit dem Namen gs://BUCKET_NAME/output--00000-of-00001.txt in Ihrem Cloud Storage-Bucket.

Einfach loslegen (Go)

1. Verwenden Sie den Befehl gcloud dataflow flex-template run, um einen Dataflow-Job auszuführen, der die flexible Vorlage verwendet.

   gcloud dataflow flex-template run "wordcount-go-`date +%Y%m%d-%H%M%S`" \
    --template-file-gcs-location "gs://BUCKET_NAME/samples/dataflow/templates/wordcount-go.json" \
    --parameters output="gs://BUCKET_NAME/samples/dataflow/templates/counts.txt" \
    --region "REGION"
   

   Ersetzen Sie Folgendes:

   • BUCKET_NAME: der Name des Cloud Storage-Buckets, den Sie zuvor erstellt haben
   • REGION: Die Region.

2. Rufen Sie die Dataflow-Seite Jobs auf, um den Status des Dataflow-Jobs in der Google Cloud Console anzuzeigen.

   Zu Jobs

Wenn der Job erfolgreich ausgeführt wird, schreibt er die Ausgabe in eine Datei mit dem Namen gs://BUCKET_NAME/samples/dataflow/templates/count.txt in Ihrem Cloud Storage-Bucket.

Hinweis: Wenn Ihr Job nicht ausgeführt werden kann und die Fehlermeldung A Timeout in polling error message angezeigt wird, lesen Sie die Informationen unter Fehlerbehebung bei Zeitüberschreitungen bei Flex-Vorlagen.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Google Cloud-Projekt löschen:

gcloud projects delete PROJECT_ID

Einzelne Ressourcen löschen

1. Löschen Sie den Cloud Storage-Bucket und alle Objekte im Bucket.

   gcloud storage rm gs://BUCKET_NAME --recursive

2. Löschen Sie das Artifact Registry-Repository.

   gcloud artifacts repositories delete REPOSITORY \
       --location=LOCATION

3. Widerrufen Sie die Rollen, die Sie dem Compute Engine-Standarddienstkonto zugewiesen haben. Führen Sie den folgenden Befehl für jede der folgenden IAM-Rollen einmal aus:
   • roles/dataflow.admin
   • roles/dataflow.worker
   • roles/storage.objectAdmin
   • roles/artifactregistry.reader

   gcloud projects remove-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=SERVICE_ACCOUNT_ROLE

4. Optional: Widerrufen Sie die von Ihnen erstellten Anmeldedaten für die Authentifizierung und löschen Sie die lokale Datei mit den Anmeldedaten:

   gcloud auth application-default revoke

5. Optional: Widerrufen Sie Anmeldedaten von der gcloud-CLI.

   gcloud auth revoke

Wie geht es weiter?

• Flexible Vorlagen konfigurieren.
• Sehen Sie sich die Liste der von Google bereitgestellten Vorlagen an.