Hinweis
Richten Sie ein Google Cloud-Projekt und zwei (2) Cloud Storage-Buckets ein, falls Sie dies noch nicht getan haben.
Projekt einrichten
- Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Dataproc, Compute Engine, Cloud Storage, and Cloud Functions APIs aktivieren.
- Installieren Sie die Google Cloud CLI.
-
Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init
-
Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Dataproc, Compute Engine, Cloud Storage, and Cloud Functions APIs aktivieren.
- Installieren Sie die Google Cloud CLI.
-
Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init
Zwei (2) Cloud Storage-Buckets in Ihrem Projekt erstellen oder verwenden
Sie benötigen zwei Cloud Storage-Buckets in Ihrem Projekt: einen für Eingabedateien und einen für die Ausgabe.
- Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Buckets.
- Klicken Sie auf Bucket erstellen.
- Geben Sie auf der Seite Bucket erstellen die Bucket-Informationen ein. Klicken Sie auf Weiter, um mit dem nächsten Schritt fortzufahren.
- Geben Sie unter Bucket benennen einen Namen ein, der den Anforderungen für Bucket-Namen entspricht.
-
Gehen Sie unter Speicherort für Daten auswählen folgendermaßen vor:
- Wählen Sie eine Option für Standorttyp aus.
- Wählen Sie eine Standort-Option aus.
- Wählen Sie unter Standardspeicherklasse für Ihre Daten auswählen eine Speicherklasse aus.
- Wählen Sie unter Zugriffssteuerung für Objekte auswählen eine Option für die Zugriffssteuerung aus.
- Geben Sie für Erweiterte Einstellungen (optional) eine Verschlüsselungsmethode, eine Aufbewahrungsrichtlinie oder Bucket-Labels an.
- Klicken Sie auf Erstellen.
Workflow-Vorlage erstellen
Kopieren Sie die unten aufgeführten Befehle und führen Sie sie in einem lokalen Terminalfenster oder in Cloud Shell aus, um eine Workflow-Vorlage zu erstellen und zu definieren.
Hinweise:
- Die Befehle geben die Region "us-central1" an. Sie können eine andere Region angeben oder das Flag
--region
löschen, wenn Sie zuvorgcloud config set compute/region
ausgeführt haben, um das Regionsattribut festzulegen. - Die Sequenz "-- " (Bindestrich-Bindestrich-Leerzeichen) übergibt Argumente an die JAR-Datei.
Mit dem Befehl
wordcount input_bucket output_dir
wird die Wordcount-Anwendung der JAR-Datei von Textdateien ausgeführt, die im Cloud Storage-input_bucket
enthalten sind, und gibt dann Wordcount-Dateien an eineoutput_bucket
aus. Sie parametrisieren das Argument für den Wordcount-Eingabe-Bucket, damit die Funktion dieses Argument bereitstellen kann.
- Erstellen Sie die Workflow-Vorlage.
gcloud dataproc workflow-templates create wordcount-template \ --region=us-central1
- Fügen Sie der Workflow-Vorlage den Wordcount-Job hinzu.
-
Geben Sie output-bucket-name an, bevor Sie den Befehl ausführen. Die Funktion stellt den Eingabe-Bucket bereit.
Nachdem Sie den Namen des Ausgabe-Buckets eingegeben haben, sollte das Argument des Ausgabe-Buckets so lauten:
gs://your-output-bucket/wordcount-output"
. - Die Schritt-ID „count“ ist erforderlich und kennzeichnet den hinzugefügten Job.
gcloud dataproc workflow-templates add-job hadoop \ --workflow-template=wordcount-template \ --step-id=count \ --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \ --region=us-central1 \ -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
-
Geben Sie output-bucket-name an, bevor Sie den Befehl ausführen. Die Funktion stellt den Eingabe-Bucket bereit.
Nachdem Sie den Namen des Ausgabe-Buckets eingegeben haben, sollte das Argument des Ausgabe-Buckets so lauten:
- Führen Sie den Workflow mit einem verwalteten Einzelknoten aus. Dataproc erstellt den Cluster, führt den Workflow aus und löscht den Cluster, wenn der Workflow abgeschlossen ist.
gcloud dataproc workflow-templates set-managed-cluster wordcount-template \ --cluster-name=wordcount \ --single-node \ --region=us-central1
- Klicken Sie in der Google Cloud Console auf der Dataproc-Seite Workflows auf den Namen
wordcount-template
, um die Seite Workflow-Vorlagendetails zu öffnen. Bestätigen Sie die Wordcount-template-Attribute.
Workflow-Vorlage parametrisieren
Parametrisieren Sie die Eingabe-Bucket-Variable, die an die Workflow-Vorlage übergeben werden soll.
- Exportieren Sie die Workflow-Vorlage in eine
wordcount.yaml
-Textdatei zur Parametrisierung.gcloud dataproc workflow-templates export wordcount-template \ --destination=wordcount.yaml \ --region=us-central1
- Öffnen Sie
wordcount.yaml
mit einem Texteditor und fügen Sie am Ende der YAML-Datei einenparameters
-Block hinzu, damit der Cloud Storage-INPUT_BUCKET_URI alsargs[1]
an das Binärprogramm für die Wortzahl weitergegeben werden kann, wenn der Workflow ausgelöst wird.Unten sehen Sie ein Beispiel für eine exportierte YAML-Datei. Sie haben zwei Möglichkeiten, Ihre Vorlage zu aktualisieren:
- Kopieren Sie dann die gesamte Datei und fügen Sie sie ein, um die exportierte Datei
wordcount.yaml
zu ersetzen, nachdem Sie your-output_bucket durch den Namen des Ausgabe-Buckets ersetzt haben, ODER - Kopieren Sie nur den Abschnitt
parameters
und fügen Sie ihn am Ende der exportiertenwordcount.yaml
-Datei ein.
jobs: - hadoopJob: args: - wordcount - gs://input-bucket - gs://your-output-bucket/wordcount-output mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar stepId: count placement: managedCluster: clusterName: wordcount config: softwareConfig: properties: dataproc:dataproc.allow.zero.workers: 'true' parameters: - name: INPUT_BUCKET_URI description: wordcount input bucket URI fields: - jobs['count'].hadoopJob.args[1]
- Kopieren Sie dann die gesamte Datei und fügen Sie sie ein, um die exportierte Datei
- Importieren Sie die parametrisierte
wordcount.yaml
-Textdatei. Geben Sie "Y" ein, wenn Sie aufgefordert werden, die Vorlage zu überschreiben.gcloud dataproc workflow-templates import wordcount-template \ --source=wordcount.yaml \ --region=us-central1
Cloud Functions-Funktion erstellen
Öffnen Sie in der Google Cloud Console die Seite Cloud Functions und klicken Sie auf FUNKTION ERSTELLEN.
Geben Sie auf der Seite Funktion erstellen die folgenden Informationen ein oder wählen Sie sie aus:
- Name: Wortzahl
- Zugewiesener Speicher:Behalten Sie die Standardauswahl bei.
- Trigger:
- Cloud Storage
- Ereignistyp: Abschluss/Erstellen
- Bucket: Wählen Sie Ihren Eingabe-Bucket aus (siehe Cloud Storage-Bucket im Projekt erstellen). Wenn Sie diesem Bucket eine Datei hinzufügen, löst die Funktion den Workflow aus. Der Workflow führt die Wordcount-Anwendung aus, mit der alle Textdateien im Bucket verarbeitet werden.
Quellcode:
- Inline-Editor
- Laufzeit: Node.js 8
- Tab
INDEX.JS
: Ersetzen Sie das Standard-Code-Snippet durch den folgenden Code und bearbeiten Sie die Zeileconst projectId
, um Ihre -your-project-id- (ohne einen voran- oder nachgestellten "-") anzugeben.
const dataproc = require('@google-cloud/dataproc').v1; exports.startWorkflow = (data) => { const projectId = '-your-project-id-' const region = 'us-central1' const workflowTemplate = 'wordcount-template' const client = new dataproc.WorkflowTemplateServiceClient({ apiEndpoint: `${region}-dataproc.googleapis.com`, }); const file = data; console.log("Event: ", file); const inputBucketUri = `gs://${file.bucket}/${file.name}`; const request = { name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate), parameters: {"INPUT_BUCKET_URI": inputBucketUri} }; client.instantiateWorkflowTemplate(request) .then(responses => { console.log("Launched Dataproc Workflow:", responses[1]); }) .catch(err => { console.error(err); }); };
- Tab
PACKAGE.JSON
: Ersetzen Sie das Standard-Code-Snippet durch den folgenden Code.
{ "name": "dataproc-workflow", "version": "1.0.0", "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"} }
- Auszuführende Funktion: Eingabe: "startWorkflow".
Klicken Sie auf ERSTELLEN.
Funktion testen
Kopieren Sie die öffentliche Datei
rose.txt
in Ihren Bucket, um die Funktion auszulösen. Fügen Sie in den Befehl your-input-bucket-name (den Bucket, der zum Auslösen der Funktion verwendet wird) ein.gsutil cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
Warten Sie 30 Sekunden und führen Sie dann den folgenden Befehl aus, um zu prüfen, ob die Funktion erfolgreich abgeschlossen wurde.
gcloud functions logs read wordcount
... Function execution took 1348 ms, finished with status: 'ok'
Klicken Sie zum Aufrufen der Funktionslogs in der Google Cloud Console auf der Seite Funktionen auf den Namen der Funktion
wordcount
und dann auf der Seite Funktionsdetails auf LOGS ANSEHEN.Sie können sich den Ordner
wordcount-output
in Ihrem Ausgabe-Bucket auf der Seite Storage-Browser in der Google Cloud Console ansehen.Nach Abschluss des Workflows bleiben die Jobdetails in der Google Cloud Console erhalten. Klicken Sie auf den
count...
-Job, der auf der Dataproc-Seite Jobs aufgeführt ist, um Details zum Workflow-Job anzuzeigen.
Bereinigen
Der Workflow in dieser Anleitung löscht den verwalteten Cluster, wenn der Workflow abgeschlossen ist. Sie können andere Ressourcen aus dieser Anleitung löschen, um wiederkehrende Kosten zu vermeiden.
Ein Projekt löschen
- Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.
- Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
- Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.
Cloud Storage-Buckets löschen
- Wechseln Sie in der Google Cloud Console zur Seite Cloud Storage-Browser.
- Klicken Sie auf das Kästchen neben dem Bucket, der gelöscht werden soll.
- Klicken Sie zum Löschen des Buckets auf Löschen und folgen Sie der Anleitung.
Workflow-Vorlage löschen
gcloud dataproc workflow-templates delete wordcount-template \ --region=us-central1
Ihre Cloud Functions-Funktion löschen
Öffnen Sie die Seite Cloud Functions in der Google Cloud Console, klicken Sie auf das Kästchen links neben der Funktion wordcount
und klicken Sie dann auf LÖSCHEN.
Weitere Informationen