Schnellstart mit Python
In dieser Kurzanleitung erfahren Sie, wie Sie das Apache Beam SDK für Python verwenden, um ein Programm zu erstellen, das eine Pipeline definiert. Anschließend führen Sie die Pipeline mit einem direkten lokalen Runner oder einem cloudbasierten Runner wie Dataflow aus.
Hinweis
- Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, und Cloud Resource Manager APIs aktivieren.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the Project > Owner role to the service account.
To grant the role, find the Select a role list, then select Project > Owner.
- Click Continue.
-
Click Done to finish creating the service account.
Do not close your browser window. You will use it in the next step.
-
-
Create a service account key:
- In the Google Cloud console, click the email address for the service account that you created.
- Click Keys.
- Click Add key, and then click Create new key.
- Click Create. A JSON key file is downloaded to your computer.
- Click Close.
-
Legen Sie die Umgebungsvariable
GOOGLE_APPLICATION_CREDENTIALS
auf den Pfad der JSON-Datei fest, die Ihre Anmeldedaten enthält. Diese Variable gilt nur für Ihre aktuelle Shell-Sitzung. Wenn Sie eine neue Sitzung öffnen, müssen Sie die Variable neu festlegen. -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, und Cloud Resource Manager APIs aktivieren.
-
Create a service account:
-
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart
. - Click Create and continue.
-
Grant the Project > Owner role to the service account.
To grant the role, find the Select a role list, then select Project > Owner.
- Click Continue.
-
Click Done to finish creating the service account.
Do not close your browser window. You will use it in the next step.
-
-
Create a service account key:
- In the Google Cloud console, click the email address for the service account that you created.
- Click Keys.
- Click Add key, and then click Create new key.
- Click Create. A JSON key file is downloaded to your computer.
- Click Close.
-
Legen Sie die Umgebungsvariable
GOOGLE_APPLICATION_CREDENTIALS
auf den Pfad der JSON-Datei fest, die Ihre Anmeldedaten enthält. Diese Variable gilt nur für Ihre aktuelle Shell-Sitzung. Wenn Sie eine neue Sitzung öffnen, müssen Sie die Variable neu festlegen. - Cloud Storage-Bucket erstellen:
- Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Buckets.
- Klicken Sie auf Bucket erstellen.
- Geben Sie auf der Seite Bucket erstellen die Bucket-Informationen ein. Klicken Sie auf Weiter, um mit dem nächsten Schritt fortzufahren.
- Geben Sie unter Bucket benennen einen eindeutigen Bucket-Namen ein. Der Bucket-Name darf keine vertraulichen Informationen enthalten, da der Bucket-Namespace global und öffentlich sichtbar ist.
-
Gehen Sie unter Speicherort für Daten auswählen folgendermaßen vor:
- Wählen Sie eine Option für Standorttyp aus.
- Wählen Sie eine Standort-Option aus.
- Wählen Sie unter Standardspeicherklasse für Ihre Daten auswählen Folgendes aus: Standard.
- Wählen Sie unter Zugriffssteuerung für Objekte auswählen eine Option für die Zugriffssteuerung aus.
- Geben Sie für Erweiterte Einstellungen (optional) eine Verschlüsselungsmethode, eine Aufbewahrungsrichtlinie oder Bucket-Labels an.
- Klicken Sie auf Erstellen.
- Kopieren Sie die Google Cloud-Projekt-ID und den Namen des Cloud Storage-Buckets. Sie benötigen diese Werte später in diesem Dokument.
Umgebung einrichten
In diesem Abschnitt richten Sie über die Eingabeaufforderung eine isolierte virtuelle Python-Umgebung ein, um Ihr Pipeline-Projekt mit venv auszuführen. Auf diese Weise können Sie die Abhängigkeiten eines Projekts von den Abhängigkeiten anderer Projekte isolieren.
Wenn Ihnen im Moment keine Eingabeaufforderung zur Verfügung steht, können Sie Cloud Shell verwenden. Der Paketmanager für Python 3 ist in Cloud Shell bereits installiert, sodass Sie mit dem Erstellen einer virtuellen Umgebung fortfahren können.
So installieren Sie Python und erstellen dann eine virtuelle Umgebung:
- Prüfen Sie, ob Python 3 und
pip
in Ihrem System ausgeführt werden:python --version python -m pip --version
- Installieren Sie gegebenenfalls Python 3 und richten Sie dann eine virtuelle Python-Umgebung ein. Folgen Sie dazu der Anleitung in den Abschnitten Python installieren und venv einrichten auf der Seite Python-Entwicklungsumgebung einrichten.
Nachdem Sie die Kurzanleitung durchgearbeitet haben, können Sie die virtuelle Umgebung mit dem Befehl deactivate
deaktivieren.
Apache Beam SDK abrufen
Das Apache Beam SDK ist ein Open-Source-Programmiermodell für Datenpipelines. Sie definieren eine Pipeline mit einem Apache Beam-Programm und wählen dann einen Runner wie Dataflow aus, um Ihre Pipeline auszuführen.
So laden Sie das Apache Beam SDK herunter und installieren es:
- Prüfen Sie, ob Sie sich in der virtuellen Python-Umgebung befinden, die Sie im vorherigen Abschnitt erstellt haben.
Die Eingabeaufforderung beginnt mit
<env_name>
, wobeienv_name
der Name der virtuellen Umgebung ist. - Installieren Sie den Paketstandard Python-Rad:
pip install wheel
- Installieren Sie die neueste Version des Apache Beam SDK für Python:
pip install 'apache-beam[gcp]'
Je nach Verbindung kann die Installation etwas dauern.
Pipeline lokal ausführen
Wenn Sie sehen möchten, wie eine Pipeline lokal ausgeführt wird, verwenden Sie ein fertiges Python-Modul für das Beispiel wordcount
, das im Paket apache_beam
enthalten ist.
Das Pipeline-Beispiel wordcount
führt Folgendes aus:
Sie nimmt eine Textdatei als Eingabe an.
Sie finden die Textdatei in einem Cloud Storage-Bucket mit dem Ressourcennamen
gs://dataflow-samples/shakespeare/kinglear.txt
.- Sie parst jede Zeile und unterteilt sie in Wörter.
- Sie misst die Häufigkeit der tokenisierten Wörter.
Führen Sie die folgenden Schritte aus, um die Pipeline wordcount
lokal bereitzustellen:
- Führen Sie auf Ihrem lokalen Terminal das Beispiel
wordcount
aus:python -m apache_beam.examples.wordcount \ --output outputs
- Sehen Sie sich die Ausgabe der Pipeline an:
more outputs*
- Drücken Sie zum Beenden q.
wordcount.py
auf dem GitHub für Apache Beam ansehen.
Pipeline im Dataflow-Dienst ausführen
In diesem Abschnitt führen Sie diewordcount
-Beispielpipeline aus dem Paket apache_beam
im Dataflow-Dienst aus. In diesem Beispiel wird DataflowRunner
als Parameter für --runner
angegeben.
- Führen Sie die Pipeline aus:
python -m apache_beam.examples.wordcount \ --region DATAFLOW_REGION \ --input gs://dataflow-samples/shakespeare/kinglear.txt \ --output gs://STORAGE_BUCKET/results/outputs \ --runner DataflowRunner \ --project PROJECT_ID \ --temp_location gs://STORAGE_BUCKET/tmp/
Dabei gilt:
DATAFLOW_REGION
: der regionale Endpunkt, an dem Sie den Dataflow-Job bereitstellen möchten, z. B.europe-west1
.Das Flag
--region
überschreibt die Standardregion, die auf dem Metadatenserver, auf Ihrem lokalen Client oder in Umgebungsvariablen festgelegt ist.STORAGE_BUCKET
: Cloud Storage-Name, den Sie zuvor kopiert haben.PROJECT_ID
: Google Cloud-Projekt-ID, die Sie zuvor kopiert haben.
Ergebnisse ansehen
Wenn Sie eine Pipeline mit Dataflow ausführen, werden die Ergebnisse in einem Cloud Storage-Bucket gespeichert. Prüfen Sie in diesem Abschnitt, ob die Pipeline mit der Cloud Console oder dem lokalen Terminal ausgeführt wird.
Cloud Console
So rufen Sie Ihre Ergebnisse in der Cloud Console auf:
- Rufen Sie in der Cloud Console die Seite Jobs von Dataflow auf.
Auf der Seite Jobs werden Details zum
wordcount
-Job angezeigt, z. B. der Status Aktiv und dann Erfolgreich. - Zum Cloud Storage-Browser
Klicken Sie in der Liste der Buckets in Ihrem Projekt auf den Storage-Bucket, den Sie zuvor erstellt haben.
Im Verzeichnis
wordcount
werden die von Ihrem Job erstellten Ausgabedateien angezeigt.
Lokales Terminal
Um die Ergebnisse von Ihrem Terminal aus aufzurufen, verwenden Sie das gsutil
-Tool.
Sie können die Befehle auch über Cloud Shell ausführen.
- Listen Sie die Ausgabedateien auf:
gsutil ls -lh "gs://STORAGE_BUCKET/results/outputs*"
- Sehen Sie sich die Ergebnisse in den Ausgabedateien an:
gsutil cat "gs://STORAGE_BUCKET/results/outputs*"
Ersetzen Sie STORAGE_BUCKET
durch den Namen des Cloud Pipeline-Buckets, der im Pipelineprogramm verwendet wird.
Pipelinecode ändern
Diewordcount
-Pipeline in den vorherigen Beispielen unterscheidet zwischen groß- und kleingeschriebenen Wörtern.
In den folgenden Schritten wird gezeigt, wie Sie die Pipeline so ändern, dass die Groß- und Kleinschreibung bei der wordcount
-Pipeline nicht berücksichtigt wird.
- Laden Sie auf Ihrem lokalen Computer die neueste Kopie des
wordcount
-Codes aus dem Apache Beam GitHub-Repository herunter. - Führen Sie die Pipeline über das lokale Terminal aus:
python wordcount.py --output outputs
- Rufen Sie die Ergebnisse auf:
more outputs*
- Drücken Sie zum Beenden q.
- Öffnen Sie die Datei
wordcount.py
in einem Editor Ihrer Wahl. - Sehen Sie sich die Pipelineschritte in der Funktion
run
an:counts = ( lines | 'Split' >> (beam.ParDo(WordExtractingDoFn()).with_output_types(str)) | 'PairWIthOne' >> beam.Map(lambda x: (x, 1)) | 'GroupAndSum' >> beam.CombinePerKey(sum))
Nach
split
werden die Zeilen in Wörter als Strings unterteilt. - Wenn Sie die Strings in Kleinbuchstaben darstellen möchten, ändern Sie die Zeile nach
split
:counts = ( lines | 'Split' >> (beam.ParDo(WordExtractingDoFn()).with_output_types(str)) | 'lowercase' >> beam.Map(str.lower) | 'PairWIthOne' >> beam.Map(lambda x: (x, 1)) | 'GroupAndSum' >> beam.CombinePerKey(sum))
Durch diese Änderung wird die Funktionstr.lower
jedem Wort zugeordnet. Diese Zeile entsprichtbeam.Map(lambda word: str.lower(word))
. - Speichern Sie die Datei und führen Sie den geänderten Job
wordcount
aus:python wordcount.py --output outputs
- Sehen Sie sich die Ergebnisse der geänderten Pipeline an:
more outputs*
- Drücken Sie zum Beenden q.
Bereinigen
Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:
- Wechseln Sie in der Cloud Console zur Seite Cloud Storage-Buckets.
- Klicken Sie auf das Kästchen neben dem Bucket, der gelöscht werden soll.
- Klicken Sie zum Löschen des Buckets auf Löschen und folgen Sie der Anleitung.
Nächste Schritte
- Mehr über das Apache Beam-Programmiermodell erfahren
- Pipeline mit einem Apache Beam-Notebook interaktiv entwickeln
- Eigene Pipeline entwerfen und erstellen
- Beispiele für WordCount und Mobile Gaming.