Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
In dieser Anleitung erfahren Sie, wie Sie mit Cloud Composer einen Apache Airflow-DAG (Directed Acyclic Graph) erstellen, der einen Apache Hadoop-Wordcount-Job in einem Dataproc-Cluster ausführt.
Lernziele
- Greifen Sie auf die Cloud Composer-Umgebung zu und verwenden Sie die Airflow-UI.
- Airflow-Umgebungsvariablen erstellen und aufrufen
- Erstellen Sie einen DAG mit den folgenden Aufgaben und führen Sie ihn aus:
- Erstellt einen Dataproc-Cluster.
- Führt einen Apache Hadoop-Job zum Zählen von Wörtern im Cluster aus.
- Gibt die Ergebnisse der Wortzählung in einen Cloud Storage-Bucket aus.
- Löscht den Cluster.
Kosten
In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:
- Cloud Composer
- Dataproc
- Cloud Storage
Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.
Hinweise
Die folgenden APIs müssen in Ihrem Projekt aktiviert sein:
Console
Dataproc, Cloud Storage APIs aktivieren.
gcloud
Aktivieren Sie die Dataproc, Cloud Storage APIs:
gcloud services enable dataproc.googleapis.com
storage-component.googleapis.com Erstellen Sie in Ihrem Projekt einen Cloud Storage-Bucket einer beliebigen Speicherklasse und Region, um die Ergebnisse des Hadoop-Wordcount-Jobs zu speichern.
Notieren Sie sich den Pfad des Buckets, den Sie erstellt haben, z. B.
gs://example-bucket
. Sie definieren eine Airflow-Variable für diesen Pfad und verwenden die Variable im Beispiel-DAG weiter unten in dieser Anleitung.Erstellen Sie eine Cloud Composer-Umgebung mit Standardparametern. Warten Sie, bis die Erstellung der Umgebung abgeschlossen ist. Wenn Sie fertig sind, wird links neben dem Umgebungsnamen das grüne Häkchen angezeigt.
Notieren Sie sich die Region, in der Sie Ihre Umgebung erstellt haben, z. B.
us-central
. Sie definieren eine Airflow-Variable für diese Region und verwenden sie im Beispiel-DAG, um einen Dataproc-Cluster in derselben Region auszuführen.
Airflow-Variablen festlegen
Legen Sie die Airflow-Variablen fest, die später im Beispiel-DAG verwendet werden sollen. Sie können Airflow-Variablen beispielsweise in der Airflow-UI festlegen.
Airflow-Variable | Wert |
---|---|
gcp_project
|
Die Projekt-ID des Projekts, das Sie für diese Anleitung verwenden, z. B. example-project . |
gcs_bucket
|
Der Cloud Storage-URI des Cloud Storage-Buckets, den Sie für diese Anleitung erstellt haben, z. B. gs://example-bucket |
gce_region
|
Die Region, in der Sie die Umgebung erstellt haben, z. B. us-central1 .
Dies ist die Region, in der Ihr Dataproc-Cluster erstellt wird. |
Beispielworkflow ansehen
Ein Airflow-DAG ist eine Sammlung organisierter Aufgaben, die Sie planen und ausführen möchten. DAGs werden in Standard-Python-Dateien definiert. Der in hadoop_tutorial.py
angezeigte Code ist der Workflowcode.
Operatoren
Zur Orchestrierung der drei Aufgaben im Beispielworkflow importiert der DAG die folgenden drei Airflow-Operatoren:
DataprocClusterCreateOperator
: Erstellt einen Dataproc-Cluster.DataProcHadoopOperator
: Sendet einen Hadoop-Wordcount-Job und schreibt die Ergebnisse in einen Cloud Storage-Bucket.DataprocClusterDeleteOperator
: Löscht den Cluster, damit keine laufenden Compute Engine-Gebühren anfallen.
Abhängigkeiten
Sie organisieren die Aufgaben, die Sie ausführen möchten, so, dass ihre Beziehungen und Abhängigkeiten widergespiegelt werden. Die Aufgaben in diesem DAG werden nacheinander ausgeführt.
Wird geplant
Der Name des DAG lautet composer_hadoop_tutorial
. Er wird einmal täglich ausgeführt. Da der an default_dag_args
übergebene start_date
auf yesterday
gesetzt ist, plant Cloud Composer den Workflow so, dass er sofort startet, nachdem der DAG in den Bucket der Umgebung hochgeladen wurde.
DAG in den Bucket der Umgebung hochladen
Cloud Composer speichert DAGs im Ordner /dags
des Buckets Ihrer Umgebung.
So laden Sie den DAG hoch:
Speichern Sie
hadoop_tutorial.py
auf Ihrem lokalen Computer.Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen in der Spalte DAGs-Ordner für Ihre Umgebung auf den Link DAGs.
Klicken Sie auf Dateien hochladen.
Wählen Sie
hadoop_tutorial.py
auf Ihrem lokalen Computer aus und klicken Sie auf Öffnen.
Cloud Composer fügt den DAG zu Airflow hinzu und plant ihn automatisch. DAG-Änderungen werden innerhalb von 3 bis 5 Minuten wirksam.
DAG-Ausführungen ansehen
Aufgabenstatus ansehen
Wenn Sie die DAG-Datei in den Ordner dags/
in Cloud Storage hochladen, parst Cloud Composer die Datei. Wenn der Vorgang erfolgreich abgeschlossen wurde, wird der Name des Workflows in der DAG-Liste angezeigt und der Workflow wird in die Warteschlange gestellt, um sofort ausgeführt zu werden.
Rufen Sie zur Anzeige des Aufgabenstatus die Airflow-Weboberfläche auf und klicken Sie in der Symbolleiste auf DAGs.
Klicken Sie zum Öffnen der DAG-Detailseite auf
composer_hadoop_tutorial
. Diese Seite enthält eine grafische Darstellung der Workflowaufgaben und -abhängigkeiten.Klicken Sie zur Anzeige des Status jeder Aufgabe auf Graph View und bewegen Sie den Mauszeiger auf die Grafik für jede Aufgabe.
Workflow noch einmal in die Warteschlange stellen
So führen Sie den Workflow über die Grafikansicht noch einmal aus:
- Klicken Sie in der Grafikansicht der Airflow-Benutzeroberfläche auf die Grafik
create_dataproc_cluster
. - Klicken Sie zum Zurücksetzen der drei Aufgaben auf Clear und anschließend auf OK.
- Klicken Sie in der Grafikansicht noch einmal auf
create_dataproc_cluster
. - Zum nochmaligen Übergeben des Workflows an die Warteschlange klicken Sie auf Run.
![](https://cloud.google.com/static/composer/docs/images/create-clear.png?hl=de)
Aufgabenergebnisse ansehen
Sie können den Status und die Ergebnisse des composer_hadoop_tutorial
-Workflows auch auf den folgenden Seiten der Google Cloud Console prüfen:
Dataproc-Cluster: zum Überwachen der Clustererstellung und -löschung Der vom Workflow erstellte Cluster ist sitzungsspezifisch. Er ist nur für die Dauer des Workflows vorhanden und wird im Rahmen der letzten Workflowaufgabe gelöscht.
Dataproc-Jobs: zum Anzeigen oder Überwachen des Apache Hadoop-Wordcount-Jobs. Klicken Sie auf die Job-ID, um die Ausgabe des Job-Logs aufzurufen.
Cloud Storage-Browser: So können Sie sich die Ergebnisse der Wortzählung im Ordner
wordcount
des Cloud Storage-Bucket ansehen, den Sie für diese Anleitung erstellt haben.
Bereinigen
Löschen Sie die in dieser Anleitung verwendeten Ressourcen:
Löschen Sie die Cloud Composer-Umgebung, einschließlich des manuellen Löschens des Buckets der Umgebung.
Löschen Sie den Cloud Storage-Bucket, in dem die Ergebnisse des Hadoop-Wordcount-Jobs gespeichert sind.