Datenpipeline erstellen

Datenpipeline erstellen

In dieser Kurzanleitung wird Folgendes beschrieben:

1. Erstellen Sie eine Cloud Data Fusion-Instanz.
2. Beispielpipeline bereitstellen, die in Ihrer Cloud Data Fusion-Instanz bereitgestellt wird Die Pipeline führt Folgendes aus:
   1. Eine JSON-Datei mit NYT-Bestseller-Daten aus Cloud Storage lesen
   2. Transformationen an der Datei ausführen, um die Daten zu analysieren und zu bereinigen
   3. Die bestbewerteten Bücher, die in der letzten Woche hinzugefügt wurden und weniger als 25 $ kosten, in BigQuery laden

Hinweis

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Enable the Cloud Data Fusion API.

   Enable the API

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Enable the Cloud Data Fusion API.

   Enable the API

Erstellen Sie eine Cloud Data Fusion-Instanz.

1. Klicken Sie auf Instanz erstellen.

   Zur Seite „Instanzen“

2. Geben Sie einen Instanznamen ein.
3. Geben Sie eine Beschreibung für Ihre Instanz ein.
4. Geben Sie die Region ein, in der die Instanz erstellt werden soll.
5. Wählen Sie die zu verwendende Cloud Data Fusion-Version aus.
6. Wählen Sie die Cloud Data Fusion Edition aus.
7. Wählen Sie für Cloud Data Fusion Version 6.2.3 und höher im Feld Autorisierung das Dataproc-Dienstkonto aus, das zum Ausführen Ihrer Cloud Data Fusion-Pipeline in Dataproc verwendet werden soll. Der Standardwert, das Compute Engine-Konto, ist bereits ausgewählt.
8. Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist. Während Cloud Data Fusion die Instanz erstellt, wird neben dem Instanznamen auf der Seite Instanzen ein Radsymbol angezeigt, das den Fortschritt angibt. Nachdem der Vorgang abgeschlossen ist, wird es zu einem grünen Häkchen. Dies zeigt an, dass Sie die Instanz verwenden können.

Die Weboberfläche von Cloud Data Fusion verwenden

Mit Cloud Data Fusion können Sie sowohl die Google Cloud Console und der separaten Weboberfläche von Cloud Data Fusion.

• In der Google Cloud Console haben Sie folgende Möglichkeiten:

  • Google Cloud Console-Projekt erstellen
  • Cloud Data Fusion-Instanzen erstellen und löschen
  • Details zur Cloud Data Fusion-Instanz ansehen

• In der Weboberfläche von Cloud Data Fusion können Sie verschiedene Seiten verwenden, z. B. Studio oder Wrangler, um die Funktionen von Cloud Data Fusion zu verwenden.

So navigieren Sie in der Cloud Data Fusion-Oberfläche:

1. Öffnen Sie in der Google Cloud Console die Seite Instanzen.

   Zur Seite „Instanzen“

2. Klicken Sie in der Spalte Aktionen der Instanz auf den Link Instanz aufrufen.
3. Verwenden Sie in der Weboberfläche von Cloud Data Fusion den linken Navigationsbereich, um navigieren Sie zu der gewünschten Seite.

Beispielpipeline bereitstellen

Beispielpipelines sind über den Cloud Data Fusion Hub verfügbar. mit der Sie wiederverwendbare Cloud Data Fusion-Pipelines, Plug-ins, und Lösungen.

1. Klicken Sie in der Weboberfläche von Cloud Data Fusion auf Hub.
2. Klicken Sie im linken Bereich auf Pipelines.
3. Klicken Sie auf die Pipeline Cloud Data Fusion-Quickstart.
4. Klicken Sie auf Erstellen.
5. Klicken Sie im Konfigurationsbereich der Cloud Data Fusion-Kurzanleitung auf Fertigstellen.

6. Klicken Sie auf Pipeline anpassen.

   Auf der Seite Studio wird Ihre Pipeline visuell dargestellt. eine grafische Benutzeroberfläche zum Entwickeln von Pipelines zur Datenintegration. Auf der linken Seite sind die Pipeline-Plug-ins aufgelistet und Ihre Pipeline wird im Hauptbereich angezeigt. Sie können Ihre Pipeline untersuchen, indem Sie Bewegen Sie den Mauszeiger auf die einzelnen Pipelineknoten und klicken Sie auf Attribute. Die Im Eigenschaftenmenü für jeden Knoten können Sie die Objekte und Vorgänge die mit dem Knoten verknüpft sind.

7. Klicken Sie im Menü rechts oben auf Bereitstellen. Mit diesem Schritt wird die Pipeline an Cloud Data Fusion. Im nächsten Abschnitt dieser Kurzanleitung führen Sie die Pipeline aus.

Pipeline anzeigen

Die bereitgestellte Pipeline wird in der Ansicht der Pipelinedetails angezeigt. Hier können Sie Folgendes tun:

• Sehen Sie sich die Struktur und Konfiguration der Pipeline an.
• Pipeline manuell ausführen oder einen Zeitplan bzw. Trigger einrichten
• Zusammenfassung der bisherigen Ausführungen der Pipeline ansehen, einschließlich der Ausführung Uhrzeiten, Logs und Messwerten.

Pipeline ausführen

Klicken Sie in der Ansicht „Pipelinedetails“ auf Ausführen, um die Pipeline auszuführen.

Beim Ausführen einer Pipeline geht Cloud Data Fusion so vor:

1. Einen sitzungsspezifischen Dataproc-Cluster bereitstellen
2. Pipeline mit Apache Spark im Cluster ausführen
3. Löscht den Cluster

Hinweis: Wenn die Pipeline in den Status Aktiv wechselt, können Sie das Erstellen und Löschen des Dataproc-Clusters überwachen Dieser Cluster ist nur für folgenden Zeitraum vorhanden: für die Pipeline.

Ergebnisse aufrufen

Nach einigen Minuten ist die Pipeline abgeschlossen. Der Pipelinestatus ändert sich in Erfolgreich und die Anzahl der von jedem Knoten verarbeiteten Datensätze wird angezeigt.

1. Rufen Sie die BigQuery-Weboberfläche auf.

2. Rufen Sie das Dataset DataFusionQuickstart auf, um ein Beispiel der Ergebnisse anzusehen klicken Sie in Ihrem Projekt auf das top_rated_inexpensive und führen Sie dann eine einfache Abfrage aus. Beispiel:

   SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
   

   Ersetzen Sie PROJECT_ID durch Ihre Projekt-ID.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

1. BigQuery-Dataset löschen in die Ihre Pipeline in diesem Schnellstart geschrieben hat.

2. Löschen Sie die Cloud Data Fusion-Instanz.

   Hinweis: Durch das Löschen der Instanz werden keine Ihrer Daten im Projekt gelöscht.

3. Optional: Löschen Sie das Projekt.

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:
• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.
1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Nächste Schritte

• Anleitung zu Cloud Data Fusion
• Informationen über Konzepte zu Cloud Data Fusion