Daten mit Cloud Data Fusion verarbeiten

Cloud Data Fusion bietet ein Dataplex-Quell-Plug-in, mit dem Daten aus Dataplex-Entitäten (Tabellen) in Cloud Storage- oder BigQuery-Assets gelesen werden können. Dataplex-Quelle können Sie Daten in Cloud Storage-Assets als Tabellen und Filter die Daten mit einfachen SQL-Abfragen.

Hinweise

  • Erstellen Sie eine Cloud Data Fusion-Instanz, falls Sie noch keine haben. Dieses Plug-in ist in Instanzen verfügbar, die in Cloud Data Fusion Version 6.6 oder höher.

  • Die Quelldaten müssen bereits Teil eines Dataplex sein zone und ein asset (entweder ein Cloud Storage-Bucket oder ein BigQuery-Dataset).

  • Wenn Sie Tabellen aus Cloud Storage verwenden möchten, müssen Sie einen Metaspeicher konfigurieren für Ihren See.

  • Damit Daten aus Cloud Storage-Entitäten gelesen werden können, muss Dataproc Metastore mit dem Data Lake verbunden sein.

  • CSV-Daten in Cloud Storage-Entitäten werden nicht unterstützt.

  • Aktivieren Sie im Dataplex-Projekt den privater Google-Zugriff auf der Subnetzwerk, das normalerweise auf default festgelegt ist, oder internal_ip_only auf false

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für den Dataproc-Dienst-Agent und den Cloud Data Fusion-Dienst-Agent (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Rollen benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Beschränkungen

  • Für Cloud Storage-Assets: Dieses Plug-in unterstützt das Lesen aus CSV-Dateien. Es unterstützt das Lesen aus JSON-, Avro-, Parquet- und ORC-Formaten.

  • Für Cloud Storage-Assets: Partition Start Date und Partition Enddatum nicht zutreffend sind.

Fügen Sie das Plug-in Ihrer Pipeline hinzu.

  1. Rufen Sie in der Google Cloud Console die Cloud Data Fusion-Seite Instanzen auf.

    Zur Seite „VM-Instanzen“

    Auf dieser Seite können Sie Ihre Instanzen verwalten.

  2. Klicken Sie auf Instanz anzeigen, um die Instanz in der Cloud Data Fusion-Benutzeroberfläche zu öffnen.

  3. Rufen Sie die Seite Studio auf, maximieren Sie das Menü Quelle und klicken Sie auf Dataplex.

Plug-in konfigurieren

Nachdem Sie dieses Plug-in Ihrer Pipeline auf der Seite Studio hinzugefügt haben, klicken Sie auf die Dataplex-Quelle, um ihre Eigenschaften zu konfigurieren.

Weitere Informationen zu Konfigurationen finden Sie in der Referenz zur Dataplex-Quelle

Optional: Erste Schritte mit einer Beispielpipeline

Es sind Beispielpipelines verfügbar, darunter eine Pipeline von einer SAP-Quelle zu einer Dataplex-Senke und eine Pipeline von einer Dataplex-Quelle zu einer BigQuery-Senke.

Wenn Sie eine Beispielpipeline verwenden möchten, öffnen Sie Ihre Instanz in der Cloud Data Fusion-Benutzeroberfläche, klicken Sie auf Hub > Pipelines und wählen Sie eine der Dataplex-Pipelines aus. Ein Dialogfeld wird geöffnet, in dem Sie die zu erstellen.

Nächste Schritte