Einführung in das Laden, Transformieren und Exportieren von Daten

Dieses Dokument bietet einen Überblick über die folgenden Funktionen zur Datenintegration in BigQuery:

  • Daten in BigQuery laden und transformieren, entweder mit dem Ansatz Extrahieren, Laden und Transformieren (ELT) oder dem Ansatz Extrahieren, Transformieren und Laden (ETL)
  • Exportieren von Daten aus BigQuery, um Statistiken in anderen Systemen anzuwenden, auch als Reverse-ETL bezeichnet.

Daten aus Quellen laden, Daten transformieren und dann die Ergebnisse exportieren

Daten laden und transformieren

Normalerweise werden Daten vor oder nach dem Laden in BigQuery transformiert. Die beiden gängigen Ansätze zur Datenintegration, ETL und ELT, werden in den folgenden Abschnitten beschrieben.

ELT-Datenintegrationsansatz

Beim Ansatz „Extrahieren, Laden und Transformieren“ führen Sie die Datenintegration in zwei separaten Schritten aus:

  • Daten extrahieren und laden
  • Daten transformieren

Sie können beispielsweise Daten aus einer JSON-Dateiquelle extrahieren und in eine BigQuery-Tabelle laden. Anschließend können Sie mithilfe von Pipelines Felder in Zieltabellen extrahieren und transformieren.

Der ELT-Ansatz kann Ihren Datenintegrations-Workflow auf folgende Weise vereinfachen:

  • Es sind keine anderen Tools zur Datenverarbeitung erforderlich.
  • Der oft komplexe Datenintegrationsprozess wird in zwei überschaubare Teile aufgeteilt.
  • BigQuery-Funktionen werden optimal genutzt, um Daten in großem Umfang vorzubereiten, zu transformieren und zu optimieren

Daten extrahieren und laden

Bei der ELT-Datenintegration werden Daten aus einer Datenquelle extrahiert und mit einer der unterstützten Methoden zum Laden oder Abrufen externer Daten in BigQuery geladen.

Daten umwandeln

Nachdem Sie die Daten in BigQuery geladen haben, können Sie sie mit den folgenden Tools vorbereiten und transformieren:

  • Mit Dataform können Sie erweiterte SQL-Datentransformationspipelines gemeinsam erstellen, testen, dokumentieren und planen.
  • Für kleinere Datentransformationsworkflows, bei denen SQL-Code oder Python-Notebooks nach einem Zeitplan ausgeführt werden, verwenden Sie Workflows (in der Vorabversion).
  • Verwenden Sie die KI-gestützte Datenvorbereitung (in der Vorabversion), um Ihre Daten für die Analyse zu bereinigen.

Weitere Informationen finden Sie unter Einführung in Transformationen.

ETL-Datenintegrationsansatz

Beim Extrahieren, Transformieren und Laden werden Daten extrahiert und transformiert, bevor sie BigQuery erreichen. Dieser Ansatz ist sinnvoll, wenn Sie bereits einen Prozess für die Datentransformation haben oder die Ressourcennutzung in BigQuery reduzieren möchten.

Cloud Data Fusion kann Ihnen dabei helfen, Ihren ETL-Prozess zu vereinfachen. BigQuery kann auch mit Drittanbietern verwendet werden, die Daten in BigQuery transformieren und laden.

Daten exportieren

Nachdem Sie Daten in BigQuery verarbeitet und analysiert haben, können Sie die Ergebnisse exportieren, um sie in anderen Systemen anzuwenden. BigQuery unterstützt die folgenden Exporte:

  • Abfrageergebnisse in eine lokale Datei, Google Drive oder Google Tabellen exportieren
  • Tabellen oder Abfrageergebnisse nach Cloud Storage, Bigtable, Spanner und Pub/Sub exportieren

Dieser Vorgang wird als Reverse-ETL bezeichnet.

Weitere Informationen finden Sie unter Einführung in den Datenexport.

Nächste Schritte