Einführung in externe Datenquellen

Diese Seite bietet eine Übersicht über das Abfragen von Daten, die außerhalb von BigQuery gespeichert sind.

Übersicht

Eine externe Datenquelle ist eine Datenquelle, für die auch dann direkt aus BigQuery heraus eine Abfrage ausgeführt werden kann, wenn die Daten nicht im BigQuery-Speicher gespeichert sind.

BigQuery unterstützt die folgenden externen Datenquellen:

Dazu gehören folgende Anwendungsfälle für externe Datenquellen:

  • Bei ELT-Arbeitslasten (extract-load-transform) laden und bereinigen Sie Ihre Daten in einem Schritt und schreiben Sie das bereinigte Ergebnis mithilfe einer CREATE TABLE ... AS SELECT-Abfrage in den BigQuery-Speicher.
  • BigQuery-Tabellen mit häufig wechselnden Daten aus einer externen Datenquelle zusammenführen. Wenn Sie die externe Datenquelle direkt abfragen, müssen Sie die Daten nicht bei jeder Änderung neu in den BigQuery-Speicher laden.

BigQuery verfügt über zwei verschiedene Mechanismen zum Abfragen externer Daten:

  • Externe Tabellen

    Eine externe Tabelle ist eine Tabelle, die wie eine normale BigQuery-Tabelle funktioniert. Die Tabellenmetadaten, einschließlich des Tabellenschemas, werden im BigQuery-Speicher gespeichert, die Daten selbst befinden sich jedoch in der externen Quelle.

    Externe Tabellen können temporär oder dauerhaft sein. Eine permanente externe Tabelle ist in einem Dataset enthalten und wird genauso wie eine Standard-BigQuery-Tabelle verwaltet. Sie können beispielsweise die Tabelleneigenschaften aufrufen, Zugriffssteuerungen festlegen und so weiter. Sie können die Tabelle abfragen und mit anderen Tabellen zusammenführen.

    Sie können externe Tabellen mit den folgenden Datenquellen verwenden:

  • Föderierte Abfragen

    Mit einer föderierten Abfrage können Sie eine Abfrageanweisung an eine externe Datenbank senden und das Ergebnis als temporäre Tabelle abrufen. Föderierte Abfragen verwenden die BigQuery Connection API, um eine Verbindung zur externen Datenbank herzustellen. In der Standard-SQL-Abfrage verwenden Sie die Funktion EXTERNAL_QUERY, um eine Abfrageanweisung mit dem SQL-Dialekt dieser Datenbank an die externe Datenbank zu senden. Die Ergebnisse werden in BigQuery-Standard-SQL-Datentypen konvertiert.

    Sie können föderierte Abfragen mit den folgenden externen Datenbanken verwenden:

Mehr zur Verwendung der Play Console erfahren