Einführung in Verbindungen

Mit BigQuery können Sie Daten abfragen, die außerhalb von BigQuery in Google Cloud-Diensten wie Cloud Storage oder Cloud Spanner oder in Quellen von Drittanbietern wie AWS oder Azure gespeichert sind. Diese externen Verbindungen verwenden die BigQuery Connection API.

Angenommen, Sie speichern Details zu Kundenaufträgen in Cloud SQL und Daten zu Verkäufen in BigQuery und möchten die beiden Tabellen in einer einzigen Abfrage verknüpfen. Sie können mit der BigQuery Connection API eine Cloud SQL-Verbindung zur externen Datenbank herstellen. Bei Verbindungen senden Sie Anmeldedaten für Datenbanken niemals als Klartext.

Jede Verbindung wird verschlüsselt und sicher im BigQuery-Verbindungsdienst gespeichert. Um Nutzern Zugriff auf Verbindungen zu gewähren weisen Sie diesen IAM-Rollen (Identity and Access Management) für BigQuery-Verbindungen zu.

Verbindungstypen

BigQuery stellt Verbindungen für folgende externe Datenquellen bereit:

• BigLake-Tabellen: BigLake-Verbindungen dienen dazu, folgende externe Datenquellen zu verbinden. Sie stellen gleichzeitig eine detaillierte BigQuery-Zugriffssteuerung und Sicherheit bereit:

  • Strukturierte Daten in Cloud Storage
  • Unstrukturierte Daten in Cloud Storage
  • Amazon S3 mit BigQuery Omni
  • Azure Blob Storage mit BigQuery Omni

  Weitere Informationen finden Sie unter Einführung in BigLake-Tabellen.

• Föderierte Abfragen: Föderierte Verbindungen stellen Verbindungen zu folgenden Datenbanken her, bevor Sie die Abfrage senden. Verbindungen verarbeiten die Anmeldedaten für Datenbanken bei föderierten Abfragen.

  • Cloud Spanner
  • Cloud SQL

  Weitere Informationen finden Sie unter Einführung in föderierte Abfragen.

• Remote-Funktionen: Mit den Remote-Funktionen von BigQuery können Sie Funktionen mit allen unterstützten Sprachen in Cloud Functions oder Cloud Run implementieren. Mit einer BigQuery-Verbindung können Sie eine Verbindung zu Cloud Functions oder Cloud Run herstellen und diese Funktionen ausführen.

  Weitere Informationen finden Sie unter Mit Remote-Funktionen arbeiten und Objekttabellen mit Remote-Funktionen analysieren.

• Apache Spark: Gespeicherte Prozeduren für Apache Spark ermöglichen es Ihnen, gespeicherte, in Python geschriebene Verfahren mit BigQuery auszuführen. Mit einer Spark-Verbindung können Sie eine Verbindung zu Dataproc Serverless herstellen und die gespeicherten Prozeduren für Apache Spark ausführen.

  Weitere Informationen finden Sie unter Mit gespeicherten Prozeduren für Apache Spark arbeiten.

Hinweis: Sie benötigen keine Verbindung, um Daten in Cloud Bigtable und Google Drive abzufragen.

Audit-Logs

BigQuery protokolliert Nutzungs- und Verwaltungsanfragen zu Verbindungen. Weitere Informationen finden Sie in der Übersicht zu BigQuery-Audit-Logs.

Nächste Schritte

• So fragen Sie gespeicherte Daten ab:
  • In Amazon S3 gespeicherte Daten abfragen
  • In Blob Storage gespeicherte Daten abfragen
  • In Cloud Storage strukturierte gespeicherte Daten abfragen.
  • In Cloud Storage unstrukturierte gespeicherte Daten abfragen.
  • In Spanner gespeicherte Daten abfragen.
  • In Cloud SQL gespeicherte Daten abfragen.
  • Daten mit Remotefunktionen abfragen.
  • Unstrukturierte Daten mit Remote-Funktionen abfragen
  • Daten mit gespeicherten Prozeduren für Apache Spark abfragen.
• Verbindungen verwalten.
• Externe Tabellen