Einführung in Verbindungen
Mit BigQuery können Sie Daten abfragen, die außerhalb von BigQuery in Google Cloud-Diensten wie Cloud Storage oder Spanner oder in Drittanbieterquellen wie AWS oder Azure gespeichert sind. Für diese externen Verbindungen wird die BigQuery Connection API verwendet.
Angenommen, Sie speichern Details zu Kundenaufträgen in Cloud SQL und Daten zu Verkäufen in BigQuery und möchten die beiden Tabellen in einer einzigen Abfrage verknüpfen. Sie können mit der BigQuery Connection API eine Cloud SQL-Verbindung zur externen Datenbank herstellen. Bei Verbindungen senden Sie Anmeldedaten für Datenbanken niemals als Klartext.
Jede Verbindung wird verschlüsselt und sicher im BigQuery-Verbindungsdienst gespeichert. Um Nutzern Zugriff auf Verbindungen zu gewähren weisen Sie diesen IAM-Rollen (Identity and Access Management) für BigQuery-Verbindungen zu.
Verbindungstypen
BigQuery bietet verschiedene Verbindungstypen für die folgenden externen Datenquellen:
- Amazon Simple Storage Service (Amazon S3)
- Apache Spark
- Azure Blob Storage
- Google Cloud-Ressourcen wie Remote-Modelle in Vertex AI, Remote-Funktionen und BigLake
- Spanner
- Cloud SQL
- AlloyDB for PostgreSQL
- SAP Datasphere
Amazon S3-Verbindungen
Informationen zum Erstellen einer Amazon S3-Verbindung mit BigQuery Omni finden Sie unter Verbindung zu Amazon S3 herstellen.
Wenn Sie bereits eine Amazon S3-Verbindung haben, haben Sie folgende Möglichkeiten:
- Externe Tabellen in Amazon S3 erstellen
- Amazon S3-Daten abfragen
- Ergebnisse nach Amazon S3 exportieren
- Datasets auf Grundlage von AWS Glue-Datenbanken erstellen
Spark-Verbindungen
Mit gespeicherten Prozeduren für Spark können Sie gespeicherte, in Python geschriebene Verfahren mit BigQuery ausführen. Mit einer Spark-Verbindung können Sie eine Verbindung zu Dataproc Serverless herstellen und die gespeicherten Prozeduren für Spark ausführen.
Weitere Informationen zum Erstellen dieser Verbindung finden Sie unter Verbindungen erstellen.
Blob Storage-Verbindungen
Informationen zum Erstellen einer Blob Storage-Verbindung mit BigQuery Omni finden Sie unter Verbindung zu Blob Storage herstellen.
Wenn Sie bereits eine Blob Storage-Verbindung haben, haben Sie folgende Möglichkeiten:
- Externe Tabellen auf Grundlage von Blob Storage erstellen
- Blob Storage-Daten abfragen
- Ergebnisse in Blob Storage exportieren
Google Cloud-Ressourcenverbindungen
Eine Google Cloud-Ressourcenverbindung ist eine Verbindung, um den Zugriff auf andere Google Cloud-Ressourcen wie Remote-Modelle, Remote-Funktionen und BigLake in Vertex AI zu autorisieren. Weitere Informationen zum Einrichten einer Google Cloud-Ressourcenverbindung finden Sie unter Cloud-Ressourcen-Verbindung erstellen und einrichten.
Wenn Sie bereits eine Google Cloud-Ressourcenverbindung haben, können Sie damit die folgenden BigQuery-Objekte erstellen:
- Remotemodelle Weitere Informationen finden Sie unter CREATE MODEL-Anweisung für Remote-Modelle über LLMs, CREATE MODEL-Anweisung für Remote-Modelle über Cloud AI-Dienste und CREATE MODEL-Anweisung für Remote-Modelle über von Vertex AI gehostete Modelle.
- Remote-Funktionen Mit den Remote-Funktionen von BigQuery können Sie Funktionen mit allen unterstützten Sprachen in Cloud Run Functions oder Cloud Run implementieren. Mit einer Remote-Funktionsverbindung können Sie eine Verbindung zu Cloud Run-Funktionen oder Cloud Run herstellen und diese Funktionen ausführen. Informationen zum Erstellen einer BigQuery-Remote-Funktionsverbindung finden Sie unter Verbindung erstellen.
- BigLake-Tabellen BigLake-Verbindungen verbinden BigLake-Tabellen mit externen Datenquellen. Dabei wird eine detaillierte BigQuery-Zugriffssteuerung und Sicherheit sowohl für strukturierte als auch unstrukturierte Daten in Cloud Storage beibehalten.
- Objekttabellen Weitere Informationen finden Sie unter Einführung in Objekttabellen.
Cloud Spanner-Verbindungen
Informationen zum Erstellen einer Spanner-Verbindung finden Sie unter Mit Spanner verbinden.
Sobald Sie eine Spanner-Verbindung haben, können Sie föderierte Abfragen ausführen.
Cloud SQL-Verbindungen
Informationen zum Erstellen einer Cloud SQL-Verbindung finden Sie unter Verbindung zu Cloud SQL herstellen.
Sobald Sie eine Cloud SQL-Verbindung haben, können Sie föderierte Abfragen ausführen.
AlloyDB-Verbindungen
Informationen zum Erstellen einer AlloyDB-Verbindung finden Sie unter Verbindung zu AlloyDB for PostgreSQL herstellen.
Sobald Sie eine AlloyDB-Verbindung haben, können Sie föderierte Abfragen ausführen.
SAP Datasphere-Verbindungen
Informationen zum Erstellen einer SAP Datasphere-Verbindung finden Sie unter Verbindung zu SAP Datasphere herstellen.
Sobald Sie eine SAP Datasphere-Verbindung haben, können Sie föderierte Abfragen ausführen.
Audit-Logs
BigQuery protokolliert Nutzungs- und Verwaltungsanfragen zu Verbindungen. Weitere Informationen finden Sie in der Übersicht zu BigQuery-Audit-Logs.
Nächste Schritte
- Verbindungen verwalten.
- Objekttabellen mithilfe von Remotefunktionen analysieren
- So fragen Sie gespeicherte Daten ab:
- In Amazon S3 gespeicherte Daten abfragen
- In Blob Storage gespeicherte Daten abfragen
- In Cloud Storage strukturierte gespeicherte Daten abfragen.
- In Cloud Storage unstrukturierte gespeicherte Daten abfragen.
- In Spanner gespeicherte Daten abfragen.
- In Cloud SQL gespeicherte Daten abfragen.
- In AlloyDB gespeicherte Daten abfragen
- Daten mit Remotefunktionen abfragen.
- Unstrukturierte Daten mit Remote-Funktionen abfragen
- Daten mit gespeicherten Prozeduren für Apache Spark abfragen.
- Externe Tabellen