Introduzione alle connessioni
BigQuery ti consente di creare connessioni esterne per eseguire query sui dati archiviati al di fuori di BigQuery in servizi come Cloud Storage o Spanner o in origini di terze parti come Amazon Web Services (AWS) o Microsoft Azure. Google Cloud Queste connessioni esterne utilizzano l'API BigQuery Connection.
Ad esempio, supponiamo di archiviare i dettagli degli ordini dei clienti in Cloud SQL e i dati sulle vendite in BigQuery e di voler unire le due tabelle in un'unica query. Puoi creare una connessione Cloud SQL al database esterno utilizzando l'API BigQuery Connection. Con le connessioni, non invii mai le credenziali del database come testo non crittografato.
Una connessione viene criptata e archiviata in modo sicuro nel servizio di connessione BigQuery. Puoi concedere agli utenti l'accesso alle connessioni assegnando loro i ruoli IAM (Identity and Access Management) per la connessione BigQuery.
Tipi di connessione
BigQuery fornisce diversi tipi di connessione per le seguenti origini dati esterne:
- Amazon Simple Storage Service (Amazon S3)
- Apache Spark
- Azure Blob Storage
- Google Cloud risorse come modelli remoti di Vertex AI, funzioni remote e BigLake
- Spanner
- Cloud SQL
- AlloyDB per PostgreSQL
- SAP Datasphere
Connessioni Amazon S3
Per creare una connessione Amazon S3 con BigQuery Omni, consulta Connettersi ad Amazon S3.
Una volta stabilita una connessione Amazon S3 esistente, puoi:
- Creare tabelle esterne su Amazon S3
- Esegui query sui dati Amazon S3
- Esportare i risultati in Amazon S3
- Crea set di dati basati sui database AWS Glue.
Connessioni Spark
Le stored procedure per Spark ti consentono di eseguire stored procedure scritte in Python utilizzando BigQuery. Una connessione Spark ti consente di connetterti a Dataproc Serverless ed eseguire le stored procedure per Spark.
Per creare questa connessione, consulta Creare connessioni.
Connessioni di archiviazione blob
Per creare una connessione Blob Storage con BigQuery Omni, consulta Connettersi a Blob Storage.
Una volta stabilita una connessione di Archiviazione BLOB esistente, puoi:
- Creare tabelle esterne basate su Archiviazione blob
- Esegui query sui dati di Blob Storage
- Esportare i risultati in Archiviazione blob
Google Cloud resource connections
Una connessione di risorse Google Cloud è una connessione per autorizzare l'accesso ad altre risorse Google Cloud come modelli remoti, funzioni remote e BigLake di Vertex AI. Per informazioni dettagliate su come configurare una connessione alla risorsa Google Cloud , consulta Crea e configura una connessione a una risorsa Cloud.
Una volta creata una connessione Google Cloud alle risorse esistente, puoi creare i seguenti oggetti BigQuery:
- Modelli remoti. Per ulteriori informazioni, consulta L'istruzione CREATE MODEL per i modelli remoti su LLM, L'istruzione CREATE MODEL per i modelli remoti sui servizi Cloud AI e L'istruzione CREATE MODEL per i modelli remoti sui modelli ospitati di Vertex AI.
- Funzioni remote. Le funzioni remote di BigQuery consentono di implementare funzioni con qualsiasi linguaggio supportato in Cloud Run Functions o Cloud Run. Una connessione della funzione remota consente di connettersi a Cloud Run Functions o Cloud Run ed eseguire queste funzioni. Per creare una connessione di funzione remota BigQuery, consulta Creare una connessione.
- Tabelle BigLake. Le connessioni BigLake collegano le tabelle BigLake a origini dati esterne mantenendo il controllo dell'accesso e la sicurezza granulari di BigQuery sia per i dati strutturati che per quelli non strutturati in Cloud Storage.
- Tabelle degli oggetti. Per saperne di più, consulta la sezione Introduzione alle tabelle degli oggetti.
Connessioni Spanner
Per creare una connessione Spanner, vedi Connettersi a Spanner.
Una volta stabilita una connessione Spanner esistente, puoi eseguire query federate.
Connessioni Cloud SQL
Per creare una connessione Cloud SQL, consulta Connettersi a Cloud SQL.
Una volta stabilita una connessione Cloud SQL esistente, puoi eseguire query federate.
Connessioni AlloyDB
Per creare una connessione AlloyDB, consulta Connettersi ad AlloyDB per PostgreSQL.
Una volta stabilita una connessione AlloyDB esistente, puoi eseguire query federate.
Connessioni SAP Datasphere
Per creare una connessione SAP Datasphere, consulta Connettersi a SAP Datasphere.
Una volta stabilita una connessione SAP Datasphere esistente, puoi eseguire query federate.
Audit log
BigQuery registra le richieste di utilizzo e gestione relative alle connessioni. Per ulteriori informazioni, vedi Panoramica dei log di controllo di BigQuery.
Passaggi successivi
- Scopri come gestire le connessioni.
- Scopri di più sulle connessioni predefinite per il tuo progetto.
- Scopri come analizzare le tabelle degli oggetti utilizzando le funzioni remote.
- Scopri come eseguire query sui dati archiviati:
- Esegui query sui dati archiviati in Amazon S3.
- Esegui query sui dati archiviati in Archiviazione blob.
- Esegui query sui dati strutturati archiviati in Cloud Storage.
- Esegui query sui dati non strutturati archiviati in Cloud Storage.
- Esegui query sui dati archiviati in Spanner.
- Esegui query sui dati archiviati in Cloud SQL.
- Esegui query sui dati archiviati in AlloyDB.
- Esegui query sui dati utilizzando le funzioni remote.
- Esegui query sui dati non strutturati utilizzando funzioni remote.
- Esegui query sui dati utilizzando le stored procedure per Apache Spark.
- Scopri di più sulle tabelle esterne.