Présentation des connexions
BigQuery vous permet d'interroger des données stockées en dehors de BigQuery dans des services Google Cloud tels que Cloud Storage ou Spanner, ou dans des sources tierces telles qu'AWS ou Azure. Ces connexions externes utilisent l'API BigQuery Connection.
Par exemple, supposons que vous stockiez des détails sur les commandes client dans Cloud SQL et des données sur les ventes dans BigQuery, et que vous souhaitiez joindre les deux tables dans une même requête. Vous pouvez créer une connexion Cloud SQL à la base de données externe à l'aide de l'API BigQuery Connection. Avec les connexions, vous n'envoyez jamais d'identifiants de base de données sous forme de texte clair.
Une connexion est chiffrée et stockée de manière sécurisée dans le service de connexion BigQuery. Vous pouvez autoriser les utilisateurs à accéder aux connexions en leur attribuant des rôles IAM (Identity and Access Management) de connexion BigQuery.
Types de connexions
BigQuery fournit différents types de connexions pour les sources de données externes suivantes :
- Amazon Simple Storage Service (Amazon S3)
- Apache Spark
- Azure Blob Storage
- Ressources Google Cloud telles que les modèles distants Vertex AI, les fonctions à distance et BigLake
- Spanner
- Cloud SQL
- AlloyDB pour PostgreSQL
Connexions Amazon S3
Pour créer une connexion Amazon S3 avec BigQuery Omni, consultez la section Se connecter à Amazon S3.
Une fois que vous disposez d'une connexion Amazon S3, vous pouvez effectuer les opérations suivantes:
- Créer des tables externes sur Amazon S3
- Interroger les données Amazon S3
- Exporter les résultats vers Amazon S3
- Créer des ensembles de données basés sur des bases de données AWS Glue
Connexions Spark
Les procédures stockées pour Spark vous permettent d'exécuter des procédures stockées écrites en Python à l'aide de BigQuery. Une connexion Spark vous permet de vous connecter à Dataproc sans serveur et d'exécuter les procédures stockées pour Spark.
Pour créer cette connexion, consultez la section Créer des connexions.
Connexions Blob Storage
Pour créer une connexion Blob Storage avec BigQuery Omni, consultez la section Se connecter à Blob Storage.
Une fois que vous disposez d'une connexion Blob Storage existante, vous pouvez effectuer les opérations suivantes:
- Créer des tables externes basées sur Blob Storage
- Interroger les données Blob Storage
- Exporter les résultats vers Blob Storage
Connexions aux ressources Google Cloud
Une connexion de ressource Google Cloud est une connexion permettant d'autoriser l'accès à d'autres ressources Google Cloud, telles que les modèles distants Vertex AI, les fonctions distantes et BigLake. Pour en savoir plus sur la configuration d'une connexion de ressource Google Cloud, consultez la page Créer et configurer une connexion de ressource Cloud.
Une fois que vous disposez d'une connexion à une ressource Google Cloud, vous pouvez l'utiliser pour créer les objets BigQuery suivants:
- Modèles distants. Pour en savoir plus, consultez Instruction CREATE MODEL pour les modèles distants en comparaison aux modèles LLM, Instruction CREATE MODEL pour les modèles distants en comparaison aux services Cloud AI et Instruction CREATE MODEL pour les modèles distants en comparaison aux modèles hébergés Vertex AI.
- Fonctions à distance. Les fonctions à distance BigQuery vous permettent de mettre en œuvre des fonctions avec tous les langages acceptés dans les fonctions Cloud Run ou dans Cloud Run. Une connexion de fonction distante vous permet de vous connecter à des fonctions Cloud Run ou à Cloud Run, et d'exécuter ces fonctions. Pour créer une connexion à une fonction à distance BigQuery, consultez la section Créer une connexion.
- Tables BigLake. Les connexions BigLake connectent les tables BigLake à des sources de données externes tout en conservant un contrôle des accès et une sécurité BigQuery précis pour les données structurées et non structurées dans Cloud Storage.
- Tables d'objets. Pour plus d'informations, consultez la page Présentation des tables d'objets.
Connexions Spanner
Pour créer une connexion Spanner, consultez Se connecter à Spanner.
Une fois que vous disposez d'une connexion Spanner existante, vous pouvez créer des requêtes fédérées. Ces requêtes peuvent établir des connexions à Spanner avant d'envoyer une requête.
Connexions Cloud SQL
Pour créer une connexion Cloud SQL, consultez la page Se connecter à Cloud SQL.
Une fois que vous disposez d'une connexion Cloud SQL existante, vous pouvez créer des requêtes fédérées. Ces requêtes peuvent établir des connexions à Cloud SQL avant d'envoyer une requête.
Connexions AlloyDB
Pour créer une connexion AlloyDB, consultez la page Se connecter à AlloyDB pour PostgreSQL.
Une fois que vous disposez d'une connexion AlloyDB existante, vous pouvez créer des requêtes fédérées. Ces requêtes peuvent établir des connexions à AlloyDB avant d'envoyer une requête.
Journaux d'audit
BigQuery consigne les requêtes d'utilisation et de gestion concernant les connexions. Pour en savoir plus, consultez la présentation des journaux d'audit BigQuery.
Étapes suivantes
- Découvrez comment gérer les connexions.
- Apprenez à analyser des tables d'objets à l'aide de fonctions à distance.
- Découvrez comment interroger des données stockées :
- Interrogez les données stockées dans Amazon S3.
- Interrogez les données stockées dans Blob Storage.
- Interrogez des données structurées stockées dans Cloud Storage.
- Interrogez des données non structurées stockées dans Cloud Storage.
- Interrogez les données stockées dans Spanner
- Interrogez les données stockées dans Cloud SQL
- Interrogez les données stockées dans AlloyDB
- Interrogez des données à l'aide de fonctions distantes
- Interrogez des données non structurées à l'aide de fonctions distantes.
- Interrogez des données à l'aide de procédures stockées pour Apache Spark
- Documentez-vous sur les tables externes.