Présentation des connexions
BigQuery vous permet d'interroger des données stockées en dehors de BigQuery dans des services Google Cloud tels que Cloud Storage ou Spanner, ou dans des sources tierces telles qu'AWS ou Azure. Ces connexions externes utilisent l'API BigQuery Connection.
Par exemple, supposons que vous stockiez des informations sur les commandes des clients dans Cloud SQL et des données sur les ventes dans BigQuery, et que vous souhaitiez joindre les deux tables dans une même requête. Vous pouvez créer une connexion Cloud SQL à la base de données externe à l'aide de l'API BigQuery Connection. Avec les connexions, vous n'envoyez jamais d'identifiants de base de données sous forme de texte clair.
Une connexion est chiffrée et stockée de manière sécurisée dans le service de connexion BigQuery. Vous pouvez autoriser les utilisateurs à accéder aux connexions en leur attribuant des rôles IAM (Identity and Access Management) de connexion BigQuery.
Types de connexions
BigQuery propose différents types de connexions pour les sources de données externes suivantes:
- Amazon Simple Storage Service (Amazon S3)
- Apache Spark
- Azure Blob Storage
- Ressources Google Cloud telles que les modèles distants Vertex AI, les fonctions à distance et BigLake
- Spanner
- Cloud SQL
- AlloyDB pour PostgreSQL
- SAP Datasphere
Connexions Amazon S3
Pour créer une connexion Amazon S3 avec BigQuery Omni, consultez la section Se connecter à Amazon S3.
Une fois que vous avez une connexion Amazon S3 existante, vous pouvez effectuer les opérations suivantes:
- Créer des tables externes sur Amazon S3
- Interroger les données Amazon S3
- Exporter les résultats vers Amazon S3
- Créez des ensembles de données basés sur des bases de données AWS Glue.
Connexions Spark
Les procédures stockées pour Spark vous permettent d'exécuter des procédures stockées écrites en Python à l'aide de BigQuery. Une connexion Spark vous permet de vous connecter à Dataproc sans serveur et d'exécuter les procédures stockées pour Spark.
Pour créer cette connexion, consultez la section Créer des connexions.
Connexions Blob Storage
Pour créer une connexion Blob Storage avec BigQuery Omni, consultez la section Se connecter à Blob Storage.
Une fois que vous disposez d'une connexion Blob Storage, vous pouvez effectuer les opérations suivantes:
- Créer des tables externes basées sur Blob Storage
- Interroger les données Blob Storage
- Exporter les résultats vers Blob Storage
Connexions aux ressources Google Cloud
Une connexion de ressources Google Cloud permet d'autoriser l'accès à d'autres ressources Google Cloud, telles que les modèles distants Vertex AI, les fonctions distantes et BigLake. Pour savoir comment configurer une connexion de ressource Google Cloud, consultez la section Créer et configurer une connexion de ressource Cloud.
Une fois que vous avez une connexion de ressource Google Cloud, vous pouvez créer les objets BigQuery suivants avec elle:
- Modèles distants. Pour en savoir plus, consultez les pages Instruction CREATE MODEL pour les modèles distants utilisés via les LLM, Instruction CREATE MODEL pour les modèles distants utilisés via les services Cloud AI et Instruction CREATE MODEL pour les modèles distants utilisés via les modèles hébergés Vertex AI.
- Fonctions à distance. Les fonctions distantes BigQuery vous permettent de mettre en œuvre des fonctions avec tous les langages acceptés dans les fonctions Cloud Run Functions ou dans Cloud Run. Une connexion de fonction distante vous permet de vous connecter à des fonctions Cloud Run ou à Cloud Run, et d'exécuter ces fonctions. Pour créer une connexion à une fonction à distance BigQuery, consultez la section Créer une connexion.
- Tables BigLake. Les connexions BigLake connectent les tables BigLake à des sources de données externes, tout en conservant la précision du contrôle des accès et de la sécurité de BigQuery pour les données structurées et non structurées dans Cloud Storage.
- Tables d'objets. Pour plus d'informations, consultez la page Présentation des tables d'objets.
Connexions Spanner
Pour créer une connexion Spanner, consultez Se connecter à Spanner.
Une fois que vous avez une connexion Spanner existante, vous pouvez exécuter des requêtes fédérées.
Connexions Cloud SQL
Pour créer une connexion Cloud SQL, consultez Se connecter à Cloud SQL.
Une fois que vous avez établi une connexion Cloud SQL, vous pouvez exécuter des requêtes fédérées.
Connexions AlloyDB
Pour créer une connexion AlloyDB, consultez Se connecter à AlloyDB pour PostgreSQL.
Une fois que vous avez une connexion AlloyDB existante, vous pouvez exécuter des requêtes fédérées.
Connexions SAP Datasphere
Pour créer une connexion SAP Datasphere, consultez Se connecter à SAP Datasphere.
Une fois que vous avez établi une connexion SAP Datasphere, vous pouvez exécuter des requêtes fédérées.
Journaux d'audit
BigQuery consigne les requêtes d'utilisation et de gestion concernant les connexions. Pour en savoir plus, consultez la présentation des journaux d'audit BigQuery.
Étapes suivantes
- Découvrez comment gérer les connexions.
- Apprenez à analyser des tables d'objets à l'aide de fonctions à distance.
- Découvrez comment interroger des données stockées :
- Interrogez les données stockées dans Amazon S3.
- Interrogez les données stockées dans Blob Storage.
- Interrogez des données structurées stockées dans Cloud Storage.
- Interrogez des données non structurées stockées dans Cloud Storage.
- Interrogez les données stockées dans Spanner
- Interrogez les données stockées dans Cloud SQL
- Interroger les données stockées dans AlloyDB
- Interrogez des données à l'aide de fonctions distantes
- Interrogez des données non structurées à l'aide de fonctions distantes.
- Interrogez des données à l'aide de procédures stockées pour Apache Spark
- Documentez-vous sur les tables externes.