Présentation des connexions

BigQuery vous permet d'interroger des données stockées en dehors de BigQuery dans des services Google Cloud tels que Cloud Storage ou Spanner, ou dans des sources tierces telles qu'AWS ou Azure. Ces connexions externes utilisent l'API BigQuery Connection.

Par exemple, supposons que vous stockiez des détails sur les commandes de clients dans Cloud SQL et des données sur les ventes dans BigQuery, et que vous souhaitiez joindre les deux tables dans une seule requête. Vous pouvez créer une connexion Cloud SQL à la base de données externe à l'aide de l'API BigQuery Connection. Avec les connexions, vous n'envoyez jamais d'identifiants de base de données sous forme de texte clair.

Une connexion est chiffrée et stockée de manière sécurisée dans le service de connexion BigQuery. Vous pouvez autoriser les utilisateurs à accéder aux connexions en leur attribuant des rôles IAM (Identity and Access Management) de connexion BigQuery.

Types de connexions

BigQuery fournit des connexions pour les sources de données externes suivantes :

• Tables BigLake : les connexions BigLake permettent de connecter les sources de données externes suivantes, tout en conservant la précision du contrôle des accès et de la sécurité de BigQuery :

  • Données structurées dans Cloud Storage
  • Données non structurées dans Cloud Storage
  • Amazon S3 avec BigQuery Omni
  • Azure Blob Storage avec BigQuery Omni

  Pour plus d'informations, consultez la page Présentation des tables BigLake.

• Requêtes fédérées : les connexions fédérées établissent des connexions avec les bases de données suivantes avant l'envoi des requêtes. Les connexions gèrent les identifiants de la base de données pour les requêtes fédérées.

  • Spanner
  • Cloud SQL

  Pour en savoir plus, consultez la présentation des requêtes fédérées.

• Fonctions distantes : les fonctions distantes BigQuery vous permettent de mettre en œuvre des fonctions avec tous les langages acceptés dans Cloud Functions ou Cloud Run. Une connexion BigQuery vous permet de vous connecter à Cloud Functions ou à Cloud Run, et d'exécuter ces fonctions.

  Pour en savoir plus, consultez les pages Utiliser des fonctions distantes et Analyser des tables d'objets à l'aide de fonctions distantes.

• Apache Spark : les procédures stockées pour Apache Spark vous permettent d'exécuter des procédures stockées écrites en Python à l'aide de BigQuery. Une connexion Spark vous permet de vous connecter à Dataproc sans serveur et d'exécuter les procédures stockées pour Apache Spark.

  Pour en savoir plus, consultez la section Travailler avec des procédures stockées pour Apache Spark.

Remarque : Vous n'avez pas besoin d'une connexion pour interroger des données dans Bigtable et Google Drive.

Journaux d'audit

BigQuery consigne les requêtes d'utilisation et de gestion concernant les connexions. Pour en savoir plus, consultez la présentation des journaux d'audit BigQuery.

Étapes suivantes

• Découvrez comment interroger des données stockées :
  • Interrogez les données stockées dans Amazon S3.
  • Interrogez les données stockées dans Blob Storage.
  • Interrogez des données structurées stockées dans Cloud Storage.
  • Interrogez des données non structurées stockées dans Cloud Storage.
  • Interrogez les données stockées dans Spanner
  • Interrogez les données stockées dans Cloud SQL
  • Interrogez des données à l'aide de fonctions distantes
  • Interrogez des données non structurées à l'aide de fonctions distantes.
  • Interrogez des données à l'aide de procédures stockées pour Apache Spark
• Découvrez comment gérer les connexions.
• Documentez-vous sur les tables externes.