Guide pratique

Interagir avec BigQuery

• Présentation des interactions avec BigQuery

  Présentation des méthodes d'interaction avec BigQuery

• Bac à sable BigQuery

  Faire vos premiers pas avec BigQuery sans créer de compte de facturation pour votre projet

• Utiliser l'interface utilisateur Web de BigQuery dans la console GCP (version bêta)

  BigQuery propose une interface utilisateur graphique Web dans la console GCP que vous pouvez utiliser pour charger et exporter des données, exécuter des requêtes, et effectuer d'autres tâches utilisateur et de gestion dans votre navigateur.

• Utiliser l'interface utilisateur Web classique de BigQuery

  BigQuery propose une interface utilisateur graphique Web que vous pouvez utiliser pour charger et exporter des données, exécuter des requêtes, et effectuer d'autres tâches utilisateur et de gestion dans votre navigateur.

• Utiliser l'outil de ligne de commande bq

  L'outil de ligne de commande bq est un outil basé sur Python qui accède à BigQuery à partir de la ligne de commande.

Exécuter et gérer des tâches

• Présentation des tâches

  Présentation des tâches BigQuery.

• Exécuter des tâches de manière automatisée

  Exécuter des tâches BigQuery de manière automatisée à l'aide de l'API et des bibliothèques clientes

• Gérer les tâches

  Gérer des tâches BigQuery, y compris répertorier, annuler et réexécuter des tâches

Utiliser des ensembles de données

• Présentation des ensembles de données

  Présentation des ensembles de données BigQuery

• Emplacements des ensembles de données

  Présentation des emplacements de stockage des données BigQuery

• Créer des ensembles de données

  Comment créer des ensembles de données dans BigQuery

• Contrôler l'accès aux ensembles de données

  Comment contrôler l'accès aux ensembles de données dans BigQuery

• Répertorier des ensembles de données

  Comment répertorier des ensembles de données dans les projets BigQuery

• Obtenir des informations sur des ensembles de données

  Comment obtenir des informations ou des métadonnées sur un ensemble de données

• Mettre à jour des ensembles de données

  Comment mettre à jour les propriétés d'un ensemble de données, y compris les descriptions de mise à jour, les délais d'expiration par défaut et les contrôles d'accès

• Gérer des ensembles de données

  Gérer des ensembles de données, y compris en les renommant, en les supprimant et en les copiant

Spécifier des schémas de table

• Spécifier un schéma

  Comment créer et utiliser des schémas de table

• Spécifier des colonnes imbriquées et répétées

  Comment spécifier des colonnes imbriquées et répétées dans des schémas de table

• Détecter automatiquement des schémas

  Utiliser la détection automatique de schéma lorsque vous chargez des données ou interrogez des données externes

• Modifier des schémas de table

  Modifier les définitions de schéma de table, y compris ajouter, renommer ou supprimer des colonnes et modifier des noms de colonne, des types de données et des modes

Utiliser des tables

• Présentation des tables

  Présentation des tables BigQuery

• Créer et utiliser des tables

  Créer et utiliser des tables, y compris répertorier des tables, obtenir des informations sur des tables, et contrôler l'accès aux données des tables

• Gérer des tables

  Gérer des tables, y compris mettre à jour leurs propriétés, les renommer, les supprimer et les copier.

• Gérer des données de table

  Aperçu de l'utilisation des données de table, y compris interroger les tables, naviguer dans les données de table et modifier, exporter, ajouter ou remplacer des données

• Exporter des données de table

  Comment exporter des données de table vers Cloud Storage

• Mettre à jour des données de table à l'aide du langage LMD

  Effectuer des modifications en masse sur les données de table à l'aide du langage de manipulation de données (LMD) en langage SQL standard

Utiliser des tables partitionnées

• Présentation des tables partitionnées

  Présentation des tables partitionnées dans BigQuery

• Créer des tables partitionnées avec date d'ingestion

  Comment créer et utiliser des tables partitionnées avec date d'ingestion, y compris les répertorier et obtenir des informations à leur sujet

• Créer des tables partitionnées

  Comment créer et utiliser des tables partitionnées, y compris les répertorier et obtenir des informations à leur sujet

• Gérer des tables partitionnées

  Comment gérer des tables partitionnées, y compris mettre à jour leurs propriétés et copier ou supprimer des partitions

• Gérer les données de tables partitionnées

  Comment gérer les données de tables partitionnées, y compris naviguer dans les données et modifier, exporter, ajouter ou remplacer des données

• Interroger des tables partitionnées

  Comment interroger des tables partitionnées

• Mettre à jour des données de tables partitionnées à l'aide d'instructions LMD

  Comment utiliser les instructions LMD pour insérer, supprimer ou mettre à jour des données dans des tables partitionnées

Utiliser des tables en cluster

• Présentation des tables en cluster

  Présentation des tables en cluster dans BigQuery

• Créer et utiliser des tables en cluster

  Comment créer et utiliser des tables en cluster, y compris les répertorier et obtenir des informations à leur sujet

• Interroger des tables en cluster

  Comment interroger des tables en cluster

Utiliser des vues

• Présentation des vues

  Présentation des vues BigQuery

• Créer des vues

  Comment créer des vues

• Contrôler l'accès aux vues

  Comment contrôler l'accès aux vues

• Créer des vues autorisées

  Comment créer une vue permettant de partager les résultats de la requête avec des utilisateurs et des groupes sans leur donner accès aux tables sous-jacentes.

• Répertorier des vues

  Comment répertorier des vues

• Obtenir des informations sur les vues

  Comment obtenir des informations ou des métadonnées sur les vues

• Mettre à jour des vues

  Comment mettre à jour les propriétés des vues, y compris les descriptions, les délais d'expiration et les requêtes SQL

• Gérer des vues

  Gérez des vues, y compris en les copiant, en les renommant et en les supprimant

Obtenir des métadonnées à l'aide de INFORMATION_SCHEMA (version bêta)

• Présentation

  Présentation de INFORMATION_SCHEMA

• Obtenir des métadonnées sur des ensembles de données

  Utiliser INFORMATION_SCHEMA pour récupérer des métadonnées sur des ensembles de données

• Obtenir des métadonnées sur des tables

  Utiliser INFORMATION_SCHEMA pour récupérer des métadonnées sur des tables

• Obtenir des métadonnées sur des vues

  Utiliser INFORMATION_SCHEMA pour récupérer des métadonnées sur des vues

Attribuer des libellés aux ressources BigQuery

• Présentation des libellés

  Présentation de l'attribution de libellés aux ressources dans BigQuery.

• Ajout de libellés

  Utiliser des libellés pour regrouper les ressources par objectif, environnement, service, etc.

• Afficher des libellés

  Afficher les libellés sur les ressources BigQuery.

• Mettre à jour des libellés

  Mettre à jour les libellés sur les ressources BigQuery.

• Filtrer des ressources à l'aide de libellés

  Filtrer les ressources à l'aide de libellés.

• Supprimer des libellés

  Supprimer des libellés sur les ressources BigQuery.

Charger des données dans BigQuery

• Présentation du chargement des données

  Charger des données dans BigQuery à partir de divers formats sources, y compris les sauvegardes CSV, JSON, Avro, Parquet, ORC et Cloud Datastore

• Charger des données à partir de Cloud Storage

  Charger des données à partir de Cloud Storage

• Charger des données Avro depuis Cloud Storage

  Comment charger des données Avro à partir de Cloud Storage

• Charger des données Parquet à partir de Cloud Storage

  Comment charger des données Parquet à partir de Cloud Storage

• Charger des données ORC à partir de Cloud Storage

  Comment charger des données ORC à partir de Cloud Storage

• Charger des données CSV à partir de Cloud Storage

  Comment charger des données CSV à partir de Cloud Storage

• Charger des données JSON à partir de Cloud Storage

  Charger des données JSON délimitées par retour à la ligne à partir de Cloud Storage

• Charger des exportations Cloud Datastore à partir de Cloud Storage

  Comment charger des données à partir d'une exportation Cloud Datastore

• Charger des exportations Cloud Firestore à partir de Cloud Storage

  Comment charger des données à partir d'une exportation Cloud Firestore

• Charger des données depuis une source de données locale

  Comment charger des données depuis une source de données locale

• Insérer des données en flux continu dans BigQuery

  Insérer des données en flux continu dans BigQuery à l'aide de l'API BigQuery

Interroger des données

• Présentation de l'interrogation des données

  Présentation de l'exécution de requêtes dans BigQuery

• Exécuter des requêtes interactives et par lot

  Comment exécuter des requêtes interactives et par lot

• Écrire des résultats de requêtes

  Écrire et parcourir des résultats des requêtes

• Utiliser des résultats en cache

  Comment utiliser des résultats de requête en cache

• Exécuter des requêtes paramétrées

  Comment utiliser des requêtes paramétrées

• Interroger des données avec une table générique

  Interroger plusieurs tables de manière concise en utilisant une table générique

• Requêtes fédérées avec des données Cloud SQL

  Interroger les données dans BigQuery et Cloud SQL à l'aide d'une requête fédérée.

• Enregistrer et partager des requêtes

  Enregistrer et partager des requêtes

• Planifier des requêtes

  Planifier les requêtes récurrentes dans BigQuery

• Utiliser l'explication du plan de requête

  BigQuery fournit des informations de diagnostic sur le plan d'exécution d'une requête.

• Utiliser le connecteur BigQuery pour Excel

  BigQuery propose un connecteur permettant d'interroger des données BigQuery depuis Excel.

Contrôler les coûts BigQuery

• Présentation du contrôle des coûts BigQuery

  Présentation des mesures de contrôle des coûts pour BigQuery

• Estimer les coûts du stockage et des requêtes

  Comment estimer les coûts de stockage et de requête avant de charger et d'interroger les données

• Contrôles de coûts personnalisés

  Gérer les coûts en définissant des quotas personnalisés sur le traitement des requêtes

• Bonnes pratiques en matière de contrôle des coûts

  Bonnes pratiques relatives au contrôle des coûts dans BigQuery

Interroger des sources de données externes

• Présentation des sources de données externes

  Interroger des données directement à partir de sources de données externes telles que Cloud Storage, Cloud Bigtable et Google Drive

• Créer un fichier de définition de table

  Créer un fichier de définition de table pour une source de données externe

• Interroger des données Cloud Bigtable

  Utiliser BigQuery pour interroger les données stockées dans Cloud Bigtable

• Interroger des données Cloud Storage

  Utiliser BigQuery pour interroger des données stockées dans Cloud Storage

• Interroger des données Google Drive

  Utiliser BigQuery pour interroger les données stockées dans Google Drive

Sécuriser les ressources BigQuery

• Rôles et autorisations prédéfinis

  Informations sur les rôles et autorisations IAM prédéfinis de BigQuery.

• Rôles primitifs et autorisations

  Informations sur les rôles et autorisations BigQuery primitifs qui existaient avant Cloud IAM.

• Exemples de contrôle d'accès

  Cas d'utilisation du contrôle des accès dans BigQuery.

• Utiliser Cloud DLP pour analyser les données BigQuery

  Utiliser Cloud DLP pour identifier et protéger les données BigQuery sensibles.

• Protéger des données avec des clés Cloud KMS

  Utiliser des clés de chiffrement gérées par le client (CMEK) pour BigQuery

Surveiller et journaliser BigQuery

• Surveiller BigQuery avec Stackdriver

  Surveiller les ressources BigQuery à l'aide de Stackdriver Monitoring

• Informations relatives aux journaux d'audit

  Consigner l'utilisation de BigQuery à l'aide des journaux d'audit

Principes de base de l'API BigQuery

• Présentation de l'authentification

  S'authentifier dans divers scénarios d'application

• Premiers pas avec l'authentification

  Premiers pas avec les identifiants d'application par défaut

• S'authentifier avec un fichier de clé de compte de service

  Créer et obtenir manuellement des identifiants pour le compte de service

• S'authentifier avec un compte utilisateur dans les applications installées

  S'authentifier dans une application à l'aide de comptes utilisateur

• Autoriser des requêtes d'API

  Autoriser des requêtes d'API avec des jetons d'accès

• Requêtes par lot

  Réduire le nombre de connexions HTTP que votre client doit établir en autorisant les appels d'API par lot

• Parcourir des résultats de requêtes

  Parcourir des résultats de requêtes à l'aide de l'API BigQuery

• Astuces relatives aux performances de l'API

  Techniques permettant d'améliorer les performances de votre application.