Guide pratique

Interagir avec BigQuery

• Présentation des interactions avec BigQuery

  Présentation des méthodes d'interaction avec BigQuery

• Bac à sable BigQuery

  Faire vos premiers pas avec BigQuery sans créer de compte de facturation pour votre projet

• Utiliser Cloud Console

  BigQuery propose une interface graphique dans Cloud Console qui vous permet de charger et d'exporter des données, d'exécuter des requêtes, et d'effectuer d'autres tâches utilisateur et tâches de gestion dans votre navigateur.

• Utiliser l'UI Web classique de BigQuery

  BigQuery propose une interface graphique permettant de charger et d'exporter des données, d'exécuter des requêtes, et d'effectuer d'autres tâches utilisateur et tâches de gestion dans votre navigateur.

• À l'aide de l'outil de ligne de commande bq

  L'outil de ligne de commande bq est un outil basé sur Python qui accède à BigQuery à partir de la ligne de commande.

Exécuter et gérer des tâches

• Présentation des tâches

  Présentation des tâches BigQuery.

• Exécuter des tâches par programmation

  Exécuter des tâches BigQuery de manière automatisée à l'aide de l'API et des bibliothèques clientes

• Gérer les tâches

  Gérer des tâches BigQuery, y compris répertorier, annuler et réexécuter des tâches

Utiliser des ensembles de données

• Présentation des ensembles de données

  Présentation des ensembles de données BigQuery

• Emplacements des ensembles de données

  Aperçu des emplacements de stockage des données BigQuery.

• Créer des ensembles de données

  Comment créer des ensembles de données dans BigQuery

• Copier des ensembles de données

  Comment copier des ensembles de données, y compris d'une région à une autre.

• Contrôler l'accès aux ensembles de données

  Comment contrôler l'accès aux ensembles de données dans BigQuery

• Répertorier les ensembles de données

  Comment répertorier des ensembles de données dans les projets BigQuery

• Obtenir des informations sur les ensembles de données

  Comment obtenir des informations ou des métadonnées sur un ensemble de données

• Mettre à jour des ensembles de données

  Comment mettre à jour les propriétés d'un ensemble de données, y compris les descriptions de mise à jour, les délais d'expiration par défaut et les contrôles d'accès

• Gérer les ensembles de données

  Gérer des ensembles de données, y compris en les renommant, en les supprimant et en les copiant

• Disponibilité et durabilité

  Comment assurer la disponibilité et la durabilité de vos ensembles de données en cas de sinistre.

Utiliser des schémas de table

• Spécifier un schéma

  Comment créer et utiliser des schémas de table.

• Spécifier des colonnes imbriquées et répétées

  Comment spécifier des colonnes imbriquées et répétées dans des schémas de table

• Détecter automatiquement des schémas

  Comment utiliser la détection automatique de schéma lorsque vous chargez des données ou interrogez des données externes.

• Modifier des schémas de table

  Modifier les définitions de schéma de table, y compris ajouter, renommer ou supprimer des colonnes et modifier des noms de colonne, des types de données et des modes

Utiliser des tables

• Présentation des tables

  Présentation des tables BigQuery

• Créer et utiliser des tables

  Créer et utiliser des tables, y compris répertorier des tables, obtenir des informations sur des tables, et contrôler l'accès aux données des tables

• Gérer des tables

  Gérer des tables, y compris mettre à jour leurs propriétés, les renommer, les supprimer et les copier

• Gérer des données de table

  Aperçu de l'utilisation des données de table, y compris interroger les tables, naviguer dans les données de table et modifier, exporter, ajouter ou remplacer des données

• Exporter des données de table

  Comment exporter des données de table vers Cloud Storage.

• Mettre à jour des données de table à l'aide du langage LMD

  Effectuer des modifications en masse sur les données de table à l'aide du langage de manipulation de données (LMD) en langage SQL standard

Utiliser des tables partitionnées

• Présentation des tables partitionnées

  Découvrez les tables partitionnées de BigQuery.

• Créer des tables partitionnées par date d'ingestion

  Comment créer et utiliser des tables partitionnées avec date d'ingestion, y compris les répertorier et obtenir des informations à leur sujet

• Créer des tables partitionnées par date/horodatage

  Comment créer et utiliser des tables partitionnées par date/horodatage, les répertorier et obtenir des informations à leur sujet

• Créer des tables partitionnées par plages d'entiers

  Comment créer et utiliser des tables partitionnées par pages d'entiers, les répertorier et obtenir des informations à leur sujet

• Gérer des tables partitionnées

  Comment gérer des tables partitionnées, y compris mettre à jour leurs propriétés et copier ou supprimer des partitions

• Gérer les données de tables partitionnées

  Comment gérer les données de tables partitionnées, y compris naviguer dans les données et modifier, exporter, ajouter ou remplacer des données

• Interroger des tables partitionnées

  Comment interroger des tables partitionnées

• Mettre à jour des données de tables partitionnées à l'aide d'instructions LMD

  Comment utiliser les instructions LMD pour insérer, supprimer ou mettre à jour des données dans des tables partitionnées

Utiliser des tables en cluster

• Présentation des tables en cluster

  Présentation des tables en cluster dans BigQuery

• Créer et utiliser des tables en cluster

  Comment créer et utiliser des tables en cluster, y compris les lister et obtenir des informations à leur sujet

• Interroger des tables en cluster

  Comment interroger des tables en cluster

Utiliser des vues

• Présentation des vues

  Présentation des vues BigQuery

• Créer des vues

  Comment créer des vues

• Contrôler l'accès aux vues

  Comment contrôler l'accès aux vues

• Créer des vues autorisées

  Comment créer une vue permettant de partager les résultats de la requête avec des utilisateurs et des groupes sans leur donner accès aux tables sous-jacentes

• Répertorier des vues

  Comment répertorier des vues

• Obtenir des informations sur les vues

  Comment obtenir des informations ou des métadonnées sur les vues

• Mettre à jour des vues

  Comment mettre à jour les propriétés des vues, y compris les descriptions, les délais d'expiration et les requêtes SQL

• Gérer les vues

  Gérez des vues, y compris en les copiant, en les renommant et en les supprimant

Utiliser des vues matérialisées

• Présentation des vues matérialisées

  Présentation des vues matérialisées BigQuery

• Créer et utiliser des vues matérialisées

  Créer et utiliser des vues matérialisées

• Bonnes pratiques pour les vues matérialisées

  Bonnes pratiques pour les vues matérialisées

• Questions fréquentes sur les vues matérialisées

  Réponses aux questions fréquentes sur les vues matérialisées

Utiliser Reservations pour gérer la charge de travail

• Présentation

  Découvrez les réservations BigQuery.

• Concepts

  Découvrez les concepts liés aux réservations.

• Gérer la charge de travail

  Comment utiliser les réservations pour gérer la charge de travail

• Surveillance

  Comment contrôler l'utilisation et la facturation de Réservation

Obtenir des métadonnées avec INFORMATION_SCHEMA

• Présentation

  Présentation de INFORMATION_SCHEMA

• Obtenir des métadonnées sur des ensembles de données

  Utiliser INFORMATION_SCHEMA pour récupérer des métadonnées sur des ensembles de données

• Obtenir des métadonnées de routine

  Utiliser INFORMATION_SCHEMA pour récupérer des métadonnées sur des routines

• Obtenir des métadonnées sur des tables

  Utiliser INFORMATION_SCHEMA pour récupérer des métadonnées sur des tables

• Obtenir des métadonnées de vue

  Utiliser INFORMATION_SCHEMA pour récupérer des métadonnées sur des vues

Attribuer des libellés aux ressources BigQuery

• Présentation des libellés

  Présentation de l'attribution de libellés aux ressources dans BigQuery

• Ajout de libellés

  Utiliser des libellés pour regrouper les ressources par objectif, environnement, service, etc.

• Afficher des libellés

  Afficher les libellés sur les ressources BigQuery.

• Mettre à jour des libellés

  Comment mettre à jour les libellés sur les ressources BigQuery

• Filtrer des ressources à l'aide de libellés

  Filtrer les ressources à l'aide de libellés

• Supprimer des libellés

  Supprimer des libellés sur les ressources BigQuery.

Charger des données dans BigQuery

• Présentation du chargement des données

  Comment charger des données dans BigQuery à partir de divers formats sources, dont les formats CSV, JSON, Avro, Parquet et ORC, ainsi que les sauvegardes Datastore

• Charger des données depuis Cloud Storage

  Charger des données à partir de Cloud Storage

• Charger des données Avro depuis Cloud Storage

  Comment charger des données Avro à partir de Cloud Storage

• Charger des données Parquet depuis Cloud Storage

  Comment charger des données Parquet à partir de Cloud Storage

• Charger des données ORC à partir de Cloud Storage

  Comment charger des données ORC à partir de Cloud Storage

• Charger des données CSV à partir de Cloud Storage

  Comment charger des données CSV à partir de Cloud Storage

• Charger des données JSON à partir de Cloud Storage

  Charger des données JSON délimitées par retour à la ligne à partir de Cloud Storage

• Charger des exportations Datastore à partir de Cloud Storage

  Comment charger des données à partir d'une exportation Datastore.

• Charger des exportations Firestore à partir de Cloud Storage

  Comment charger des données à partir d'une exportation Firestore.

• Charger des données depuis une source de données locale

  Comment charger des données depuis une source de données locale

• Importer des données dans BigQuery

  Insérer des données en flux continu dans BigQuery à l'aide de l'API BigQuery

Interroger des données BigQuery

• Présentation de l'interrogation des données

  Présentation de l'exécution de requêtes dans BigQuery

• Exécuter des requêtes interactives et par lot

  Comment exécuter des requêtes interactives et par lot

• Effectuer une simulation de requête

  Comment effectuer une simulation de tâche de requête afin d'estimer la quantité de données traitées

• Écrire des résultats de requête

  Écrire et parcourir des résultats des requêtes

• Utiliser des résultats en cache

  Comment utiliser des résultats de requête en cache

• Exécuter des requêtes paramétrées

  Comment utiliser des requêtes paramétrées

• Interroger des données avec une table générique

  Interroger plusieurs tables de manière concise en utilisant une table générique

• Enregistrer et partager des requêtes

  Enregistrer et partager des requêtes

• Planifier des requêtes

  Planifier les requêtes récurrentes dans BigQuery

• Utiliser l'explication du plan de requête

  BigQuery fournit des informations de diagnostic sur le plan d'exécution d'une requête.

• Utiliser le connecteur BigQuery pour Excel

  BigQuery propose un connecteur permettant d'interroger des données BigQuery depuis Excel.

Interroger des sources de données externes

• Présentation des sources de données externes

  Interroger des données directement à partir de sources de données externes telles que Cloud Storage, Cloud Bigtable et Drive

• Créer un fichier de définition de table

  Créer un fichier de définition de table pour une source de données externe

• Requêtes fédérées avec des données Cloud SQL

  Interroger les données dans BigQuery et Cloud SQL à l'aide d'une requête fédérée.

• Interroger des données Cloud Bigtable

  Utiliser BigQuery pour interroger les données stockées dans Cloud Bigtable

• Interroger des données Cloud Storage

  Utiliser BigQuery pour interroger des données stockées dans Cloud Storage

• Interroger des données Drive

  Utiliser BigQuery pour interroger les données stockées dans Drive

Contrôler les coûts BigQuery

• Présentation du contrôle des coûts BigQuery

  Découvrez les mesures de contrôle des coûts disponibles pour BigQuery.

• Estimer les coûts du stockage et des requêtes

  Comment estimer les coûts de stockage et de requête avant de charger et d'interroger les données

• Contrôles de coûts personnalisés

  Gérer les coûts en définissant des quotas personnalisés sur le traitement des requêtes

• Bonnes pratiques en matière de contrôle des coûts

  Bonnes pratiques relatives au contrôle des coûts dans BigQuery

Sécuriser les ressources BigQuery

• Rôles et autorisations prédéfinis

  Informations sur les rôles et autorisations IAM prédéfinis de BigQuery.

• Rôles et autorisations de base

  Informations sur les rôles et autorisations BigQuery de base qui existaient avant IAM.

• Exemples de contrôle d'accès

  Cas d'utilisation du contrôle des accès dans BigQuery.

• Présentation de la sécurité au niveau des colonnes (version bêta)

  En savoir plus sur la sécurité au niveau des colonnes dans BigQuery

• Restreindre l'accès avec la sécurité au niveau des colonnes (version bêta)

  Comment restreindre l'accès avec la sécurité au niveau des colonnes dans BigQuery

• Chiffrement au repos

  Découvrez comment BigQuery chiffre vos données au repos.

• Utiliser Cloud Data Loss Prevention pour analyser les données BigQuery

  Utiliser Cloud Data Loss Prevention pour identifier et protéger les données BigQuery sensibles

• Protéger des données avec des clés Cloud KMS

  Comment utiliser des clés de chiffrement gérées par le client (CMEK) pour BigQuery.

Surveillance et journalisation

• Surveiller BigQuery à l'aide de Cloud Monitoring

  Surveiller les ressources BigQuery à l'aide de Cloud Monitoring

• Audit des tags avec stratégie

  Activités d'audit liées aux tags avec stratégie

• Informations relatives aux journaux d'audit

  Consigner l'utilisation de BigQuery à l'aide des journaux d'audit

Principes de base de l'API BigQuery

• Présentation de l'authentification

  S'authentifier dans divers scénarios d'application

• Premiers pas avec l'authentification

  Premiers pas avec les identifiants d'application par défaut

• S'authentifier avec un fichier de clé de compte de service

  Créer et obtenir manuellement des identifiants pour le compte de service

• S'authentifier avec un compte utilisateur dans les applications installées

  S'authentifier dans une application à l'aide de comptes utilisateur

• Autoriser des requêtes d'API

  Autoriser des requêtes d'API avec des jetons d'accès

• Requêtes par lot

  Réduire le nombre de connexions HTTP que votre client doit établir en autorisant les appels d'API par lot

• Parcourir des résultats de requêtes

  Parcourir des résultats de requêtes à l'aide de l'API BigQuery

• Astuces relatives aux performances de l'API

  Techniques permettant d'améliorer les performances de votre application.

Bonnes pratiques

• Contrôler les coûts

  Bonnes pratiques relatives au contrôle des coûts dans BigQuery

• Optimiser les performances des requêtes

  Bonnes pratiques relatives à l'optimisation des performances des requêtes dans BigQuery

• Optimiser le stockage

  Bonnes pratiques relatives à l'optimisation du stockage BigQuery