Prévisualiser les requêtes SQL

Ce document explique comment prévisualiser la sortie d'une requête SQL dans un espace de travail Dataform avant d'exécuter la requête dans BigQuery.

À propos de l'aperçu de la requête dans Dataform

Lorsque vous développez une requête dans un fichier SQLX ou JavaScript avec le cœur Dataform, Dataform compile la requête en SQL en temps réel. Pour tester la sortie de la requête SQL compilée avant de l'exécuter dans BigQuery, vous pouvez exécuter un aperçu de la requête dans votre espace de travail Dataform.

Lorsque vous exécutez l'aperçu d'une requête, Dataform exécute une tâche dans BigQuery pour exécuter votre requête compilée dans une table de destination temporaire et afficher les résultats de la requête dans votre espace de travail. Vous pouvez inspecter la sortie de la requête avant de déclencher l'exécution pour publier votre table dans BigQuery. La table temporaire contenant la requête prévisualisée est automatiquement supprimée sous 24 heures. Pour en savoir plus sur les tâches BigQuery, consultez la page Présentation des tâches BigQuery.

L'exécution de l'aperçu de la requête dans Dataform entraîne la facturation dans BigQuery. Pour en savoir plus sur les tarifs de BigQuery, consultez la section Tarifs de BigQuery.

Lors de l'aperçu de la requête, Dataform utilise vos identifiants utilisateur pour exécuter des tâches dans BigQuery. Toutefois, lors de l'exécution du workflow, Dataform utilise vos identifiants de compte de service pour créer ou mettre à jour des composants dans BigQuery.

Dataform affiche les résultats de toutes les requêtes prévisualisées pendant la session de navigateur actuelle dans le panneau Résultats de la requête de votre espace de travail. Dans le panneau Résultats de la requête, vous pouvez afficher les informations suivantes sur chaque requête prévisualisée pendant la session de navigateur en cours:

  • Informations sur le job
    • ID de tâche BigQuery
    • Utilisateur exécutant l'aperçu
    • Emplacement où la tâche est exécutée, extrait de votre fichier de paramètres de workflow
    • Heures de création, de début et de fin de la tâche BigQuery
    • Durée de la tâche BigQuery
    • Octets traités
    • Octets facturés dans BigQuery
    • Priorité de la tâche
    • Utilisation de l'ancien SQL dans la requête
    • Table de destination temporaire de la requête
  • Résultats de la requête
  • Représentation JSON de la sortie de la requête

De plus, dans le panneau Résultats de la requête, vous pouvez accéder au fichier source de chaque requête prévisualisée, puis à BigQuery Studio pour afficher l'exécution de prévisualisation.

Avant de commencer

  1. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à la page Dataform

  2. Sélectionnez ou créez un dépôt.

  3. Sélectionnez ou créez un espace de travail de développement.

  4. Créez une requête SQL, par exemple définissez une table.

Rôles requis

Pour obtenir les autorisations nécessaires pour prévisualiser des requêtes, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet:

  • Éditeur Dataform (roles/dataform.editor) – Espaces de travail
  • Utilisateur de job BigQuery (roles/bigquery.jobUser) : le projet

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Prévisualiser une requête

Pour inspecter les résultats de la requête dans Dataform avant l'exécution, exécutez un aperçu d'une requête dans votre espace de travail. Si le fichier actuellement en cours de modification contient plusieurs requêtes, sélectionnez celle que vous souhaitez prévisualiser. Vous ne pouvez prévisualiser qu'une seule requête à la fois.

L'exécution de l'aperçu est légèrement différente pour les tables avec des assertions. Pour en savoir plus, consultez Aperçu d'une table avec des assertions.

Pour prévisualiser une requête SQL et afficher les résultats de la requête dans un espace de travail Dataform, procédez comme suit:

  1. Dans le volet Fichiers, développez definitions/.
  2. Sélectionnez un fichier SQLX ou JavaScript.
  3. Cliquez sur Exécuter.
    1. Si le fichier contient plusieurs requêtes, sélectionnez celle que vous souhaitez prévisualiser dans le menu déroulant.
  4. Examinez les résultats de l'aperçu dans le volet Résultats de la requête.
    1. Pour inspecter les détails de la tâche, sélectionnez l'onglet Informations sur la tâche.
    2. Pour examiner les résultats de la requête, sélectionnez l'onglet Résultats.
    3. Pour afficher la sortie JSON de la requête, sélectionnez l'onglet JSON.
    4. Pour afficher le job d'aperçu dans l'espace de travail SQL, cliquez sur le menu Plus > Afficher le job dans l'espace de travail SQL.

Prévisualiser un tableau avec des assertions

Dans un fichier de définition de table SQLX avec des assertions, vous pouvez prévisualiser la requête de création de table et les requêtes d'assertion définies.

Dataform considère la requête de définition de table comme la requête par défaut. Pour prévisualiser la requête de création de table, cliquez sur Exécuter dans votre espace de travail. Pour prévisualiser une requête d'assertion, vous devez la sélectionner dans un menu déroulant à côté du bouton Exécuter. Vous ne pouvez prévisualiser qu'une seule requête à la fois.

Pour prévisualiser une requête dans un fichier de définition de table avec des assertions dans un espace de travail Dataform, procédez comme suit:

  1. Dans le volet Fichiers, développez definitions/.
  2. Sélectionnez un fichier de définition d'une table avec des assertions.
  3. Exécuter l'aperçu :
    • Pour prévisualiser la requête de création de table, cliquez sur Exécuter.
    • Pour prévisualiser une requête d'assertion, cliquez sur l'icône du menu déroulant à côté de Exécuter, puis sélectionnez la requête que vous souhaitez prévisualiser.
  4. Examinez les résultats de l'aperçu dans le volet Résultats de la requête.
    1. Pour inspecter les détails de la tâche, sélectionnez l'onglet Informations sur la tâche.
    2. Pour examiner les résultats de la requête, sélectionnez l'onglet Résultats.
    3. Pour afficher la sortie JSON de la requête, sélectionnez l'onglet JSON.
    4. Pour afficher le job d'aperçu dans l'espace de travail SQL, cliquez sur le menu Plus > Afficher le job dans l'espace de travail SQL.

Étape suivante