Créer et exécuter un workflow SQL dans Dataform

Créer et exécuter un workflow SQL dans Dataform

Ce guide de démarrage rapide vous explique le processus suivant dans Dataform : pour créer un workflow SQL et l'exécuter dans BigQuery:

• Créer un Dataform un dépôt de clés.
• Créer et initialiser un développement Dataform Workspace.
• Créez une vue.
• Créez une table.
• Accorder à Dataform l'accès à dans BigQuery.
  • Exécutez la classe du workflow.
• Afficher les journaux d'exécution dans Dataform
• Nettoyage créé éléments.

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery and Dataform APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery and Dataform APIs.

   Enable the APIs

Rôles requis

Pour obtenir les autorisations nécessaires pour effectuer toutes les tâches de ce tutoriel, demandez à votre administrateur de vous accorder le les rôles IAM suivants sur votre projet:

• Administrateur Dataform (roles/dataform.admin) – Dépôts
• Éditeur Dataform (roles/dataform.editor) : espaces de travail et appels de workflow

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un dépôt Dataform

1. Dans la console Google Cloud, accédez à la page Dataform page.

   Accéder à Dataform

2. Cliquez sur Créer un dépôt.

3. Sur la page Créer un dépôt, procédez comme suit:

   1. Dans le champ ID du dépôt, saisissez quickstart-repository.

   2. Dans la liste Région, sélectionnez europe-west4.

   3. Cliquez sur Créer.

Créer et initialiser un espace de travail de développement Dataform

1. Dans la console Google Cloud, accédez à la page Dataform page.

   Accéder à Dataform

2. Cliquez sur quickstart-repository.

3. Cliquez sur Créer un développement Workspace.

4. Dans la fenêtre Créer un espace de travail de développement, procédez comme suit:

   1. Dans le champ ID de l'espace de travail, saisissez quickstart-workspace.

   2. Cliquez sur Créer.

   La page de l'espace de travail de développement s'affiche.

5. Cliquez sur Initialiser l'espace de travail.

Remarque :Dataform initialise votre espace de travail avec un ensemble de répertoires et contenant les paramètres par défaut pour le déploiement des workflows. Toi pouvez remplacer les paramètres par défaut dans le fichier des paramètres de workflow pour répondre au mieux à vos besoins, mais il ne s'agit pas de déployer des workflows SQL sur BigQuery. Ce guide de démarrage rapide utilise les paramètres Dataform par défaut.

Créer une vue

Dans les sections suivantes, vous allez définir une vue que vous utiliserez plus tard comme source de données la source d'une table.

Créer un fichier SQLX pour définir une vue

1. Dans le volet Fichiers, à côté de definitions/, cliquez sur Menu Plus.

2. Cliquez sur Créer un fichier.

3. Dans le volet Créer un fichier, procédez comme suit:

   1. Dans le champ Ajouter un chemin d'accès au fichier, saisissez definitions/quickstart-source.sqlx.

   2. Cliquez sur Créer un fichier.

Définir une vue

1. Dans le volet Fichiers, développez le dossier des définitions.

2. Cliquez sur definitions/quickstart-source.sqlx.

3. Dans le fichier, saisissez l'extrait de code suivant :

   config {
    type: "view"
   }
   
   SELECT
    "apples" AS fruit,
    2 AS count
   UNION ALL
   SELECT
    "oranges" AS fruit,
    5 AS count
   UNION ALL
   SELECT
    "pears" AS fruit,
    1 AS count
   UNION ALL
   SELECT
    "bananas" AS fruit,
    0 AS count
   

4. Cliquez sur Format.

Créer une table

Dans les sections suivantes, vous définissez le type de table dans un fichier SQLX, puis écrire une instruction SELECT pour définir la structure du tableau dans le même fichier ;

Créer un fichier SQLX pour définir une table

1. Dans le volet Fichiers, à côté de definitions/, cliquez sur dans le menu Plus, puis sélectionnez Créer un fichier.

2. Dans le champ Ajouter un chemin d'accès au fichier, saisissez definitions/quickstart-table.sqlx.

3. Cliquez sur Créer un fichier.

Définir le type, la structure et les dépendances de la table

1. Dans le volet Fichiers, développez le répertoire definitions/.

2. Sélectionnez quickstart-table.sqlx, puis saisissez le type de table suivant et Instruction SELECT:

   config {
    type: "table"
   }
   
   SELECT
    fruit,
    SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1
   

3. Cliquez sur Format.

   Remarque :Dans l'extrait de code précédent, la fonction ref fait référence aux données source. Pour en savoir plus, consultez la section Définir un tableau.

Après avoir défini le type de table, Dataform génère une erreur de validation de requête. car quickstart-source n'existe pas encore dans BigQuery. Ce est résolue lorsque vous exécuterez le workflow SQL, plus loin dans ce tutoriel.

Accorder à Dataform l'accès à BigQuery

Pour exécuter des workflows dans BigQuery, Dataform compte de service doit disposer des rôles requis suivants:

• Éditeur de données BigQuery sur les projets pour lesquels Dataform a besoin d'un accès en lecture et en écriture. Ils qui incluent généralement le projet qui héberge votre dépôt Dataform.
• Lecteur de données BigQuery sur les projets pour lesquels Dataform a besoin d'un accès en lecture seule.
• Utilisateur de job BigQuery sur le projet hébergeant votre dépôt Dataform.

Pour attribuer ces rôles, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page IAM.

   Accéder à la page IAM

2. Cliquez sur Ajouter.

3. Dans le champ Nouveaux comptes principaux, saisissez votre service Dataform. ID de compte Google Ads.

4. Dans la liste déroulante Sélectionner un rôle, sélectionnez le rôle Rôle Utilisateur de tâche BigQuery.

5. Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionnez un rôle. sélectionnez le rôle Éditeur de données BigQuery.

6. Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionnez un rôle. sélectionnez le rôle Lecteur de données BigQuery.

7. Cliquez sur Enregistrer.

Exécuter le workflow

1. Dans la console Google Cloud, accédez à la page Dataform page.

   Accéder à Dataform

2. Sur la page quickstart-workspace, cliquez sur Start execution (Démarrer l'exécution).

3. Cliquez sur Toutes les actions.

4. Dans le volet Execute (Exécuter), cliquez sur Start execution (Démarrer l'exécution).

   Dataform utilise les paramètres de dépôt par défaut pour créer le du workflow dans un ensemble de données BigQuery appelé dataform

Afficher les journaux d'exécution dans Dataform

1. Sur la page quickstart-repository, cliquez sur Journaux d'exécution de workflow.

2. Pour afficher les détails de votre exécution, cliquez sur la dernière exécution.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

Supprimer l'ensemble de données créé dans BigQuery

Pour éviter que des frais ne vous soient facturés pour les éléments BigQuery, supprimez le appelé dataform.

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le panneau Explorateur, développez votre projet et sélectionnez dataform.

3. Cliquez sur le menu Actions , puis sélectionnez Supprimer.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, saisissez delete dans le champ, puis cliquez sur Supprimer.

Supprimer l'espace de travail de développement Dataform

La création d'un espace de travail de développement Dataform n'entraîne aucuns frais, mais vous devez supprimer dans l'espace de travail de développement, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform page.

   Accéder à Dataform

2. Cliquez sur quickstart-repository.

3. Dans l'onglet Espaces de travail de développement, cliquez sur . Plus de quickstart-workspace, puis sélectionnez Supprimer.

4. Pour confirmer l'opération, cliquez sur Supprimer.

Supprimer le dépôt Dataform

La création du dépôt Dataform n'entraîne aucuns frais, mais la suppression du vous pouvez suivre ces étapes:

1. Dans la console Google Cloud, accédez à la page Dataform page.

   Accéder à Dataform

2. À côté de quickstart-repository, cliquez sur le menu Plus. puis sélectionnez Supprimer.

3. Dans la fenêtre Supprimer le dépôt, saisissez le nom du dépôt pour confirmer la suppression.

4. Pour confirmer l'opération, cliquez sur Supprimer.

Étape suivante

• Pour en savoir plus sur Dataform, consultez Dataform présentation.

• Pour en savoir plus sur les fonctionnalités de Dataform, consultez la page Présentation Fonctionnalités Dataform

• Pour en savoir plus sur Dataform Core, consultez la page Présentation Dataform Core

• Pour savoir comment remplacer les paramètres Dataform par défaut de votre consultez la page Configurer Dataform paramètres.

• Pour en savoir plus sur la gestion des ensembles de données dans BigQuery, consultez la page Gérer des ensembles de données.

• Pour en savoir plus sur la gestion des tables dans BigQuery, consultez la page Gérer de données.