Créer des environnements de développement

Ce guide de démarrage rapide vous explique les étapes à suivre pour créer un développement individuel dans Dataform, de sorte que chaque développeur puisse travailler à son propre développement d'applications:

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Vérifiez que la facturation est activée pour votre projet Google Cloud.

  4. Activer les API BigQuery and Dataform.

    Activer les API

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Vérifiez que la facturation est activée pour votre projet Google Cloud.

  7. Activer les API BigQuery and Dataform.

    Activer les API

    8.

Rôles requis

Pour obtenir les autorisations nécessaires pour effectuer toutes les tâches de ce tutoriel, demandez à votre administrateur de vous accorder le les rôles IAM suivants sur votre projet:

  • Administrateur Dataform (roles/dataform.admin) – Dépôts
  • Éditeur Dataform (roles/dataform.editor) : espaces de travail et appels de workflow

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un dépôt Dataform

  1. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à Dataform

  2. Cliquez sur Créer un dépôt.

  3. Sur la page Créer un dépôt, procédez comme suit:

    1. Dans le champ ID du dépôt, saisissez quickstart-dev.

    2. Dans la liste Région, sélectionnez europe-west4.

    3. Cliquez sur Créer.

  4. Cliquez sur OK.

Accorder à Dataform l'accès à BigQuery

Pour exécuter des workflows dans BigQuery, Dataform compte de service doit disposer des rôles requis suivants:

Pour attribuer ces rôles, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page IAM.

    Accéder à la page IAM

  2. Cliquez sur Ajouter.

  3. Dans le champ Nouveaux comptes principaux, saisissez votre service Dataform. ID de compte Google Ads.

  4. Dans la liste déroulante Sélectionner un rôle, sélectionnez le rôle Rôle Utilisateur de tâche BigQuery.

  5. Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionnez un rôle. sélectionnez le rôle Éditeur de données BigQuery.

  6. Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionnez un rôle. sélectionnez le rôle Lecteur de données BigQuery.

  7. Cliquez sur Enregistrer.

Configurer des remplacements de compilation d'espace de travail

Créer des environnements de développement isolés avec un espace de travail Dataform de compilation, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à Dataform

  2. Cliquez sur quickstart-dev.

  3. Cliquez sur Paramètres, puis sur Modifier.

  4. Dans le volet Remplacements de compilation d'espace de travail, saisissez ${workspaceName} dans le champ Suffixe du schéma.

    Lorsque vous déclenchez l'exécution dans un espace de travail, Dataform ajoute la méthode nom de l'espace de travail en tant que suffixe du schéma par défaut défini dans paramètres du workflow. Ce guide de démarrage rapide utilise les paramètres Dataform par défaut avec le schéma par défaut dataform.

  5. Cliquez sur Enregistrer.

Dataform applique des remplacements de compilation d'espace de travail à tous les espaces de travail de dans votre dépôt.

Avec cette configuration, lorsque vous exécutez manuellement un workflow SQL dans un Dataform l'exécute avec des remplacements de compilation d'espace de travail. Par conséquent, Dataform exécute le workflow SQL dans le schéma dataform_workspaceName dans BigQuery, transformant ainsi dans un environnement de développement isolé.

Par exemple, lorsque vous déclenchez manuellement l'exécution dans un espace de travail sasha, Dataform exécute votre workflow SQL dans le schéma dataform_sasha dans dans BigQuery.

Pour exécuter des workflows SQL sans remplacements de compilation d'espace de travail, mais conserver compilation d'espace de travail pour les environnements de développement, vous pouvez créer des configurations de lancement pour configurer d'autres environnements d'exécution, par exemple staging et production.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

Supprimer des ensembles de données créés dans BigQuery

Pour éviter que des frais ne vous soient facturés pour les éléments BigQuery, supprimez des ensembles de données dont le nom commence par dataform, par exemple dataform-sasha.

  1. Dans la console Google Cloud, accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le panneau Explorateur, développez votre projet et sélectionnez un ensemble de données.

  3. Cliquez sur le menu Actions , puis sélectionnez Supprimer.

  4. Dans la boîte de dialogue Supprimer l'ensemble de données, saisissez delete dans le champ, puis cliquez sur Supprimer.

Supprimer le dépôt Dataform

La création de dépôts Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer un dépôt et tout son contenu, procédez comme suit : étapes:

  1. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à Dataform

  2. À partir de quickstart-dev, cliquez sur le menu Plus, puis puis sélectionnez Supprimer.

    1. Dans la fenêtre Supprimer le dépôt, saisissez le nom du dépôt pour confirmer la suppression.

  3. Pour confirmer l'opération, cliquez sur Supprimer.

Étape suivante