Créer des environnements de développement
Ce guide de démarrage rapide vous explique comment créer des environnements de développement individuels dans Dataform, afin que chaque développeur puisse travailler dans son propre environnement de développement:
- Créez un dépôt Dataform.
- Accordez à Dataform l'accès à BigQuery.
Configurez des remplacements de compilation d'espace de travail.
Configurez les remplacements de compilation que Dataform appliquera à tous les espaces de travail de votre dépôt, transformant ainsi les espaces de travail en environnements de développement isolés.
Avant de commencer
- Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
-
Activer les API BigQuery and Dataform.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
-
Activer les API BigQuery and Dataform.
Rôles requis
Pour obtenir les autorisations nécessaires pour effectuer toutes les tâches de ce tutoriel, demandez à votre administrateur de vous attribuer les rôles IAM suivants:
-
Administrateur Dataform (
roles/dataform.admin
) sur les dépôts -
Éditeur Dataform (
roles/dataform.editor
) sur les espaces de travail et les appels de workflow
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Créer un dépôt Dataform
Dans la console Google Cloud, accédez à la page Dataform.
Cliquez sur
Créer un dépôt.Sur la page Créer un dépôt, procédez comme suit:
Dans le champ ID du dépôt, saisissez
quickstart-dev
.Dans la liste Région, sélectionnez
europe-west4
.Cliquez sur Créer.
Cliquez sur OK.
Accorder à Dataform l'accès à BigQuery
Pour exécuter des workflows dans BigQuery, le compte de service Dataform doit disposer des rôles requis suivants:
- Éditeur de données BigQuery pour les projets pour lesquels Dataform a besoin d'un accès en lecture et en écriture. Ils incluent généralement le projet hébergeant votre dépôt Dataform.
- Lecteur de données BigQuery pour les projets pour lesquels Dataform a besoin d'un accès en lecture seule.
- Utilisateur de tâche BigQuery sur le projet hébergeant votre dépôt Dataform
Pour attribuer ces rôles, procédez comme suit:
Dans la console Google Cloud, accédez à la page IAM.
Cliquez sur Ajouter.
Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre compte de service Dataform.
Dans la liste déroulante Sélectionnez un rôle, sélectionnez le rôle Utilisateur de job BigQuery.
Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionner un rôle, sélectionnez le rôle Éditeur de données BigQuery.
Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionner un rôle, sélectionnez le rôle Lecteur de données BigQuery.
Cliquez sur Enregistrer.
Configurer des remplacements de compilation d'espace de travail
Pour créer des environnements de développement isolés avec des remplacements de compilation d'espace de travail Dataform, procédez comme suit:
Dans la console Google Cloud, accédez à la page Dataform.
Cliquez sur
quickstart-dev
.Cliquez sur Paramètres, puis sur Modifier.
Dans le volet Remplacements de compilation d'espace de travail, saisissez
${workspaceName}
dans le champ Suffixe du schéma.Lorsque vous déclenchez l'exécution dans un espace de travail, Dataform ajoute le nom de l'espace de travail sous forme de suffixe à l'ensemble de schémas par défaut dans
dataform.json
. Ce guide de démarrage rapide utilise les paramètres Dataform par défaut avec le schéma par défautdataform
.Cliquez sur Enregistrer.
Dataform applique des remplacements de compilation d'espace de travail à tous les espaces de travail de votre dépôt.
Avec cette configuration, lorsque vous exécutez manuellement un workflow SQL dans un espace de travail, Dataform l'exécute avec des remplacements de compilation d'espace de travail.
Par conséquent, Dataform exécute le workflow SQL dans le schéma dataform_workspaceName
de BigQuery, transformant l'espace de travail en un environnement de développement isolé.
Par exemple, lorsque vous déclenchez manuellement l'exécution dans un espace de travail sasha
, Dataform exécute votre workflow SQL dans le schéma dataform_sasha
de BigQuery.
Pour exécuter des workflows SQL sans remplacements de compilation d'espace de travail, mais conserver les remplacements de compilation d'espace de travail pour les environnements de développement, vous pouvez créer des configurations de version pour configurer d'autres environnements d'exécution, par exemple staging
et production
.
Effectuer un nettoyage
Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :
Supprimer des ensembles de données créés dans BigQuery
Pour éviter que des frais ne vous soient facturés pour les éléments BigQuery, supprimez les ensembles de données dont le nom commence par dataform
(par exemple, dataform-sasha
).
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le panneau Explorateur, développez votre projet et sélectionnez un ensemble de données.
Cliquez sur le menu Actions
, puis sélectionnez Supprimer.Dans la boîte de dialogue Supprimer l'ensemble de données, saisissez
delete
dans le champ, puis cliquez sur Supprimer.
Supprimer le dépôt Dataform
La création de dépôts Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer un dépôt et tout son contenu, procédez comme suit:
Dans la console Google Cloud, accédez à la page Dataform.
Dans
quickstart-dev
, cliquez sur le menu Plus, puis sélectionnez Supprimer.- Dans la fenêtre Supprimer le dépôt, saisissez le nom du dépôt pour confirmer la suppression.
Pour confirmer l'opération, cliquez sur Supprimer.
Étapes suivantes
Pour en savoir plus sur le cycle de vie du code dans Dataform, consultez la page Présentation du cycle de vie du code dans Dataform.
Pour en savoir plus sur les bonnes pratiques concernant le cycle de vie du code dans Dataform, consultez Gérer le cycle de vie du code.
Pour en savoir plus sur les remplacements de compilation d'espace de travail dans Dataform, consultez la page Créer des remplacements de compilation d'espace de travail.
Pour savoir comment planifier des exécutions en production dans Dataform, consultez Planifier des exécutions en production.