Planifier des exécutions en production
Ce guide de démarrage rapide vous explique comment planifier des exécutions en production dans Dataform :
- Créez un dépôt Dataform.
- Accorder à Dataform l'accès à BigQuery
Créez une configuration de version pour définir l'environnement de production.
Créez une configuration de version
production
et définissez la fréquence de création des résultats de compilationproduction
.-
Créez une configuration de workflow
production
, sélectionnez la configuration de versionproduction
et définissez un calendrier pour l'exécution des résultats de compilationproduction
.
Avant de commencer
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
Administrateur Dataform (
roles/dataform.admin
) sur les dépôts -
Éditeur Dataform (
roles/dataform.editor
) sur les espaces de travail et les appels de workflows Dans la console Google Cloud , accédez à la page Dataform.
Cliquez sur
Créer un dépôt.Sur la page CRÉER UN DÉPÔT, procédez comme suit :
Dans le champ ID du dépôt, saisissez
quickstart-production
.Dans la liste Région, sélectionnez
europe-west4
.Cliquez sur Créer.
Cliquez sur OK.
- Éditeur de données BigQuery sur les projets pour lesquels Dataform a besoin d'un accès en lecture et en écriture. Ils incluent généralement le projet hébergeant votre dépôt Dataform.
- Lecteur de données BigQuery sur les projets auxquels Dataform doit avoir accès en lecture seule.
- Utilisateur de job BigQuery sur le projet hébergeant votre dépôt Dataform.
Dans la console Google Cloud , accédez à la page IAM.
Cliquez sur Ajouter.
Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre compte de service Dataform.
Dans la liste Sélectionner un rôle, sélectionnez le rôle Utilisateur de tâche BigQuery.
Cliquez sur Ajouter un autre rôle, puis sélectionnez le rôle Éditeur de données BigQuery dans la liste Sélectionner un rôle.
Cliquez sur Ajouter un autre rôle, puis sélectionnez le rôle Lecteur de données BigQuery dans la liste Sélectionner un rôle.
Cliquez sur Enregistrer.
Dans la console Google Cloud , accédez à la page Dataform.
Cliquez sur
quickstart-production
.Cliquez sur Configurations des versions, puis sur Nouvelle configuration de version.
Dans le volet Créer une configuration de version, configurez les paramètres suivants :
Dans le champ ID de version, saisissez
production
.Dans le champ Commitish Git, conservez la valeur par défaut
main
.Dans le menu Fréquence, sélectionnez Personnalisée.
Dans le champ Planification personnalisée, saisissez
0 16 * * *
.Dans le menu Fuseau horaire, sélectionnez un fuseau horaire UTC+1. Par exemple, GMT (heure du méridien de Greenwich).
Chaque jour à 16h UTC+1, Dataform compilera le dépôt
quickstart-production
et appliquera les paramètres de compilation configurés dans cette configuration de version pour créer des résultats de compilationproduction
.Cliquez sur Créer.
Dans la console Google Cloud , accédez à la page Dataform.
Cliquez sur
quickstart-production
.Cliquez sur Configurations de workflow, puis sur Nouvelle configuration de workflow.
Dans le volet Create workflow configuration (Créer une configuration de workflow), saisissez
production
dans le champ Configuration ID (ID de configuration).Dans le menu Configuration de version, sélectionnez
production
.Dans le champ Fréquence, saisissez
0 17 * * *
.Dans le menu Fuseau horaire, sélectionnez un fuseau horaire UTC+1. Par exemple, GMT (heure du méridien de Greenwich).
Chaque jour à 17h UTC+1, Dataform exécute le dernier résultat de compilation
production
du dépôtquickstart-production
.Pour vous assurer que Dataform exécute le dernier résultat de compilation dans la configuration de version correspondante, prévoyez un délai d'au moins une heure entre la création du résultat de compilation et l'exécution planifiée.
Cliquez sur Toutes les actions.
Dataform exécute toutes les actions de workflow dans le résultat de compilation
production
.Cliquez sur Créer.
Dans la console Google Cloud , accédez à la page Dataform.
Cliquez sur
quickstart-production
.Cliquez sur Configurations des versions.
Cliquez sur
production
.Dans la console Google Cloud , accédez à la page Dataform.
Cliquez sur
quickstart-production
.Cliquez sur Configurations de workflow.
Dans la console Google Cloud , accédez à la page BigQuery.
Dans le panneau Explorateur, développez votre projet et sélectionnez
dataform_production
.Cliquez sur le menu
Actions, puis sélectionnez Supprimer.Dans la boîte de dialogue Supprimer l'ensemble de données, saisissez delete, puis cliquez sur Supprimer.
Dans la console Google Cloud , accédez à la page Dataform.
Cliquez sur
quickstart-production
.Cliquez sur Configurations des versions.
À côté de la configuration de version
production
, cliquez sur le menu Plus, puis sur Supprimer.Dans la boîte de dialogue Supprimer la configuration de version, cliquez sur Supprimer.
Dans la console Google Cloud , accédez à la page Dataform.
Cliquez sur
quickstart-production
.Cliquez sur Configurations de workflow.
À côté de la configuration de workflow
production
, cliquez sur le menu Plus, puis sur Supprimer.Dans la boîte de dialogue Supprimer la configuration de version, cliquez sur Supprimer.
Dans la console Google Cloud , accédez à la page Dataform.
À côté de
quickstart-production
, cliquez sur le menu Plus, puis sélectionnez Supprimer.Dans la fenêtre Supprimer le dépôt, saisissez le nom du dépôt pour confirmer la suppression.
Pour confirmer l'opération, cliquez sur Supprimer.
Pour en savoir plus sur le cycle de vie du code dans Dataform, consultez Présentation du cycle de vie du code dans Dataform.
Pour en savoir plus sur les bonnes pratiques concernant le cycle de vie des workflows dans Dataform, consultez Bonnes pratiques concernant le cycle de vie des workflows.
Pour en savoir plus sur les configurations de version dans Dataform, consultez Créer une configuration de version.
Pour en savoir plus sur les configurations de workflow dans Dataform, consultez Planifier des exécutions avec des configurations de workflow.
Rôles requis
Pour obtenir les autorisations nécessaires pour effectuer toutes les tâches de ce tutoriel, demandez à votre administrateur de vous accorder les rôles IAM suivants :
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.
Créer un dépôt Dataform
Accorder à Dataform l'accès à BigQuery
Pour exécuter des workflows dans BigQuery, le compte de service Dataform doit disposer des rôles requis suivants :
Pour attribuer ces rôles, procédez comme suit :
Créer une configuration de version
Pour créer les résultats de la compilation en production du dépôt quickstart-production
, procédez comme suit :
La configuration de version production
crée un résultat de compilation pour l'ensemble du dépôt quickstart-production
tous les jours à 16h UTC+1.
Créer une configuration de workflow
Pour planifier l'exécution de tables production
, procédez comme suit :
La configuration du workflow production
exécute l'intégralité du résultat de compilation le plus récent créé par la configuration de version production
tous les jours à 16h UTC+1.
Afficher les précédents résultats de compilation production
Pour afficher les anciens résultats de la compilation production
planifiée, procédez comme suit :
Afficher les exécutions passées des workflows production
Pour afficher les exécutions précédentes du workflow production
:
Effectuer un nettoyage
Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre compte Google Cloud , procédez comme suit :
Supprimer l'ensemble de données créé dans BigQuery
Pour éviter que des frais ne vous soient facturés pour les éléments BigQuery, procédez comme suit afin de supprimer l'ensemble de données dataform_production
:
Supprimer la configuration de version Dataform
La création de configurations de version Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer la configuration de version production
, procédez comme suit :
Supprimer la configuration de workflow Dataform
Pour éviter que des frais liés aux éléments BigQuery ne vous soient facturés, procédez comme suit afin de supprimer la configuration de workflow Dataform production
:
Supprimer le dépôt Dataform
La création de dépôts Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer un dépôt et tout son contenu, procédez comme suit :