Planifier des exécutions en production

Planifier des exécutions en production

Ce guide de démarrage rapide vous explique comment planifier des exécutions en production dans Dataform:

• Créez un dépôt Dataform.
• Accordez à Dataform l'accès à BigQuery.

• Créez une configuration de version pour configurer l'environnement de production.

  Créez une configuration de version production à la fréquence de création des résultats de compilation production.

• Créez une configuration de workflow pour planifier les exécutions dans l'environnement de production.

  Créez une configuration de workflow production, sélectionnez la configuration de version production et définissez un calendrier d'exécution des résultats de la compilation production.

• Consultez les résultats d'une compilation antérieure.

• Consultez les exécutions précédentes.

• Nettoyez les composants créés.

Avant de commencer

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Vérifiez que la facturation est activée pour votre projet Google Cloud.

4. Activer les API BigQuery and Dataform.

   Activer les API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Vérifiez que la facturation est activée pour votre projet Google Cloud.

7. Activer les API BigQuery and Dataform.

   Activer les API

Rôles requis

Pour obtenir les autorisations nécessaires pour effectuer toutes les tâches de ce tutoriel, demandez à votre administrateur de vous attribuer les rôles IAM suivants:

• Administrateur Dataform (roles/dataform.admin) sur les dépôts
• Éditeur Dataform (roles/dataform.editor) sur les espaces de travail et les appels de workflow

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un dépôt Dataform

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur Créer un dépôt.

3. Sur la page Créer un dépôt, procédez comme suit:

   1. Dans le champ ID du dépôt, saisissez quickstart-production.

   2. Dans la liste Région, sélectionnez europe-west4.

   3. Cliquez sur Créer.

4. Cliquez sur OK.

Accorder à Dataform l'accès à BigQuery

Pour exécuter des workflows dans BigQuery, le compte de service Dataform doit disposer des rôles requis suivants:

• Éditeur de données BigQuery pour les projets pour lesquels Dataform a besoin d'un accès en lecture et en écriture. Ils incluent généralement le projet hébergeant votre dépôt Dataform.
• Lecteur de données BigQuery pour les projets pour lesquels Dataform a besoin d'un accès en lecture seule.
• Utilisateur de tâche BigQuery sur le projet hébergeant votre dépôt Dataform

Pour attribuer ces rôles, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page IAM.

   Accéder à la page IAM

2. Cliquez sur Ajouter.

3. Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre compte de service Dataform.

4. Dans la liste déroulante Sélectionnez un rôle, sélectionnez le rôle Utilisateur de job BigQuery.

5. Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionner un rôle, sélectionnez le rôle Éditeur de données BigQuery.

6. Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionner un rôle, sélectionnez le rôle Lecteur de données BigQuery.

7. Cliquez sur Enregistrer.

Créer une configuration de version

Pour créer les résultats de la compilation de production du dépôt quickstart-production, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations de version, puis sur Configuration de la nouvelle version.

4. Dans le volet Créer une configuration de version, configurez les paramètres suivants:

   1. Dans le champ ID de version, saisissez production.

   2. Dans le champ Git commitish, conservez la valeur par défaut main .

   3. Dans la liste déroulante Fréquence, sélectionnez Personnalisée.

   4. Dans le champ Planification personnalisée, saisissez 0 16 * * *.

   5. Dans la liste déroulante Fuseau horaire, sélectionnez un fuseau horaire UTC+1, par exemple Heure moyenne de Greenwich (GMT).

   Chaque jour à 16h UTC+1, Dataform compile le dépôt quickstart-production et applique les paramètres de compilation configurés dans cette configuration de version pour créer des résultats de compilation production.

5. Cliquez sur Créer.

La configuration de version production crée un résultat de compilation de l'ensemble du dépôt quickstart-production tous les jours à 16h UTC+1.

Créer une configuration de workflow

Pour planifier l'exécution de tables production, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations de workflow, puis sur Nouvelle configuration de workflow.

4. Dans le volet Créer une configuration de workflow, saisissez production dans le champ ID de configuration.

5. Dans la liste déroulante Configuration de la version, sélectionnez production.

6. Dans le champ Fréquence, saisissez 0 17 * * *.

7. Dans la liste déroulante Fuseau horaire, sélectionnez un fuseau horaire UTC+1, par exemple Heure moyenne de Greenwich (GMT).

   Chaque jour, à 17h UTC+1, Dataform exécute le dernier résultat de compilation production du dépôt quickstart-production.

   Pour vous assurer que Dataform exécute le dernier résultat de compilation dans la configuration de version correspondante, conservez une pause d'au moins une heure entre le moment de la création du résultat de la compilation et celui de l'exécution planifiée.

8. Cliquez sur Toutes les actions.

   Dataform exécutera toutes les actions du workflow SQL dans le résultat de la compilation production.

9. Cliquez sur Créer.

La configuration du workflow production exécute l'intégralité du dernier résultat de compilation créé par la configuration de version production tous les jours à 16h UTC+1.

Afficher les résultats de compilation production précédents

Pour afficher les résultats de la compilation production programmée précédemment, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations des versions.

4. Cliquez sur production.

Afficher les production exécutions précédentes du workflow

Pour afficher les exécutions précédentes du workflow production, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations de workflow.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

Supprimer l'ensemble de données créé dans BigQuery

Afin d'éviter que des frais ne vous soient facturés pour les éléments BigQuery, procédez comme suit pour supprimer l'ensemble de données nommé dataform_production:

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le panneau Explorateur, développez votre projet et sélectionnez dataform_production.

3. Cliquez sur le menu Actions , puis sélectionnez Supprimer.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, saisissez delete, puis cliquez sur Supprimer.

Supprimer la configuration de version Dataform

Aucun coût n'est associé à la création de configurations de version Dataform. Toutefois, si vous souhaitez supprimer la configuration de version production, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations des versions.

4. À côté de la configuration de version production, cliquez sur le menu Plus, puis sur Supprimer.

5. Dans la boîte de dialogue Delete release configuration (Supprimer la configuration de version), cliquez sur Delete (Supprimer).

Supprimer la configuration de workflow Dataform

Pour éviter que des frais liés aux éléments BigQuery ne vous soient facturés, procédez comme suit afin de supprimer la configuration de workflow Dataform production :

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations de workflow.

4. Dans la configuration du workflow production, cliquez sur le menu Plus, puis sur Supprimer.

5. Dans la boîte de dialogue Delete release configuration (Supprimer la configuration de version), cliquez sur Delete (Supprimer).

Supprimer le dépôt Dataform

La création de dépôts Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer un dépôt et tout son contenu, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Dans quickstart-production, cliquez sur le menu Plus, puis sélectionnez Supprimer.

3. Dans la fenêtre Supprimer le dépôt, saisissez le nom du dépôt pour confirmer la suppression.

4. Pour confirmer l'opération, cliquez sur Supprimer.

Étapes suivantes

• Pour en savoir plus sur le cycle de vie du code dans Dataform, consultez la page Présentation du cycle de vie du code dans Dataform.

• Pour en savoir plus sur les bonnes pratiques concernant le cycle de vie du code dans Dataform, consultez Gérer le cycle de vie du code.

• Pour en savoir plus sur les configurations de version dans Dataform, consultez la page Créer une configuration de version.

• Pour en savoir plus sur les configurations de workflow dans Dataform, consultez la page Planifier des exécutions avec des configurations de workflow.