Planifier des exécutions en production

Planifier des exécutions en production

Ce guide de démarrage rapide vous explique comment planifier les exécutions en production dans Dataform:

• Créez un dépôt Dataform.
• Autoriser Dataform à accéder à BigQuery

• Créez une configuration de version pour définir l'environnement de production.

  Créez une configuration de version production à la fréquence de création des résultats de compilation production.

• Créez une configuration de workflow pour planifier des exécutions dans l'environnement de production.

  Créez une configuration de workflow production, sélectionnez la configuration de version production et définissez un calendrier pour l'exécution des résultats de la compilation production.

• Afficher les anciens résultats de compilation

• Afficher les exécutions précédentes

• Nettoyez les assets créés.

Avant de commencer

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

3. Vérifiez que la facturation est activée pour votre projet Google Cloud.

4. Activer les API BigQuery and Dataform.

   Activer les API

5. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

6. Vérifiez que la facturation est activée pour votre projet Google Cloud.

7. Activer les API BigQuery and Dataform.

   Activer les API

Dataform n'est pas compatible avec VPC Service Controls pour le moment. Si vous utilisez VPC Service Controls, excluez des ressources BigQuery de votre périmètre VPC Service Controls pour utiliser Dataform.

Rôles requis

Pour obtenir les autorisations dont vous avez besoin pour effectuer toutes les tâches de ce tutoriel, demandez à votre administrateur de vous attribuer les rôles IAM suivants:

• Administrateur Dataform (roles/dataform.admin) sur les dépôts
• Éditeur Dataform (roles/dataform.editor) sur les espaces de travail et les appels de workflowInvocations

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un dépôt Dataform

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur Créer un dépôt.

3. Sur la page Créer un dépôt, procédez comme suit:

   1. Dans le champ ID du dépôt, saisissez quickstart-production.

   2. Dans la liste Région, sélectionnez europe-west4.

   3. Cliquez sur Créer.

4. Cliquez sur OK.

Accorder à Dataform l'accès à BigQuery

Pour exécuter des workflows dans BigQuery, le compte de service Dataform doit disposer des rôles requis suivants:

• Éditeur de données BigQuery sur les projets pour lesquels Dataform a besoin d'un accès en lecture et en écriture Elles incluent généralement le projet hébergeant votre dépôt Dataform.
• Lecteur de données BigQuery sur les projets pour lesquels Dataform a besoin d'un accès en lecture seule.
• Utilisateur de tâche BigQuery sur le projet hébergeant votre dépôt Dataform

Pour attribuer ces rôles, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page IAM.

   Accéder à la page IAM

2. Cliquez sur Ajouter.

3. Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre compte de service Dataform.

4. Dans la liste déroulante Sélectionnez un rôle, sélectionnez le rôle Utilisateur de tâche BigQuery.

5. Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionnez un rôle, sélectionnez le rôle Éditeur de données BigQuery.

6. Cliquez sur Ajouter un autre rôle, puis dans la liste déroulante Sélectionnez un rôle, sélectionnez le rôle Lecteur de données BigQuery.

7. Cliquez sur Enregistrer.

Créer une configuration de version

Pour créer les résultats de la compilation en production du dépôt quickstart-production, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations des versions, puis sur Nouvelle configuration de version.

4. Dans le volet Créer une configuration de version, configurez les paramètres suivants:

   1. Dans le champ ID de version, saisissez production.

   2. Dans le champ Git commitish (Liste Git), conservez la valeur par défaut main .

   3. Dans la liste déroulante Fréquence, sélectionnez Personnalisée.

   4. Dans le champ Calendrier personnalisé, saisissez 0 16 * * *.

   5. Dans la liste déroulante Fuseau horaire, sélectionnez un fuseau horaire UTC+1. Par exemple, GMT.

   Tous les jours à 16h UTC+1, Dataform compile le dépôt quickstart-production et applique les paramètres de compilation configurés dans cette configuration de version pour créer des résultats de compilation production.

5. Cliquez sur Créer.

La configuration de la version production crée un résultat de compilation pour l'intégralité du dépôt quickstart-production tous les jours à 16h UTC+1.

Créer une configuration de workflow

Pour planifier l'exécution de production tables, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations du workflow, puis sur Nouvelle configuration du workflow.

4. Dans le volet Créer une configuration de workflow, saisissez production dans le champ ID de la configuration.

5. Dans le menu déroulant Configuration des versions, sélectionnez production.

6. Dans le champ Fréquence, saisissez 0 17 * * *.

7. Dans la liste déroulante Fuseau horaire, sélectionnez un fuseau horaire UTC+1. Par exemple, GMT.

   Chaque jour, à 17h UTC+1, Dataform exécute le dernier résultat de compilation production du dépôt quickstart-production.

   Pour vous assurer que Dataform exécute le dernier résultat de compilation dans la configuration de version correspondante, laissez une pause d'une heure au minimum entre la création du résultat de compilation et l'exécution planifiée.

8. Cliquez sur Toutes les actions.

   Dataform exécutera toutes les actions du workflow SQL dans le résultat de la compilation production.

9. Cliquez sur Créer.

La configuration du workflow production exécute l'intégralité du résultat de compilation le plus récent créé par la configuration de la version production tous les jours à 16h UTC+1.

Afficher les production derniers résultats de compilation

Pour afficher les résultats de la compilation planifiée production, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations des versions.

4. Cliquez sur production.

Afficher les production exécutions de workflow précédentes

Pour afficher les production exécutions précédentes de workflows, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations du workflow.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page ne soient facturées sur votre compte Google Cloud, procédez comme suit :

Supprimer l'ensemble de données créé dans BigQuery

Pour éviter que des frais ne vous soient facturés pour les éléments BigQuery, procédez comme suit afin de supprimer l'ensemble de données appelé dataform_production:

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le panneau Explorateur, développez votre projet et sélectionnez dataform_production.

3. Cliquez sur le menu Actions , puis sélectionnez Supprimer.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, saisissez delete dans la zone de texte, puis cliquez sur Supprimer.

Supprimer la configuration de la version de Dataform

La création de configurations de version Dataform n'engendre aucuns frais. Toutefois, si vous souhaitez supprimer la configuration de la version production, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations des versions.

4. À partir de la configuration de la version production, cliquez sur le menu Plus de , puis sur Supprimer.

5. Dans le pop-up Supprimer la configuration de la release, cliquez sur Supprimer.

Supprimer la configuration du workflow Dataform

Pour éviter que des frais liés aux éléments BigQuery ne vous soient facturés, procédez comme suit afin de supprimer la configuration du workflow production de Dataform:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur quickstart-production.

3. Cliquez sur Configurations du workflow.

4. À partir de la configuration du workflow production, cliquez sur le menu Plus de , puis sur Supprimer.

5. Dans le pop-up Supprimer la configuration de la release, cliquez sur Supprimer.

Supprimer le dépôt Dataform

La création de dépôts Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer un dépôt et tout son contenu, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataform.

   Accéder à Dataform

2. Par quickstart-production, cliquez sur le menu Plus , puis sélectionnez Supprimer.

3. Dans la fenêtre Supprimer le dépôt, saisissez le nom du dépôt pour confirmer la suppression.

4. Pour confirmer l'opération, cliquez sur Supprimer.

Étapes suivantes

• Pour en savoir plus sur le cycle de vie du code dans Dataform, consultez la page Présentation du cycle de vie du code dans Dataform.

• Pour en savoir plus sur les bonnes pratiques concernant le cycle de vie du code dans Dataform, consultez la page Gérer le cycle de vie du code.

• Pour en savoir plus sur les configurations de versions dans Dataform, consultez la section Créer une configuration de version.

• Pour en savoir plus sur les configurations de workflow dans Dataform, consultez la page Planifier des exécutions avec des configurations de workflow.