Planifier des exécutions à l'aide de configurations de workflow

Ce document explique comment créer une configuration de workflow dans Dataform pour planifier et configurer les exécutions de workflow SQL. Vous pouvez utiliser des configurations de workflow pour exécuter des workflows Dataform SQL selon un calendrier.

À propos des configurations de workflow

Pour planifier les exécutions Dataform de toutes les actions de workflow SQL ou de certaines actions dans BigQuery, vous pouvez créer des configurations de workflow. Dans une configuration de workflow, vous sélectionnez une configuration de version de compilation, vous sélectionnez les actions de workflow SQL à exécuter et vous définissez le calendrier d'exécution.

Ensuite, lors de l'exécution planifiée de la configuration de votre workflow, Dataform déploie votre sélection d'actions à partir du dernier résultat de compilation dans BigQuery. Vous pouvez également déclencher manuellement l'exécution d'une configuration de workflow avec les workflowConfigs de l'API Dataform.

Une configuration de workflow Dataform contient les paramètres d'exécution suivants:

  • ID de la configuration du workflow
  • Configuration de version

  • Compte de service

    Compte de service associé à la configuration du workflow. Vous pouvez sélectionner le compte de service Dataform par défaut ou un compte de service associé à votre projet Google Cloud, ou saisir manuellement un autre compte de service. Par défaut, les configurations de workflow utilisent les mêmes comptes de service que leurs dépôts.

  • Actions de workflow SQL à exécuter:

    • Toutes les actions
    • Sélection d'actions
    • Une sélection de tags

  • Calendrier d'exécution et fuseau horaire

Avant de commencer

  1. Dans la console Google Cloud, accédez à la page Dataform.

    Accéder à la page Dataform

  2. Sélectionnez ou créez un dépôt.

  3. Créez une configuration de version.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer une configuration de workflow, demandez à votre administrateur de vous attribuer le rôle IAM Éditeur Dataform (roles/dataform.editor) sur les dépôts. Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour utiliser un compte de service autre que le compte de service Dataform par défaut, accordez l'accès au compte de service personnalisé.

Créer une configuration de workflow

Pour créer une configuration de workflow Dataform, procédez comme suit:

  1. Dans votre dépôt, accédez à Versions et planification.
  2. Dans la section Configurations de workflow, cliquez sur Créer.

  3. Dans le volet Créer une configuration de workflow, saisissez un ID unique pour la configuration de workflow dans le champ ID de configuration.

    Les ID ne peuvent contenir que des chiffres, des lettres, des traits d'union et des traits de soulignement.

  4. Dans la liste déroulante Configuration de la version, sélectionnez une configuration de version de compilation.

  5. Facultatif: dans le champ Fréquence, saisissez la fréquence des exécutions au format unix-cron.

    Pour vous assurer que Dataform exécute le dernier résultat de compilation dans la configuration de version correspondante, conservez une pause d'au moins une heure entre le moment de la création du résultat de la compilation et celui de l'exécution planifiée.

  6. Dans la liste déroulante Compte de service, sélectionnez un compte de service pour la configuration du workflow.

    Dans la liste déroulante, vous pouvez sélectionner le compte de service Dataform par défaut ou tout compte de service associé à votre projet Google Cloud auquel vous avez accès. Si vous ne sélectionnez pas de compte de service, la configuration du workflow utilise le compte de service du dépôt.

  7. Facultatif: dans la liste déroulante Fuseau horaire, sélectionnez le fuseau horaire des exécutions.

    Le fuseau horaire par défaut est UTC.

  8. Sélectionnez les actions de workflow SQL à exécuter:

    1. Pour exécuter l'intégralité du workflow SQL, cliquez sur Toutes les actions.
    2. Pour exécuter les actions sélectionnées dans le workflow SQL, cliquez sur Sélection des actions, puis sélectionnez les actions.
    3. Pour exécuter des actions avec les tags sélectionnés, cliquez sur Sélection des tags, puis sélectionnez des tags.
    4. Facultatif: Pour exécuter les actions ou les balises sélectionnées et leurs dépendances, sélectionnez l'option Inclure les dépendances.
    5. Facultatif: Pour exécuter les actions ou les balises sélectionnées et leurs dépendances, sélectionnez l'option Inclure les éléments dépendants.
    6. Facultatif: Pour recréer toutes les tables à partir de zéro, sélectionnez l'option Exécuter avec une actualisation complète.

    Sans cette option, Dataform met à jour les tables incrémentielles sans les recréer entièrement.

  9. Cliquez sur Créer.



Par exemple, la configuration de workflow suivante exécute des actions avec la balise hourly toutes les heures dans le fuseau horaire CEST:

  • ID de configuration: production-hourly
  • Configuration de la version: -
  • Frequency (Fréquence) : 0 * * * *
  • Fuseau horaire: Central European Summer Time (CEST)
  • Sélection d'actions de workflow SQL: sélection de balises, balise hourly

Modifier une configuration de workflow

Pour modifier une configuration de workflow, procédez comme suit:

  1. Dans votre dépôt, accédez à Versions et planification.
  2. À côté de la configuration de workflow que vous souhaitez modifier, cliquez sur le menu Plus, puis sur Modifier.
  3. Dans le volet Edit workflow configuration (Modifier la configuration du workflow), modifiez les paramètres de configuration de la version, puis cliquez sur Save (Enregistrer).

Supprimer une configuration de workflow

Pour supprimer une configuration de workflow, procédez comme suit:

  1. Dans votre dépôt, accédez à Versions et planification.
  2. À côté de la configuration de workflow que vous souhaitez supprimer, cliquez sur le menu Plus, puis sur Supprimer.
  3. Dans la boîte de dialogue Delete release configuration (Supprimer la configuration de version), cliquez sur Delete (Supprimer).

Étapes suivantes