Planifier des exécutions avec des configurations de workflow

Ce document explique comment créer une configuration de workflow dans Dataform pour planifier et configurer les exécutions de workflow SQL. Vous pouvez utiliser des configurations de workflow pour exécuter des workflows SQL Dataform de manière planifiée.

À propos des configurations de workflow

Pour planifier les exécutions Dataform de toutes les actions de workflow SQL ou de certaines d'entre elles dans BigQuery, vous pouvez créer des configurations de workflow. Dans une configuration de workflow, vous sélectionnez une configuration de version de compilation, les actions de workflow SQL à exécuter et le calendrier d'exécution.

Ensuite, lors d'une exécution planifiée de la configuration de votre workflow, Dataform déploie votre sélection d'actions à partir du dernier résultat de compilation dans votre configuration de version dans BigQuery. Vous pouvez également déclencher manuellement l'exécution d'une configuration de workflow avec les workflowConfigs de l'API Dataform.

Une configuration de workflow Dataform contient les paramètres d'exécution suivants:

  • ID de la configuration du workflow
  • Configuration de version

  • Compte de service

    Compte de service associé à la configuration du workflow. Vous pouvez sélectionner le compte de service Dataform par défaut, un compte de service associé à votre projet Google Cloud ou saisir manuellement un autre compte de service. Par défaut, les configurations de workflow utilisent les mêmes comptes de service que leurs dépôts.

  • Actions de workflow SQL à exécuter:

    • Toutes les actions
    • Sélection d'actions
    • Sélection de tags

  • Calendrier d'exécution et fuseau horaire

Avant de commencer

  1. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à la page Dataform

  2. Sélectionnez ou créez un dépôt.

  3. Créez une configuration de version.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer une configuration de workflow, demandez à votre administrateur de vous attribuer le rôle IAM Administrateur Dataform (roles/dataform.admin) sur les dépôts. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour utiliser un compte de service autre que le compte de service Dataform par défaut, accordez l'accès au compte de service personnalisé.

Créer une configuration de workflow

Pour créer une configuration de workflow Dataform, procédez comme suit:

  1. Dans votre dépôt, accédez à Publications et planification.
  2. Dans la section Configurations de workflow, cliquez sur Créer.

  3. Dans le volet Create workflow configuration (Créer une configuration de workflow), dans le champ Configuration ID (ID de configuration), saisissez un ID unique pour la configuration de workflow.

    Les ID ne peuvent contenir que des chiffres, des lettres, des traits d'union et des traits de soulignement.

  4. Dans le menu déroulant Configuration de version, sélectionnez une configuration de version de compilation.

  5. Facultatif: dans le champ Fréquence, saisissez la fréquence d'exécution au format unix-cron.

    Pour vous assurer que Dataform exécute le dernier résultat de compilation dans la configuration de version correspondante, laissez un délai d'au moins une heure entre le moment de la création du résultat de compilation et l'heure de l'exécution planifiée.

  6. Dans le menu déroulant Service account (Compte de service), sélectionnez un compte de service pour la configuration du workflow.

    Dans le menu déroulant, vous pouvez sélectionner le compte de service Dataform par défaut ou tout compte de service associé à votre projet Google Cloud auquel vous avez accès. Si vous ne sélectionnez pas de compte de service, la configuration du workflow utilise le compte de service du dépôt.

  7. Facultatif: dans le menu déroulant Fuseau horaire, sélectionnez le fuseau horaire des exécutions.

    Le fuseau horaire par défaut est UTC.

  8. Sélectionnez les actions de workflow SQL à exécuter:

    1. Pour exécuter l'ensemble du workflow SQL, cliquez sur Toutes les actions.
    2. Pour exécuter des actions sélectionnées dans le workflow SQL, cliquez sur Sélection d'actions, puis sélectionnez les actions.
    3. Pour exécuter des actions avec des tags sélectionnés, cliquez sur Sélection de tags, puis sélectionnez des tags.
    4. Facultatif: Pour exécuter les actions ou balises sélectionnées et leurs dépendances, sélectionnez l'option Inclure les dépendances.
    5. Facultatif: Pour exécuter les actions ou tags sélectionnés et leurs dépendances, sélectionnez l'option Inclure les dépendances.
    6. Facultatif: Pour reconstruire toutes les tables à partir de zéro, sélectionnez l'option Run with full refresh (Exécuter avec actualisation complète).

    Sans cette option, Dataform met à jour les tables incrémentielles sans les reconstruire à partir de zéro.

  9. Cliquez sur Créer.



Par exemple, la configuration de workflow suivante exécute des actions avec la balise hourly toutes les heures dans le fuseau horaire CEST:

  • ID de configuration: production-hourly
  • Configuration de la version: -
  • Fréquence: 0 * * * *
  • Fuseau horaire: Central European Summer Time (CEST)
  • Sélection des actions de workflow SQL: sélection de tags, tag hourly

Modifier la configuration d'un workflow

Pour modifier la configuration d'un workflow, procédez comme suit:

  1. Dans votre dépôt, accédez à Publications et planification.
  2. À côté de la configuration de workflow que vous souhaitez modifier, cliquez sur le menu Plus, puis sur Modifier.
  3. Dans le volet Modifier la configuration du workflow, modifiez les paramètres de configuration de la version, puis cliquez sur Enregistrer.

Supprimer une configuration de workflow

Pour supprimer une configuration de workflow, procédez comme suit:

  1. Dans votre dépôt, accédez à Publications et planification.
  2. À côté de la configuration de workflow que vous souhaitez supprimer, cliquez sur le menu Plus, puis sur Supprimer.
  3. Dans la boîte de dialogue Supprimer la configuration de version, cliquez sur Supprimer.

Étape suivante