Créer une configuration de version

Ce document explique comment créer une configuration de version dans Dataform pour configurer des modèles de paramètres de compilation, que vous pouvez exécuter selon un calendrier. Vous pouvez utiliser des configurations de version pour configurer des environnements d'exécution, par exemple, les environnements de préproduction et de production.

À propos des configurations de version Dataform

Pour exécuter des workflows SQL dans BigQuery, Dataform compile le code du workflow SQL en résultat de compilation. Ce processus se produit automatiquement lorsque vous développez un workflow SQL dans un espace de travail Dataform.

Les configurations de version vous permettent de personnaliser les résultats de compilation. Vous pouvez les utiliser pour créer des environnements d'exécution, par exemple en préproduction.

Paramètres de configuration de la version

Dans une configuration de version, vous pouvez configurer des forçages de compilation des paramètres de workflow, définir des variables de compilation et définir la fréquence de création des résultats de compilation.

Une configuration de version Dataform contient les paramètres de compilation suivants:

Paramètres de publication
ID de la version, commitish Git pour les résultats de compilation et fréquence de création des résultats de compilation. La fréquence est un paramètre facultatif. Si elle est définie, la fréquence minimale est de 1 heure.
Remplacements de compilation
Remplacements du projet Google Cloud, du préfixe de table, du suffixe de schéma et des variables de compilation définis dans les paramètres de workflow.

Fonctionnement d'une configuration de version

Dataform crée des résultats de compilation à partir d'une configuration de version à la fréquence spécifiée ou lorsque vous déclenchez la compilation. La fréquence est un paramètre facultatif et n'est pas nécessaire pour créer une configuration de publication. Si elle est définie, la fréquence minimale est de 1 heure. Vous pouvez déclencher manuellement la compilation sur la page Détails de la configuration de la version ou déclencher la compilation avec l'API Dataform releaseConfigs.

Lors de la compilation, Dataform extrait le code du commit Git spécifié de votre dépôt. Ensuite, Dataform compile le code avec les forçages de compilation appliqués (le cas échéant) et crée le résultat de compilation. Le dernier résultat de compilation créé pour la configuration de la version est le résultat de la compilation en direct.

Vous pouvez planifier l'exécution des résultats de compilation à partir des configurations de version dans les configurations de workflow. Vous pouvez également exécuter une configuration de version sélectionnée en dehors de toute planification. Lors de l'exécution d'une configuration de workflow, Dataform exécute le résultat de compilation en direct à partir de la configuration de version sélectionnée.

Avant de commencer

  1. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à la page Dataform

  2. Sélectionnez ou créez un dépôt.

  3. Facultatif: Pour remplacer le projet Google Cloud par défaut dans la configuration de la version, accordez à votre compte de service Dataform l'accès au projet Google Cloud que vous prévoyez d'utiliser.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer une configuration de version, demandez à votre administrateur de vous accorder le rôle IAM Éditeur Dataform (roles/dataform.editor) sur les dépôts. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une configuration de version

Pour créer une configuration de version Dataform, procédez comme suit:

  1. Dans votre dépôt, accédez à Publications et planification.
  2. Dans la section Configurations de version, cliquez sur Créer.

  3. Dans le volet Créer une configuration de version, configurez les paramètres de version.

    1. Dans le champ ID de version, saisissez un identifiant unique pour la configuration de la version.

      Les ID ne peuvent contenir que des chiffres, des lettres, des traits d'union et des traits de soulignement.

    2. Dans le champ Commitish Git, saisissez la branche Git ou l'ID de commit Git pour la version.

    Dans un dépôt Dataform non connecté à un dépôt distant, la valeur est toujours main.

    1. Facultatif: dans le menu déroulant Fréquence, sélectionnez la fréquence de création des résultats de compilation.

      Si elle est définie, la fréquence minimale est de 1 heure.

  4. (Facultatif) Dans la section Forcer la compilation, configurez les paramètres de compilation.

    1. Dans le champ ID du projet Google Cloud, saisissez l'ID du projet Google Clouddans lequel vous souhaitez stocker le résultat de la compilation.
    2. Dans le champ Suffixe du schéma, saisissez un suffixe à ajouter au schéma configuré dans les paramètres de workflow.
    3. Dans le champ Préfixe de table, saisissez un préfixe pour tous les noms de table.

  5. Facultatif: dans la section Variables de compilation, définissez les variables de compilation.

    1. Cliquez sur Ajouter une variable.
    2. Dans le champ Clé, saisissez la variable de compilation.
    3. Dans le champ Valeur, saisissez la valeur de la variable de compilation.
    4. Pour ajouter une autre variable de compilation, cliquez sur Ajouter une variable.

  6. Cliquez sur Créer.

Si vous remplacez le projet Google Cloud par défaut, assurez-vous que votre compte de service Dataform a accès au projet Google Cloud défini dans la configuration de la version.



Par exemple, la configuration de version suivante crée un résultat de compilation production à partir de la branche main toutes les heures, sans aucun forçage de compilation:

  • ID de version: production
  • Git commitish: main
  • Fréquence: toutes les heures
  • Aucun remplacement de compilation

Afficher les détails d'une configuration de version

Vous pouvez afficher les détails suivants d'une configuration de version:

  • Paramètres de publication
    • Commitish Git
    • Code temporel du dernier résultat de compilation
    • Planification Cron
    • Remplacements de compilation
    • Variables de compilation
  • Résultat de la compilation en direct
    • Code temporel de création
    • Commitish Git
    • SHA du commit
  • Résultats de compilation précédents

Pour afficher les détails d'une configuration de version, procédez comme suit:

  1. Dans votre dépôt, accédez à Publications et planification.
  2. Sélectionnez une configuration de version.
  3. Sur la page Détails de la configuration de la version, inspectez les détails de la configuration de la version.

Le tableau Résultats de la compilation programmée affiche les résultats de compilation précédents créés automatiquement par la configuration de la version.

Le tableau Résultats de compilation manuelle/par API affiche les résultats de compilation créés manuellement ou via des appels à l'API Dataform parmi les 1 000 derniers résultats de compilation du dépôt.

Déclencher manuellement la compilation

Pour créer manuellement un résultat de compilation à partir d'une configuration de version sélectionnée, procédez comme suit:

  1. Dans votre dépôt, accédez à Publications et planification.
  2. Sélectionnez une configuration de version.
  3. Sur la page Détails de la configuration de la version, cliquez sur Nouvelle compilation.

Le résultat de compilation nouvellement créé devient le résultat en direct pour cette configuration de version.

Les résultats de compilation manuelle sont affichés dans le tableau Résultats de compilation manuelle/par API sur la page Détails de la configuration de la version.

Déclencher l'exécution d'une configuration de version

Pour déclencher l'exécution du résultat de la compilation en direct dans une configuration de version sélectionnée dans BigQuery, procédez comme suit:

  1. Dans votre dépôt, accédez à Publications et planification.
  2. Dans la section Configurations de version, cliquez sur Démarrer l'exécution.
  3. Dans le volet Execute manual workflow (Exécuter le workflow manuel), dans le menu déroulant Release configuration (Configuration de version), sélectionnez une configuration de version.
  4. Sélectionnez les actions de workflow SQL à exécuter :
    1. Pour exécuter l'ensemble du workflow SQL, cliquez sur Toutes les actions.
    2. Pour exécuter des actions sélectionnées dans le workflow SQL, cliquez sur Sélection d'actions, puis sélectionnez les actions.
    3. Pour exécuter des actions avec des tags sélectionnés, cliquez sur Sélection de tags, puis sélectionnez des tags.
  5. Facultatif: Pour exécuter les actions ou balises sélectionnées et leurs dépendances, sélectionnez l'option Inclure les dépendances.
  6. Facultatif: Pour exécuter les actions ou tags sélectionnés et leurs dépendances, sélectionnez l'option Inclure les dépendances.

  7. Facultatif: Pour reconstruire toutes les tables à partir de zéro, sélectionnez l'option Run with full refresh (Exécuter avec actualisation complète).

    Sans cette option, Dataform met à jour les tables incrémentielles sans les reconstruire à partir de zéro.

  8. Cliquez sur Démarrer l'exécution.

Modifier une configuration de version

Pour modifier une configuration de version, procédez comme suit:

  1. Dans votre dépôt, accédez à Publications et planification.
  2. À côté de la configuration de version que vous souhaitez modifier, cliquez sur le menu Plus, puis sur Modifier.
  3. Dans le volet Modifier la configuration de version, modifiez les paramètres de la configuration de version, puis cliquez sur Enregistrer.

Supprimer une configuration de version

Pour supprimer une configuration de version, procédez comme suit:

  1. Dans votre dépôt, accédez à Publications et planification.
  2. À côté de la configuration de version que vous souhaitez supprimer, cliquez sur le menu Plus, puis sur Supprimer.
  3. Dans la boîte de dialogue Supprimer la configuration de version, cliquez sur Supprimer.

Étape suivante