Ce document explique comment créer une configuration de version dans Dataform pour configurer des modèles de paramètres de compilation que vous pouvez exécuter de façon planifiée. Vous pouvez utiliser des configurations de version pour configurer des environnements d'exécution, tels que la préproduction et la production.
À propos des configurations de version de Dataform
Pour exécuter des workflows SQL dans BigQuery, Dataform compile le code de ce workflow dans un résultat de compilation. Ce processus est automatique lorsque vous développez un workflow SQL dans un espace de travail Dataform.
Les configurations de version vous permettent de personnaliser les résultats de la compilation. Vous pouvez les utiliser pour créer des environnements d'exécution (par exemple, de préproduction).
Paramètres de configuration des versions
Dans une configuration de version, vous pouvez configurer des remplacements de compilation des paramètres de workflow, définir des variables de compilation et définir la fréquence de création des résultats de compilation.
Une configuration de version Dataform contient les paramètres de compilation suivants:
- Paramètres des versions
- ID de la version, commitish git pour les résultats de la compilation et fréquence de création des résultats de compilation. La fréquence est un paramètre facultatif. Si elle est définie, la fréquence minimale est d'une heure.
- Remplacements de compilation
- Remplacements du projet Google Cloud, du préfixe de table, du suffixe de schéma et des variables de compilation définis dans les paramètres de workflow.
Fonctionnement d'une configuration de version
Dataform crée des résultats de compilation à partir d'une configuration de version à la fréquence spécifiée ou lorsque vous déclenchez une compilation.
La fréquence est un paramètre facultatif et n'est pas obligatoire pour créer une configuration de version. Si cette règle est définie, la fréquence minimale est d'une heure.
Vous pouvez déclencher manuellement la compilation sur la page Détails de la configuration des versions ou déclencher la compilation avec l'API Dataform releaseConfigs.
Lors de la compilation, Dataform extrait le code du commitish Git spécifié de votre dépôt. Dataform compile ensuite le code avec les remplacements de compilation appliqués (le cas échéant) et crée le résultat de la compilation. Le dernier résultat de compilation créé pour la configuration de version est le résultat de la compilation en direct.
Vous pouvez planifier des exécutions des résultats de compilation à partir de configurations de version dans les configurations de workflow. Vous pouvez également exécuter une configuration de version sélectionnée en dehors de n'importe quelle planification. Lors de l'exécution d'une configuration de workflow, Dataform exécute le résultat de la compilation en direct à partir de la configuration de version sélectionnée.
Avant de commencer
Dans la console Google Cloud, accédez à la page Dataform page.
Sélectionnez ou créez un dépôt.
Facultatif: Pour remplacer le projet Google Cloud par défaut dans la configuration de la version, accordez l'accès à votre compte de service Dataform au projet Google Cloud que vous prévoyez d'utiliser.
Rôles requis
Pour obtenir les autorisations nécessaires à la création d'une configuration de version, demandez à votre administrateur de vous attribuer le rôle IAM Éditeur Dataform (roles/dataform.editor) sur les dépôts.
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Créer une configuration de version
Pour créer une configuration de version Dataform, procédez comme suit:
- Dans votre dépôt, accédez à Versions et programmation.
- Dans la section Configurations de version, cliquez sur Créer.
Dans le volet Créer une configuration de version, configurez les paramètres de version.
Dans le champ ID de version, saisissez un ID unique pour la configuration de version.
Les ID ne peuvent contenir que des chiffres, des lettres, des traits d'union et des traits de soulignement.
Dans le champ Git commitish, saisissez la branche Git ou l'SHA du commit Git de la version.
Dans un dépôt Dataform non connecté à un dépôt distant, la valeur est toujours
main.Facultatif: Dans la liste déroulante Frequency (Fréquence), sélectionnez la fréquence de création des résultats de compilation.
Si cette règle est définie, la fréquence minimale est d'une heure.
(Facultatif) Dans la section Remplacements de compilation, configurez les paramètres de compilation.
- Dans le champ ID du projet Google Cloud, saisissez l'ID du projet Google Cloud dans lequel vous souhaitez stocker le résultat de la compilation.
- Dans le champ Schema Suffix (Suffixe du schéma), saisissez un suffixe à ajouter au schéma configuré dans les paramètres de workflow.
- Dans le champ Préfixe de table, saisissez un préfixe pour tous les noms de tables.
(Facultatif) Dans la section Variables de compilation, définissez des variables de compilation.
- Cliquez sur Ajouter une variable.
- Dans le champ Key (Clé), saisissez la variable de compilation.
- Dans le champ Valeur, saisissez la valeur de la variable de compilation.
- Pour ajouter une autre variable de compilation, cliquez sur Ajouter une variable.
Cliquez sur Créer.
Si vous remplacez le projet Google Cloud par défaut, assurez-vous que votre compte de service Dataform a accès au projet Google Cloud défini dans la configuration de version.
Par exemple, la configuration de version suivante crée un résultat de compilation production à partir de la branche main toutes les heures, sans remplacement de compilation:
- ID de version:
production - Git commitish:
main - Frequency (Fréquence) : toutes les heures
- aucun remplacement de compilation
Afficher les détails d'une configuration de version
Vous pouvez afficher les détails suivants d'une configuration de version:
- Paramètres des versions
- Commitish Git
- Code temporel du dernier résultat de la compilation
- Planification Cron
- Remplacements de compilation
- Variables de compilation
- Résultat de la compilation en direct
- Date et heure de création
- Commitish Git
- SHA du commit
- Résultats de la compilation précédente
Pour afficher les détails d'une configuration de version, procédez comme suit:
- Dans votre dépôt, accédez à Versions et programmation.
- Sélectionnez une configuration de version.
- Sur la page Détails sur la configuration des versions, examinez les détails de la configuration des versions.
La table Résultats de la compilation programmée affiche les résultats de compilation antérieurs créés automatiquement par la configuration de version.
Le tableau Résultats de la compilation manuelle/API affiche les résultats de compilation créés manuellement ou via des appels à l'API Dataform à partir des 1 000 derniers résultats de complication dans le dépôt.
Déclencher manuellement la compilation
Pour créer manuellement un résultat de compilation à partir d'une configuration de version sélectionnée, procédez comme suit:
- Dans votre dépôt, accédez à Versions et programmation.
- Sélectionnez une configuration de version.
- Sur la page Informations sur la configuration des versions, cliquez sur Nouvelle compilation.
Le résultat de la compilation nouvellement créé devient le résultat réel de cette configuration de version.
Les résultats de la compilation manuelle sont affichés dans le tableau Résultats de la compilation manuelle/API de la page Détails de la configuration des versions.
Déclencher l'exécution d'une configuration de version
Pour déclencher l'exécution de la compilation à chaud dans la configuration d'une version sélectionnée dans BigQuery, procédez comme suit:
- Dans votre dépôt, accédez à Versions et programmation.
- Dans la section Configurations de version, cliquez sur Démarrer l'exécution.
- Dans le volet Exécuter le workflow manuel, dans le menu déroulant Configuration de la version, sélectionnez une configuration de version.
- Sélectionnez les actions de workflow SQL à exécuter :
- Pour exécuter l'intégralité du workflow SQL, cliquez sur Toutes les actions.
- Pour exécuter les actions sélectionnées dans le workflow SQL, cliquez sur Sélection d'actions, puis sélectionnez les actions.
- Pour exécuter des actions avec les balises sélectionnées, cliquez sur Sélection de balises, puis sélectionnez des balises.
- Facultatif: Pour exécuter les actions ou les balises sélectionnées et leurs dépendances, sélectionnez l'option Inclure les dépendances.
- Facultatif: Pour exécuter les actions ou les balises sélectionnées et leurs dépendances, sélectionnez l'option Inclure les éléments dépendants.
Facultatif: Pour recompiler toutes les tables à partir de zéro, sélectionnez l'option Exécuter avec actualisation complète.
Sans cette option, Dataform met à jour les tables incrémentielles sans les recréer entièrement.
Cliquez sur Démarrer l'exécution.
Modifier une configuration de version
Pour modifier une configuration de version, procédez comme suit:
- Dans votre dépôt, accédez à Versions et programmation.
- À côté de la configuration de version que vous souhaitez modifier, cliquez sur le menu Plus , puis sur Modifier.
- Dans le volet Modifier la configuration des versions, modifiez les paramètres de configuration des versions, puis cliquez sur Enregistrer.
Supprimer une configuration de version
Pour supprimer une configuration de version, procédez comme suit:
- Dans votre dépôt, accédez à Versions et programmation.
- À côté de la configuration de version que vous souhaitez supprimer, cliquez sur le menu Plus, puis sur Supprimer.
- Dans la boîte de dialogue Supprimer la configuration de version, cliquez sur Supprimer.
Étapes suivantes
- Pour savoir comment créer des configurations de workflow Dataform, consultez la section Planifier des exécutions avec des configurations de workflow.
- Pour en savoir plus sur le cycle de vie du code dans Dataform, consultez Introduction au cycle de vie du code dans Dataform.