Ce document explique comment créer une configuration de version dans Dataform pour configurer des modèles de paramètres de compilation que vous pouvez exécuter selon un calendrier. Vous pouvez utiliser des configurations de version pour configurer des environnements d'exécution tels que la préproduction et la production.
À propos des configurations de version de Dataform
Pour exécuter des workflows SQL dans BigQuery, Dataform compile du code SQL code du workflow en un résultat de compilation. Ce processus est automatique lorsque vous développez un workflow SQL dans un espace de travail Dataform.
Les configurations de version vous permettent de personnaliser les résultats de la compilation. Vous pouvez les utiliser pour créer des environnements d'exécution (de préproduction, par exemple).
Paramètres de configuration des versions
Dans une configuration de version, vous pouvez configurer des remplacements de compilation paramètres du workflow, définir les variables de compilation et la fréquence de la création des résultats de compilation.
Une configuration de version Dataform contient les éléments suivants : Paramètres de compilation:
- Paramètres des versions
- ID de la version : git commitish pour les résultats de la compilation. et la fréquence de création des résultats de compilation. La fréquence est un paramètre facultatif. Si elle est définie, la fréquence minimale est d'une heure.
- Remplacements de compilation
- Les remplacements de Google Cloud projet, préfixe de table, suffixe de schéma et variables de compilation définis dans les paramètres du workflow.
Fonctionnement d'une configuration de version
Dataform crée des résultats de compilation à partir d'une configuration de version à l'adresse
à la fréquence spécifiée ou au moment
où vous déclenchez une compilation.
La fréquence est un paramètre facultatif qui n'est pas obligatoire pour
créer une configuration de version. Si cette règle est définie, la fréquence minimale est d'une heure.
Vous pouvez
déclenchez manuellement la compilation sur la page Détails de la configuration de version,
ou déclencher une compilation avec l'API Dataform releaseConfigs.
Lors de la compilation, Dataform extrait le code de l'instance Commitish Git de votre dépôt. Ensuite, Dataform compile le code avec les remplacements de compilation appliqués. (le cas échéant) et crée le résultat de la compilation. Résultat de la dernière compilation créée pour l'album configuration est le résultat de la compilation en direct.
Vous pouvez planifier des exécutions de résultats de compilation à partir de configurations de version dans les configurations de workflow. Vous pouvez également exécuter une configuration de version sélectionnée en dehors d'une programmation. Lors de l'exécution d'une configuration de workflow, Dataform exécute le résultat de la compilation en direct à partir de la configuration de version sélectionnée.
Avant de commencer
Dans la console Google Cloud, accédez à la page Dataform page.
Sélectionnez ou créez un dépôt.
Facultatif: Pour remplacer le projet Google Cloud par défaut dans le la configuration des versions, accorder l'accès à votre compte de service Dataform au projet Google Cloud que vous prévoyez d'utiliser.
Rôles requis
Pour obtenir les autorisations dont vous avez besoin
pour créer une configuration de version,
demandez à votre administrateur de vous accorder le
Rôle IAM Éditeur Dataform (roles/dataform.editor) sur les dépôts.
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Créer une configuration de version
Pour créer une configuration de version Dataform, procédez comme suit:
- Dans votre dépôt, accédez à Versions et Planification.
- Dans la section Configurations de version, cliquez sur Créer.
Dans le volet Créer une configuration de version, configurez les paramètres de version.
Dans le champ ID de version, saisissez un ID unique pour la configuration de version.
Les ID ne peuvent contenir que des chiffres, des lettres, des traits d'union et des traits de soulignement.
Dans le champ Git commitish, saisissez la branche ou le commit Git. SHA pour la version.
Dans un dépôt Dataform non connecté à un dépôt distant, la valeur est toujours
main.(Facultatif) Dans le menu déroulant Fréquence, sélectionnez l'option la fréquence de création des résultats de compilation.
Si cette règle est définie, la fréquence minimale est d'une heure.
(Facultatif) Dans la section Remplacements de compilation, configurez les paramètres de compilation.
- Dans le champ ID du projet Google Cloud, saisissez l'ID du projet dans lequel vous souhaitez stocker le résultat de la compilation.
- Dans le champ Schema suffix (Suffixe de schéma), saisissez un suffixe à ajouter au configuré dans les paramètres du workflow.
- Dans le champ Préfixe de table, saisissez un préfixe pour tous les noms de tables.
(Facultatif) Dans la section Variables de compilation, définissez des variables de compilation.
- Cliquez sur Ajouter une variable.
- Dans le champ Key (Clé), saisissez la variable de compilation.
- Dans le champ Valeur, saisissez la valeur de la variable de compilation.
- Pour ajouter une autre variable de compilation, cliquez sur Ajouter une variable.
Cliquez sur Créer.
Si vous remplacez le projet Google Cloud par défaut, assurez-vous votre compte de service Dataform a accès au projet Google Cloud défini dans la configuration de version.
Par exemple, la configuration de version suivante crée un production
de compilation de la branche main toutes les heures
sans remplacement de compilation:
- ID de version:
production - Git commitish:
main - Frequency (Fréquence) : toutes les heures
- aucun remplacement de compilation
Afficher les détails d'une configuration de version
Vous pouvez afficher les détails suivants d'une configuration de version:
- Paramètres des versions
- Commitish Git
- Code temporel du dernier résultat de la compilation
- Planification Cron
- Remplacements de compilation
- Variables de compilation
- Résultat de la compilation en direct
- Horodatage de création
- Commitish Git
- SHA du commit
- Résultats de la compilation précédente
Pour afficher les détails d'une configuration de version, procédez comme suit:
- Dans votre dépôt, accédez à Versions et Planification.
- Sélectionnez une configuration de version.
- Sur la page Détails de la configuration des versions, inspectez les détails de la configuration de version.
Le tableau Résultats de la compilation programmée affiche les résultats de compilation antérieurs créés automatiquement par la configuration de version.
Le tableau Résultats de la compilation manuelle/API affiche les résultats de la compilation manuellement ou via des appels à l'API Dataform à partir des dernières 1 000 résultats de compilation dans le dépôt.
Déclencher manuellement la compilation
Pour créer manuellement un résultat de compilation à partir d'une configuration de version sélectionnée, procédez comme suit : procédez comme suit:
- Dans votre dépôt, accédez à Versions et Planification.
- Sélectionnez une configuration de version.
- Sur la page Informations sur la configuration des versions, cliquez sur Nouvelle compilation.
Le résultat de la compilation nouvellement créé devient le résultat en direct pour cette configuration de version.
Les résultats de la compilation manuelle sont affichés dans tableau Résultats de la compilation manuelle/API sur le Page Détails de la configuration des versions.
Déclencher l'exécution d'une configuration de version
Pour déclencher l'exécution de la compilation en direct, un élément sélectionné de publication vers BigQuery, procédez comme suit:
- Dans votre dépôt, accédez à Versions et Planification.
- Dans la section Configurations de version, cliquez sur Démarrer l'exécution.
- Dans la section Configuration de la version du volet Exécuter le workflow manuel, sélectionnez une configuration de version.
- Sélectionnez les actions de workflow SQL à exécuter:
- Pour exécuter l'intégralité du workflow SQL, cliquez sur Toutes les actions.
- Pour exécuter les actions sélectionnées dans le workflow SQL, cliquez sur Sélection d'actions, puis sélectionnez des actions.
- Pour exécuter des actions avec les balises sélectionnées, cliquez sur Sélection des tags, puis sélectionnez des tags.
- Facultatif : Pour exécuter des actions ou des balises sélectionnées et leurs dépendances, procédez comme suit : sélectionnez l'option Inclure les dépendances.
- Facultatif: Pour exécuter des actions ou des balises sélectionnées et leurs dépendances, sélectionnez l'option Inclure les dépendants.
Facultatif: Pour recréer toutes les tables à partir de zéro, sélectionnez le l'option Run with full refresh (Exécuter avec l'actualisation complète).
Sans cette option, Dataform met à jour les tables incrémentielles les reconstruire à partir de zéro.
Cliquez sur Démarrer l'exécution.
Modifier une configuration de version
Pour modifier une configuration de version, procédez comme suit:
- Dans votre dépôt, accédez à Versions et Planification.
- À côté de la configuration de version que vous souhaitez modifier, cliquez sur le dans le menu Plus, puis sur Modifier.
- Dans le volet Modifier la configuration des versions, modifiez la configuration des versions. paramètres, puis cliquez sur Enregistrer.
Supprimer une configuration de version
Pour supprimer une configuration de version, procédez comme suit:
- Dans votre dépôt, accédez à Versions et Planification.
- À côté de la configuration de version que vous souhaitez supprimer, cliquez sur le dans le menu Plus, puis sur Supprimer.
- Dans la boîte de dialogue Supprimer la configuration de version, cliquez sur Supprimer.
Étape suivante
- Pour savoir comment créer des configurations de workflow Dataform, consultez Planifiez des exécutions avec des configurations de workflow.
- Pour en savoir plus sur Dataform sur le cycle de vie du code, consultez Présentation du cycle de vie du code dans Dataform