Ce document décrit le cycle de vie du code dans Dataform et explique comment configurer la compilation et l'exécution dans Dataform.
À propos du cycle de vie du code dans Dataform
Le cycle de vie du code Dataform comprend les phases suivantes:
- Développement
- Vous développez un workflow SQL dans un Espace de travail Dataform.
- Compilation
Dataform compile le code du workflow SQL de votre espace de travail en SQL dans en temps réel, créant ainsi un résultat de compilation de l'espace de travail que vous pouvez exécuter dans BigQuery. Dataform utilise des paramètres que vous définis dans votre fichier de paramètres de workflow pour créer le résultat de la compilation.
La compilation Dataform est hermétique pour garantir sa cohérence. ce qui signifie que le même code est compilé pour obtenir le même résultat de compilation SQL. à chaque fois. Dataform compile votre code dans un bac à sable sans accès à Internet. Aucune action supplémentaire, comme appeler API externes, sont disponibles pendant la compilation.
- Exécution
Dans un appel de workflow, Dataform exécute le résultat de la compilation de l'espace de travail dans BigQuery.
Pour adapter le cycle de vie du code Dataform à vos besoins, vous pouvez configurer le résultat de la compilation pour influencer où et comment Dataform exécute votre workflow SQL. Vous pouvez ensuite déclencher ou planifier manuellement des exécutions d'influencer le moment où Dataform exécute l'intégralité de votre workflow SQL ou les éléments sélectionnés.
Méthodes de configuration de la compilation Dataform
Par défaut, Dataform utilise les paramètres du fichier de paramètres de workflow pour créer des résultats de compilation. Vous pouvez ignorer les paramètres par défaut avec des remplacements de compilation pour créer des résultats de compilation personnalisés. Vous pouvez ensuite déclencher manuellement l'exécution d'un résultat de compilation personnalisé ou planifier des exécutions.
Dataform propose les options de configuration suivantes : résultats de la compilation:
- Remplacements de compilation d'espace de travail
- Vous pouvez configurer des remplacements de compilation qui s'appliquent à tous les espaces de travail d'une un dépôt de clés. Vous pouvez utiliser des remplacements de compilation d'espace de travail pour créer des éléments isolés environnements de développement Google Cloud.
- Configurations de version
- Vous pouvez créer des configurations de version pour configurer des modèles de création de compilation d'un dépôt Dataform. Vous pouvez ensuite créer Configuration du workflow permettant de planifier les exécutions des résultats de compilation créés dans une configuration de version sélectionnée.
- Remplacements de compilation de l'API Dataform
- Vous pouvez transmettre des requêtes de l'API Dataform au terminal pour créer et exécuter un seul résultat de compilation avec remplacements de compilation.
Configurer des remplacements de compilation d'espace de travail
Avec les remplacements de compilation d'espace de travail, vous pouvez créer des remplacements de compilation pour tous les espaces de travail dans un Dataform un dépôt de clés. Vous pouvez créer une configuration de remplacements de compilation d'espace de travail par dépôt.
Lorsque vous déclenchez manuellement l'exécution dans un espace de travail au sein d'une avec des remplacements de compilation d'espace de travail, Dataform s'applique au résultat de la compilation de l'espace de travail.
Vous pouvez configurer les remplacements de compilation d'espace de travail suivants:
- Projet Google Cloud dans lequel Dataform exécute le contenu du espace de travail
- Préfixe de la table
- Suffixe du schéma
Vous pouvez utiliser des remplacements de compilation d'espace de travail pour créer un développement isolé
en isolant les résultats de la compilation d'espace de travail dans BigQuery
avec des remplacements de compilation dynamique. Préfixe de table dynamique
et les remplacements de compilation de suffixe de schéma contiennent la variable ${workspaceName}
.
Lorsque vous déclenchez l'exécution dans un espace de travail, Dataform remplace
La variable ${workspaceName}
correspond au nom de l'espace de travail actuel, ce qui crée
de compilation propres à l'espace de travail.
N'oubliez pas que vous ne pouvez pas programmer des exécutions de résultats de compilation créé avec des remplacements de compilation d'espace de travail.
Créer des configurations de version
Avec les configurations de version, vous pouvez configurer des modèles de paramètres pour créer de compilation des dépôts.
Dans une configuration de version, vous pouvez configurer des remplacements de compilation paramètres de workflow, variables de compilation et la fréquence de création de compilation de tout votre dépôt.
Dans une configuration de version, vous pouvez configurer les éléments suivants : remplacements de compilation:
- Projet Google Cloud
- Préfixe de la table
- Suffixe du schéma
- Valeur d'une variable de compilation
Vous pouvez créer plusieurs configurations de version dans un Dataform un pour chaque étape du cycle de développement, ce qui crée de compilation de dépôts.
Vous pouvez ensuite créer des configurations de workflow pour planifier des exécutions. de résultats de compilation créés dans une configuration de version sélectionnée.
Vous pouvez également déclencher manuellement l'exécution d'un résultat de compilation dans une configuration de version sélectionnée.
Configurer un seul résultat de compilation avec les remplacements de compilation de l'API Dataform
En transmettant les requêtes API Dataform dans le terminal, vous pouvez configurer la compilation pour un seul résultat de compilation.
Dans la requête compilationResults.create
, vous pouvez créer un seul résultat de compilation d'un Dataform.
un espace de travail spécifique ou une commande Git spécifiée.
Dans l'objet CodeCompilationConfig
de
compilationResults.create
, vous pouvez configurer des remplacements de compilation
pour la requête de compilation.
Vous pouvez configurer les remplacements de compilation suivants de l'API Dataform:
- Projet Google Cloud
- Préfixe de la table
- Suffixe du schéma
- Valeur d'une variable de compilation
N'oubliez pas que les remplacements de compilation de l'API Dataform s'appliquent à un seul de compilation et une seule exécution. Vous ne pouvez pas les utiliser pour planifier Exécutions Dataform.
Vous pouvez exécuter un résultat de compilation dans le
workflowInvocations.create
requête.
Méthodes de configuration de l'exécution de Dataform
Dataform propose les options de configuration de l'exécution suivantes:
- Exécution manuelle dans un espace de travail
- Vous pouvez déclencher manuellement l'exécution instantanée d'un workflow SQL dans un espace de travail Dataform, en dehors de toute planification. Vous pouvez exécuter les actions sélectionnées dans le workflow SQL.
- Configurations de workflow
- Vous pouvez planifier l'exécution des résultats de compilation créés dans un configuration de version. Vous pouvez sélectionner les actions de workflow SQL à exécuter. définir la fréquence et le fuseau horaire des exécutions
Déclencher une exécution instantanée dans un espace de travail
Dans un espace de travail Dataform, vous pouvez exécuter manuellement du workflow SQL dans votre espace de travail, en dehors d'une planification.
Vous pouvez exécuter manuellement les éléments suivants du workflow SQL dans votre Workspace:
Si votre dépôt contient des remplacements de compilation d'espace de travail, vous pouvez voir quels éléments les remplacements de compilation Dataform s'appliqueront à l'espace de travail résultat de la compilation.
Créer des configurations de workflow
Avec les configurations de workflow, vous pouvez planifier des exécutions de résultats de compilation à partir d'une configuration de la version. Vous pouvez créer plusieurs configurations de workflow dans un dépôt Dataform.
Dans une configuration de workflow, vous pouvez configurer les paramètres d'exécution suivants:
- Configuration de version de compilation appliquée
- Sélection des actions de workflow SQL à exécuter
- Planification et fuseau horaire des exécutions
Vous pouvez sélectionner les actions de workflow SQL suivantes:
- Toutes les actions
- Actions sélectionnées
- Actions avec les balises sélectionnées
Ensuite, lors d'une exécution planifiée de la configuration de votre workflow, Dataform déploie votre sélection d'actions à partir de l'API le résultat de la compilation dans BigQuery.
Les configurations de version et de workflow Dataform vous permettent configurer la compilation et planifier des exécutions dans Dataform ; sans avoir besoin de services supplémentaires.
Expiration des ressources du cycle de vie
Dataform stocke les résultats de compilation et les appels de workflow pour une période spécifique.
Expiration des appels de workflow
Appels de workflow expirent au bout de 90 jours ou lorsque vous les supprimez manuellement.
Dans une configuration de workflow, vous pouvez afficher la liste des appels de workflow les plus récents créés par la configuration. Lorsqu'un appel de workflow créé par un workflow expire, Dataform supprime cet appel de workflow dans la liste des appels récents.
Expiration des résultats de compilation
Expiration des résultats de compilation dépend de la façon dont ils sont créés: dans un espace de travail de développement, dans une configuration de version ou par un appel de workflow.
Lorsque vous développez un workflow SQL dans un espace de travail Dataform, Dataform compile votre code et génère un résultat de compilation en temps réel pour valider les requêtes. Les résultats de compilation créés de cette façon expirent après 24 heures.
Dans une configuration de version, le dernier résultat de la compilation est mis en ligne. résultat de la compilation. Un nouveau résultat de compilation remplace la version en direct actuelle résultat de la compilation. Dataform conserve le résultat de la compilation en direct jusqu'à ce qu'il soit remplacé par un nouveau résultat de compilation. Un résultat de compilation remplacé expire sous 24 heures.
Dataform supprime les résultats de compilation expirés de la liste des les résultats de compilation antérieurs sur la page Détails d'une configuration de version.
Dataform conserve les résultats de compilation créés par les appels de workflow pendant toute la durée de vie de l'appel du workflow, jusqu'à 24 heures après le processus expire ou est supprimée.
Étape suivante
- Pour en savoir plus sur les bonnes pratiques concernant le cycle de vie du code dans Dataform, consultez Gérer le cycle de vie du code
- Pour savoir comment configurer les remplacements de compilation d'espace de travail Dataform, consultez Créer des remplacements de compilation d'espace de travail.
- Pour apprendre à configurer un seul résultat de compilation avec Remplacements de compilation de l'API Dataform (consultez Configurez des remplacements de compilation avec l'API Dataform.
- Pour savoir comment créer des configurations de version Dataform, consultez Créez une configuration de version.
- Pour savoir comment déclencher manuellement l'exécution dans un espace de travail, consultez Déclencher l'exécution.
- Pour savoir comment créer des configurations de workflow, consultez Planifiez des exécutions avec des configurations de workflow.