Ce document vous aide à comprendre le concept de dépôt dans Dataform.
Chaque dépôt Dataform héberge un ensemble de fichiers SQLX et JavaScript qui constituent votre workflow SQL, ainsi que des fichiers de configuration et des packages Dataform. Vous interagissez avec le contenu de votre dépôt dans un espace de travail de développement.
Dataform affiche vos dépôts sur la page Dataform dans l'ordre alphabétique des ID de dépôt. Vous pouvez les trier et les filtrer.
Chaque dépôt Dataform est connecté à un compte de service. Vous pouvez sélectionner un compte de service lorsque vous créez un dépôt ou modifier le compte de service ultérieurement.
Par défaut, Dataform utilise un compte de service dérivé de votre numéro de projet au format suivant:
service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com
Dataform utilise Git pour enregistrer les modifications et gérer les versions des fichiers. Chaque dépôt Dataform correspond à un dépôt Git. Après avoir créé un dépôt Dataform, vous pouvez le connecter à un dépôt GitHub, GitLab ou Bitbucket distant.
Dans un dépôt Dataform, Dataform stocke le code du dépôt. Dans un dépôt connecté, le dépôt tiers stocke le code du dépôt. Dataform interagit avec le dépôt tiers pour vous permettre de modifier et d'exécuter son contenu dans un espace de travail de développement Dataform.
Une page du dépôt Dataform comprend les composants suivants:
- Onglet "Espaces de travail de développement"
- Affiche les espaces de travail de développement créés dans le dépôt.
- Onglet "Configurations de version"
- Permet d'inspecter, de créer, de modifier et de supprimer des versions.
- Onglet des journaux d'exécution de workflow
- Affiche les journaux d'exécution du workflow Dataform.
- Onglet des configurations de workflow
- Permet d'inspecter, de créer, de modifier et de supprimer des configurations de workflow.
- Onglet "Paramètres"
- Affiche le nom et l'emplacement du dépôt. Affiche la source du dépôt tiers, le nom de la branche par défaut et le jeton secret pour un dépôt connecté à un dépôt Git tiers. Affiche les boutons permettant de connecter le dépôt à un dépôt Git tiers et de modifier la connexion Git.
- Bouton "Créer un espace de travail de développement"
- Permet de créer un espace de travail de développement.
Après avoir créé et initialisé un espace de travail de développement, vous pouvez modifier le fichier dataform.json
pour configurer les paramètres Dataform suivants de votre dépôt:
- Base de données par défaut (ID du projet Google Cloud)
- Schéma par défaut (ID de l'ensemble de données BigQuery)
- Emplacement BigQuery par défaut
- Schéma par défaut (ID de l'ensemble de données BigQuery) pour les assertions
- Entrepôt, qui doit être défini sur
bigquery
- Variables définies par l'utilisateur mises à disposition du code du projet lors de la compilation
Pour en savoir plus sur les paramètres du dépôt Dataform, consultez la section IProjectConfig dans la documentation de référence de Dataform.
Étapes suivantes
- Pour découvrir comment créer et initialiser un espace de travail, consultez Créer un espace de travail.
- Pour savoir comment configurer les paramètres du dépôt Dataform, consultez la page Configurer les paramètres du dépôt Dataform.
- Pour savoir comment connecter un dépôt Dataform à un dépôt Git tiers, consultez Se connecter à un dépôt Git tiers.
- Pour savoir comment afficher les journaux d'exécution d'un workflow, consultez la page Surveiller les journaux d'exécution.
- Pour savoir comment créer des versions de compilation Dataform, consultez la page Créer une version de compilation.
- Pour en savoir plus sur l'impact de la taille du dépôt sur le développement dans Dataform, consultez la section Présentation de la taille du dépôt.
- Pour savoir comment planifier des exécutions Dataform avec des configurations de workflow, consultez Planifier des exécutions avec des configurations de workflow.
- Pour en savoir plus sur la division d'un dépôt dans Dataform, consultez la page Introduction au fractionnement des dépôts.