Introduction aux dépôts

Ce document vous aide à comprendre le concept de dépôt dans Dataform.

Chaque dépôt Dataform héberge un ensemble de fichiers SQLX et JavaScript qui constituent votre workflow SQL, ainsi que des fichiers de configuration et des packages Dataform. Vous interagissez avec le contenu de votre dépôt dans un espace de travail de développement.

Dataform affiche vos dépôts sur la page Dataform dans l'ordre alphabétique des ID de dépôt. Vous pouvez les trier et les filtrer.

Accéder à Dataform

Chaque dépôt Dataform est connecté à un compte de service. Vous pouvez sélectionner un compte de service lorsque vous créez un dépôt ou modifier le compte de service ultérieurement.

Par défaut, Dataform utilise un compte de service dérivé de votre numéro de projet au format suivant:

service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Dataform utilise Git pour enregistrer les modifications et gérer les versions des fichiers. Chaque dépôt Dataform correspond à un dépôt Git. Après avoir créé un dépôt Dataform, vous pouvez le connecter à un dépôt GitHub, GitLab ou Bitbucket distant.

Dans un dépôt Dataform, Dataform stocke le code du dépôt. Dans un dépôt connecté, le dépôt tiers stocke le code du dépôt. Dataform interagit avec le dépôt tiers pour vous permettre de modifier et d'exécuter son contenu dans un espace de travail de développement Dataform.

Une page du dépôt Dataform comprend les composants suivants:

Onglet "Espaces de travail de développement"
Affiche les espaces de travail de développement créés dans le dépôt.
Onglet "Configurations de version"
Permet d'inspecter, de créer, de modifier et de supprimer des versions.
Onglet des journaux d'exécution de workflow
Affiche les journaux d'exécution du workflow Dataform.
Onglet des configurations de workflow
Permet d'inspecter, de créer, de modifier et de supprimer des configurations de workflow.
Onglet "Paramètres"
Affiche le nom et l'emplacement du dépôt. Affiche la source du dépôt tiers, le nom de la branche par défaut et le jeton secret pour un dépôt connecté à un dépôt Git tiers. Affiche les boutons permettant de connecter le dépôt à un dépôt Git tiers et de modifier la connexion Git.
Bouton "Créer un espace de travail de développement"
Permet de créer un espace de travail de développement.

Après avoir créé et initialisé un espace de travail de développement, vous pouvez modifier le fichier dataform.json pour configurer les paramètres Dataform suivants de votre dépôt:

  • Base de données par défaut (ID du projet Google Cloud)
  • Schéma par défaut (ID de l'ensemble de données BigQuery)
  • Emplacement BigQuery par défaut
  • Schéma par défaut (ID de l'ensemble de données BigQuery) pour les assertions
  • Entrepôt, qui doit être défini sur bigquery
  • Variables définies par l'utilisateur mises à disposition du code du projet lors de la compilation

Pour en savoir plus sur les paramètres du dépôt Dataform, consultez la section IProjectConfig dans la documentation de référence de Dataform.

Étapes suivantes