Introduction aux dépôts

Ce document vous aide à comprendre le concept des dépôts dans Dataform.

Chaque dépôt Dataform héberge un ensemble de fichiers SQLX et JavaScript qui constituent votre workflow SQL, ainsi que des fichiers de configuration et des packages Dataform. Vous interagissez avec le contenu de votre dépôt dans un espace de travail de développement.

Dataform affiche vos dépôts sur la page Dataform dans l'ordre alphabétique des ID de dépôt. Vous pouvez les trier et les filtrer.

Accéder à Dataform

Chaque dépôt Dataform est connecté à un compte de service. Vous pouvez sélectionner un compte de service lorsque vous créez un dépôt ou modifier le compte de service ultérieurement.

Par défaut, Dataform utilise un compte de service dérivé de votre numéro de projet au format suivant:

service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Dataform utilise Git pour enregistrer les modifications et gérer les versions des fichiers. Chaque dépôt Dataform correspond à un dépôt Git. Après avoir créé un dépôt Dataform, vous pouvez le connecter à un dépôt GitHub, GitLab ou Bitbucket distant.

Dans un dépôt Dataform, Dataform stocke le code du dépôt. Dans un dépôt connecté, le dépôt tiers stocke le code du dépôt. Dataform interagit avec le dépôt tiers pour vous permettre de modifier et d'exécuter son contenu dans un espace de travail de développement Dataform.

Une page de dépôt Dataform comprend les composants suivants:

Onglet "Espaces de travail de développement"
Affiche les espaces de travail de développement créés dans le dépôt.
Onglet "Configurations de version"
Permet d'inspecter, de créer, de modifier et de supprimer des versions.
Onglet "Journaux d'exécution de workflow"
Affiche les journaux d'exécution du workflow Dataform.
Onglet "Configurations de workflow"
Permet d'inspecter, de créer, de modifier et de supprimer des configurations de workflow.
Onglet "Settings" (Paramètres)
Affiche le nom et l'emplacement du dépôt. Pour un dépôt connecté à un dépôt Git tiers, cette option affiche la source du dépôt tiers, le nom de la branche par défaut et le jeton secret. Affiche les boutons permettant d'associer le dépôt à un dépôt Git tiers et de modifier la connexion Git.
Bouton "Créer un espace de travail de développement"
Permet de créer un espace de travail de développement.

Après avoir créé et initialisé un espace de travail de développement, vous pouvez modifier le fichier de paramètres de workflow pour configurer les paramètres Dataform suivants de votre dépôt:

  • Base de données par défaut (ID de projet Google Cloud)
  • Le schéma par défaut (ID de l'ensemble de données BigQuery)
  • Emplacement BigQuery par défaut
  • Schéma par défaut (ID de l'ensemble de données BigQuery) pour les assertions
  • Entrepôt, qui doit être défini sur bigquery
  • Variables définies par l'utilisateur mises à la disposition du code du projet lors de la compilation

Pour en savoir plus sur les paramètres du dépôt Dataform, consultez IProjectConfig dans la documentation de référence de base de Dataform.

Étapes suivantes