Ce document explique comment créer des remplacements de compilation d'espace de travail pour isoler de tables et de vues créées à partir de vos espaces de travail Dataform dans BigQuery. Vous pouvez utiliser des remplacements de compilation d'espace de travail pour créer de développement Dataform isolés.
À propos des remplacements de compilation d'espace de travail
Lorsque vous développez le code d'un workflow SQL dans un espace de travail Dataform, Dataform compile le code de votre espace de travail en temps réel pour créer résultat de la compilation de l'espace de travail. Dataform utilise les paramètres définis dans le fichier de paramètres de workflow pour créer le Résultat de la compilation de l'espace de travail. Ensuite, lorsque vous déclenchez l'exécution dans un espace de travail ; Dataform exécute le résultat de la compilation de l'espace de travail dans dans BigQuery.
Pour remplacer les paramètres par défaut définis dans paramètres de workflow pour tous d'espaces de travail de votre dépôt, vous pouvez créer des remplacements de compilation d'espaces de travail.
Avec les remplacements de compilation d'espace de travail, vous pouvez remplacer les paramètres suivants pour tous les espaces de travail de votre dépôt:
- Projet
- Projet Google Cloud dans lequel Dataform exécute l'espace de travail
Résultat de la compilation, défini dans
workflow_settings.yaml
en tant quedefaultProject
ou dansdataform.json
en tant quedefaultDatabase
. - Préfixe de la table
- Préfixe personnalisé ajouté à tous les noms de tables dans tous les espaces de travail du de votre organisation.
- Suffixe du schéma
Suffixe personnalisé ajouté au schéma des tables définies dans
Défini en tant que
defaultDataset
dansworkflow_settings.yaml
,defaultSchema
dansdataform.json
, ou dans le paramètreschema
dans le blocconfig
d'une table.
Pour créer des environnements de développement isolés, vous pouvez isoler des espaces de travail à l'aide de
remplacements de compilation uniques. Vous pouvez modifier dynamiquement le préfixe de table et
les remplacements de compilation de suffixe de schéma par la variable ${workspaceName}
.
Lorsque vous déclenchez manuellement l'exécution dans un espace de travail, ${workspaceName}
injecte le nom de l'espace de travail dans la compilation de l'espace de travail.
et les forçages.
Lorsque vous définissez ${workspaceName}
comme préfixe de table, Dataform ajoute le
le nom de l'espace de travail aux noms de toutes ses tables. Après exécution,
dans BigQuery, vous pouvez identifier l'espace de travail d'où provient une table.
Lorsque vous définissez ${workspaceName}
comme suffixe de schéma, Dataform ajoute
le nom de l'espace de travail avec defaultSchema
, ce qui crée un schéma personnalisé dédié
à l'espace de travail. Après l'exécution, vous pouvez localiser dans BigQuery
exécutées à partir d'un espace de travail spécifique dans le schéma dédié.
Exemple de remplacements de compilation dynamique d'espace de travail
L'exemple suivant montre des remplacements de compilation d'espace de travail dynamiques appliqués à un
qui contient des espaces de travail portant le nom de développeurs qui travaillent sur
dépôt: Sasha
et Kai
.
L'objectif des remplacements de compilation d'espace de travail dans cet exemple est de créer des environnements de développement isolés pour Sasha et Kai.
Les paramètres par défaut suivants sont définis dans workflow_settings.yaml
:
defaultProject
:analytics
defaultDataset
:dataform
Les remplacements de compilation d'espace de travail suivants créent un préfixe de table dynamique et de schéma pour chaque espace de travail du dépôt:
- ID du projet Google Cloud :
analytics_dev
- Préfixe de table:
${workspaceName}
- Schema suffix (Suffixe de schéma) :
${workspaceName}
Lorsque Sasha déclenche manuellement l'exécution dans l'espace de travail Sasha
,
Dataform exécute son contenu avec les paramètres suivants:
- Projet Google Cloud:
analytics_dev
- schema :
dataform_sasha
- noms de tables:
sasha_name
. Par exemple,sasha_orders
Lorsque Kai déclenche manuellement l'exécution dans l'espace de travail Kai
, Dataform
exécute son contenu avec les paramètres suivants:
- Projet Google Cloud:
analytics_dev
- schema :
dataform_kai
- noms de tables:
kai_name
. Par exemple,kai_orders
Avant de commencer
Dans la console Google Cloud, accédez à la page Dataform page.
Sélectionnez ou créez un dépôt.
Facultatif: Pour remplacer le projet Google Cloud par défaut, accordez à votre Accès au compte de service Dataform le projet Google Cloud que vous prévoyez d'utiliser.
Rôles requis
Pour obtenir les autorisations nécessaires pour créer des remplacements de compilation d'espace de travail,
demandez à votre administrateur de vous accorder le
Rôle IAM Administrateur Dataform (roles/dataform.admin
) sur les dépôts.
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Créer des remplacements de compilation d'espace de travail
Pour créer des remplacements de compilation d'espace de travail Dataform, procédez comme suit:
- Dans votre dépôt, accédez à Settings (Paramètres).
- Cliquez sur Modifier.
- Dans le volet Remplacements de compilation d'espace de travail, dans la section Google Cloud Project ID (ID du projet Google Cloud), saisissez l'ID du projet Google Cloud.
- Dans le champ Préfixe de table, saisissez un préfixe pour tous les noms de tables.
- Facultatif: Pour créer un préfixe de table dynamique unique pour chaque
dans l'espace de travail, saisissez
${workspaceName}
comme préfixe de table.
- Facultatif: Pour créer un préfixe de table dynamique unique pour chaque
dans l'espace de travail, saisissez
- Dans le champ Schema Suffix (Suffixe de schéma), saisissez un suffixe à ajouter au schéma du
la table ou la vue créée.
- Facultatif: Pour créer un suffixe de schéma dynamique unique pour chaque
dans l'espace de travail, saisissez
${workspaceName}
comme suffixe de table.
- Facultatif: Pour créer un suffixe de schéma dynamique unique pour chaque
dans l'espace de travail, saisissez
- Cliquez sur Enregistrer.
Dataform applique des remplacements de compilation d'espace de travail à tous les espaces de travail de dans votre dépôt.
Modifier les remplacements de compilation d'espace de travail
Pour modifier les remplacements de compilation d'espace de travail Dataform, procédez comme suit:
- Dans votre dépôt, accédez à Settings (Paramètres).
- Cliquez sur Modifier.
- Modifiez les remplacements de compilation d'espace de travail, puis cliquez sur Enregistrer.
Supprimer les remplacements de compilation d'espace de travail
Pour supprimer les remplacements de compilation d'espace de travail Dataform, procédez comme suit:
- Dans votre dépôt, accédez à Settings (Paramètres).
- Cliquez sur Modifier.
- Dans le volet Remplacements de compilation d'espace de travail, cliquez sur Tout effacer. puis cliquez sur Enregistrer.
Étape suivante
- Pour savoir comment déclencher manuellement l'exécution, consultez la section Déclencher l'exécution.