Créer des remplacements de compilation d'espace de travail

Ce document explique comment créer des remplacements de compilation d'espace de travail pour isoler de tables et de vues créées à partir de vos espaces de travail Dataform dans BigQuery. Vous pouvez utiliser des remplacements de compilation d'espace de travail pour créer de développement Dataform isolés.

À propos des remplacements de compilation d'espace de travail

Lorsque vous développez le code d'un workflow SQL dans un espace de travail Dataform, Dataform compile le code de votre espace de travail en temps réel pour créer résultat de la compilation de l'espace de travail. Dataform utilise les paramètres définis dans le fichier de paramètres de workflow pour créer le Résultat de la compilation de l'espace de travail. Ensuite, lorsque vous déclenchez l'exécution dans un espace de travail ; Dataform exécute le résultat de la compilation de l'espace de travail dans dans BigQuery.

Pour remplacer les paramètres par défaut définis dans paramètres de workflow pour tous d'espaces de travail de votre dépôt, vous pouvez créer des remplacements de compilation d'espaces de travail.

Avec les remplacements de compilation d'espace de travail, vous pouvez remplacer les paramètres suivants pour tous les espaces de travail de votre dépôt:

Projet
Projet Google Cloud dans lequel Dataform exécute l'espace de travail Résultat de la compilation, défini dans workflow_settings.yaml en tant que defaultProject ou dans dataform.json en tant que defaultDatabase.
Préfixe de la table
Préfixe personnalisé ajouté à tous les noms de tables dans tous les espaces de travail du de votre organisation.
Suffixe du schéma

Suffixe personnalisé ajouté au schéma des tables définies dans

Défini en tant que defaultDataset dans workflow_settings.yaml, defaultSchema dans dataform.json, ou dans le paramètre schema dans le bloc config d'une table.

Pour créer des environnements de développement isolés, vous pouvez isoler des espaces de travail à l'aide de remplacements de compilation uniques. Vous pouvez modifier dynamiquement le préfixe de table et les remplacements de compilation de suffixe de schéma par la variable ${workspaceName}.

Lorsque vous déclenchez manuellement l'exécution dans un espace de travail, ${workspaceName} injecte le nom de l'espace de travail dans la compilation de l'espace de travail. et les forçages.

Lorsque vous définissez ${workspaceName} comme préfixe de table, Dataform ajoute le le nom de l'espace de travail aux noms de toutes ses tables. Après exécution, dans BigQuery, vous pouvez identifier l'espace de travail d'où provient une table.

Lorsque vous définissez ${workspaceName} comme suffixe de schéma, Dataform ajoute le nom de l'espace de travail avec defaultSchema, ce qui crée un schéma personnalisé dédié à l'espace de travail. Après l'exécution, vous pouvez localiser dans BigQuery exécutées à partir d'un espace de travail spécifique dans le schéma dédié.

Exemple de remplacements de compilation dynamique d'espace de travail

L'exemple suivant montre des remplacements de compilation d'espace de travail dynamiques appliqués à un qui contient des espaces de travail portant le nom de développeurs qui travaillent sur dépôt: Sasha et Kai.

L'objectif des remplacements de compilation d'espace de travail dans cet exemple est de créer des environnements de développement isolés pour Sasha et Kai.

Les paramètres par défaut suivants sont définis dans workflow_settings.yaml:

  • defaultProject : analytics
  • defaultDataset : dataform

Les remplacements de compilation d'espace de travail suivants créent un préfixe de table dynamique et de schéma pour chaque espace de travail du dépôt:

  • ID du projet Google Cloud : analytics_dev
  • Préfixe de table: ${workspaceName}
  • Schema suffix (Suffixe de schéma) : ${workspaceName}

Lorsque Sasha déclenche manuellement l'exécution dans l'espace de travail Sasha, Dataform exécute son contenu avec les paramètres suivants:

  • Projet Google Cloud: analytics_dev
  • schema : dataform_sasha
  • noms de tables: sasha_name. Par exemple, sasha_orders

Lorsque Kai déclenche manuellement l'exécution dans l'espace de travail Kai, Dataform exécute son contenu avec les paramètres suivants:

  • Projet Google Cloud: analytics_dev
  • schema : dataform_kai
  • noms de tables: kai_name. Par exemple, kai_orders

Avant de commencer

  1. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à la page Dataform

  2. Sélectionnez ou créez un dépôt.

  3. Facultatif: Pour remplacer le projet Google Cloud par défaut, accordez à votre Accès au compte de service Dataform le projet Google Cloud que vous prévoyez d'utiliser.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer des remplacements de compilation d'espace de travail, demandez à votre administrateur de vous accorder le Rôle IAM Administrateur Dataform (roles/dataform.admin) sur les dépôts. Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Créer des remplacements de compilation d'espace de travail

Pour créer des remplacements de compilation d'espace de travail Dataform, procédez comme suit:

  1. Dans votre dépôt, accédez à Settings (Paramètres).
  2. Cliquez sur Modifier.
  3. Dans le volet Remplacements de compilation d'espace de travail, dans Google Cloud Project ID (ID du projet Google Cloud), saisissez l'ID du projet Google Cloud.
  4. Dans le champ Préfixe de table, saisissez un préfixe pour tous les noms de tables.
    1. Facultatif: Pour créer un préfixe de table dynamique unique pour chaque dans l'espace de travail, saisissez ${workspaceName} comme préfixe de table.
  5. Dans le champ Schema Suffix (Suffixe de schéma), saisissez un suffixe à ajouter au schéma du la table ou la vue créée.
    1. Facultatif: Pour créer un suffixe de schéma dynamique unique pour chaque dans l'espace de travail, saisissez ${workspaceName} comme suffixe de table.
  6. Cliquez sur Enregistrer.

Dataform applique des remplacements de compilation d'espace de travail à tous les espaces de travail de dans votre dépôt.

Modifier les remplacements de compilation d'espace de travail

Pour modifier les remplacements de compilation d'espace de travail Dataform, procédez comme suit:

  1. Dans votre dépôt, accédez à Settings (Paramètres).
  2. Cliquez sur Modifier.
  3. Modifiez les remplacements de compilation d'espace de travail, puis cliquez sur Enregistrer.

Supprimer les remplacements de compilation d'espace de travail

Pour supprimer les remplacements de compilation d'espace de travail Dataform, procédez comme suit:

  1. Dans votre dépôt, accédez à Settings (Paramètres).
  2. Cliquez sur Modifier.
  3. Dans le volet Remplacements de compilation d'espace de travail, cliquez sur Tout effacer. puis cliquez sur Enregistrer.

Étape suivante