Ce document explique comment configurer des paramètres de tableau supplémentaires dans un fichier de définition de table. Avec Dataform Core, vous pouvez définir pre_operations
et post_operations
pour exécuter une instruction SQL avant ou après la création de la table. Vous pouvez également remplacer les paramètres de la table, tels que database
ou schema
, et désactiver sa création.
Avant de commencer
Dans la console Google Cloud, accédez à la page Dataform.
Sélectionnez ou créez un dépôt.
Sélectionnez ou créez un espace de travail de développement.
Rôles requis
Afin d'obtenir les autorisations nécessaires pour configurer des paramètres de table supplémentaires, demandez à votre administrateur de vous attribuer le rôle IAM Éditeur Dataform (roles/dataform.editor
) sur les espaces de travail.
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Remplacer les paramètres du tableau
Vous pouvez remplacer le schéma, la base de données et le nom d'une table sélectionnée.
Par défaut, une table suit le schéma et la configuration de la base de données que vous avez définis dans dataform.json
. Le nom d'une table est identique au nom du fichier SQLX de définition de table.
Pour remplacer le schéma et le nom d'une table sélectionnée, procédez comme suit:
Accédez à votre espace de travail de développement.
Dans le volet Fichiers, développez
definitions/
.Ouvrez un fichier de définition de table SQLX.
Dans le bloc
config
, saisissez l'extrait de code suivant:{ schema: "OVERRIDDEN_SCHEMA", database: "OVERRIDDEN_DATABASE", name: "OVERRIDDEN_NAME" }
Remplacez les éléments suivants :
OVERRIDDEN_SCHEMA
: ensemble de données BigQuery dans lequel vous souhaitez créer la tableOVERRIDDEN_DATABASE
: ID du projet BigQuery dans lequel vous souhaitez créer la tableOVERRIDDEN_NAME
: nom de la table, différent du nom du fichier de définition de table SQLX
(Facultatif) Cliquez sur Format.
Référencer une table avec un nom de table remplacé
- Pour référencer une table avec un nom de table remplacé, saisissez dans la fonction
ref
le nom de la table remplacée dansname: ""
.
L'exemple de code suivant fait référence à une table dont le nom est remplacé par overridden_name
:
SELECT * FROM ${ref("overridden_name")}
Définir une instruction SQL à exécuter avant la création de la table
Vous pouvez configurer Dataform pour qu'il exécute une ou plusieurs instructions SQL avant de créer la table sélectionnée dans BigQuery. Pour exécuter une instruction SQL avant que Dataform ne crée une table sélectionnée, ajoutez votre instruction au bloc pre_operations
dans le fichier SQLX de définition de table.
Pour créer une instruction SQL personnalisée exécutée avant que Dataform ne crée une table spécifique, procédez comme suit:
Accédez à votre espace de travail de développement.
Dans le volet Fichiers, développez
definitions/
.Ouvrez un fichier de définition de table SQLX.
En dehors du bloc
config
, saisissezpre_operations { ... }
.Dans
pre_operations { ... }
, ajoutez votre instruction SQL.Facultatif: Pour ajouter plusieurs instructions, séparez-les par le signe
---
.(Facultatif) Cliquez sur Format.
L'exemple de code suivant montre une instruction pre_operations
qui crée une fonction temporaire pouvant être utilisée dans l'instruction select:
pre_operations {
CREATE TEMP FUNCTION AddFourAndDivide(x INT64, y INT64)
RETURNS FLOAT64
AS ((x + 4) / y);
}
Définir une instruction SQL à exécuter après la création de la table
Vous pouvez configurer Dataform pour qu'il exécute une ou plusieurs instructions SQL après avoir créé la table sélectionnée dans BigQuery. Pour exécuter une instruction SQL après que Dataform a créé une table sélectionnée, ajoutez votre instruction au bloc post_operations
dans le fichier SQLX de définition de table. Vous pouvez ajouter plusieurs instructions SQL au bloc post_operations
.
Pour créer une instruction SQL personnalisée exécutée après que Dataform a créé une table spécifique, procédez comme suit:
Accédez à votre espace de travail de développement.
Dans le volet Fichiers, développez
definitions/
.Ouvrez un fichier de définition de table SQLX.
En dehors du bloc
config
, saisissezpost_operations { ... }
.Dans
post_operations { ... }
, ajoutez votre instruction SQL.(Facultatif) Cliquez sur Format.
L'exemple de code suivant montre des instructions post_operations
qui accordent aux groupes l'accès à la table créée:
post_operations {
GRANT SELECT ON ${self()} TO GROUP "allusers@example.com";
GRANT SELECT ON ${self()} TO GROUP "otherusers@example.com";
}
Désactiver la création de tables
Pour empêcher Dataform de créer une table sélectionnée dans BigQuery, vous pouvez la désactiver dans son fichier de définition de table SQLX. Dataform conserve une table désactivée dans le graphique de dépendances, mais ne la compile pas ni ne la crée. Cela peut être utile, par exemple, si une table échoue et que vous ne voulez pas que l'ensemble du workflow échoue pendant que vous corrigez le problème.
Pour désactiver une table, procédez comme suit:
Accédez à votre espace de travail de développement.
Dans le volet Fichiers, développez
definitions/
.Sélectionnez un fichier de définition de table SQLX.
Dans le bloc
config
du fichier, saisissezdisabled: true
.(Facultatif) Cliquez sur Format.
L'exemple de code suivant montre une table désactivée:
config {
type: "table",
disabled: true
}
select * from ${ref("source_data")}
Étapes suivantes
Pour savoir comment configurer les paramètres Dataform dans
dataform.json
, consultez Configurer les paramètres Dataform.Pour savoir comment tester les données de table avec des assertions, consultez Tester des tables avec des assertions.
Pour savoir comment réutiliser du code avec des inclusions, consultez Réutiliser des variables et des fonctions avec des inclusions.
Pour savoir comment déclencher manuellement des exécutions, consultez Déclencher l'exécution.