Ce document décrit les méthodes, les propriétés et les options de configuration de Dataform Core. Vous pouvez utiliser Dataform Core dans les fichiers SQLX et JavaScript.
assert()
assert
|
(name: string, query?: AContextable
|
Ajoute une assertion Dataform au graphique compilé. Disponible uniquement dans le répertoire |
Exemple :
// definitions/file.js
assert("name").query(ctx => "select 1");
CommonContext
Les méthodes de contexte sont disponibles lors de l'évaluation de code SQL contextuel, comme dans des fichiers SQLX, ou lorsque vous utilisez un argument Contextable
avec Dataform Core.
database
|
() => string
|
Renvoie la base de données de cet ensemble de données, le cas échéant. | |
name
|
() => string
|
Renvoie le nom de cette table. | |
ref
|
(ref: Resolvable | string[], rest: string[]) => string
|
Réfère une autre action et l'ajoute en tant que dépendance à cette action, ce qui renvoie une requête SQL valide à utiliser dans une expression from .
Cette fonction peut être appelée avec un objet
Cette fonction peut également être appelée à l'aide d'arguments individuels pour les valeurs |
|
resolve
|
(ref: Resolvable | string[], rest: string[]) => string
|
Semblable à ref , mais cette action n'ajoute pas l'action référencée en tant que dépendance à cette action.
|
|
self
|
() => string
|
Équivaut à resolve(name()) .
Renvoie une chaîne SQL valide pouvant être utilisée pour référencer la table générée par cette action. |
|
schema
|
() => string
|
Affiche le schéma de cet ensemble de données. |
Contextable
Les arguments contextuels peuvent transmettre une valeur simple pour leur type générique T
ou une fonction appelée avec l'objet de contexte pour ce type d'opération.
T | (ctx: Context) => T
Dataform
Variable globale contenant l'objet IProjectConfig
Obligatoire pour obtenir les propriétés IProjectConfig
, par exemple:
dataform.projectConfig.vars.myVariableName === "myVariableValue"
déclarer()
declare
|
(dataset: dataform.ITarget)
|
Déclare l'ensemble de données en tant que source de données Dataform. Disponible uniquement dans le répertoire/definitions .
|
Exemple :
// definitions/file.js
declare({name: "a-declaration"})
IActionConfig
Définit les tags Dataform et les dépendances appliquées à une action de workflow SQL.
tags
|
string[]
|
Liste de balises définies par l'utilisateur auxquelles l'action doit être associée. |
|
dependencies
|
Resolvable| Resolvable[]
|
Dépendances de l'action. |
|
disabled
|
boolean
|
Si elle est définie sur "True", cette action n'est pas exécutée. Toutefois, l'action peut toujours dépendre. Utile pour désactiver temporairement les actions défaillantes. |
IAssertionConfig
Options de configuration pour les types d'action assertion
.
database
|
string
|
Base de données (ID de projet Google Cloud) dans laquelle créer la vue correspondante pour cette assertion. | |
description
|
string
|
Description de cette assertion. | |
disabled
|
boolean
|
Si elle est définie sur true , cette action n'est pas exécutée.
L'action peut toujours dépendre. Utile pour désactiver temporairement les actions défaillantes.
|
|
hermetic
|
boolean
|
Indique si cette action est hermétique. Une action est hermétique si toutes ses dépendances sont déclarées explicitement.
Si cette action dépend de données provenant d'une source non déclarée en tant que dépendance, définissez |
|
schema
|
string
|
Schéma (ensemble de données BigQuery) dans lequel créer la vue correspondante pour cette assertion. | |
tags
|
string[]
|
Liste de balises définies par l'utilisateur appliquées à cette action. |
IBigQueryOptions
Options d'entrepôts spécifiques à BigQuery
additionalOptions
|
|
Paires clé/valeur pour les options table, vue et vue matérialisée.
Certaines options, telles que
Les valeurs de chaîne doivent être encapsulées entre guillemets doubles, par exemple :
Si le nom de l'option contient des caractères spéciaux, placez-le entre guillemets, par exemple: |
|
clusterBy
|
string[]
|
Clés selon lesquelles les partitions des partitions doivent être mises en cluster. | |
labels
|
|
Paires clé/valeur pour les étiquettes BigQuery.
Si le nom du libellé contient des caractères spéciaux (par exemple, des traits d'union), placez-le entre guillemets (par exemple, |
|
partitionBy
|
string
|
Clé par laquelle partitionner la table. Généralement le nom d'un code temporel ou de la colonne de date. | |
partitionExpirationDays
|
number
|
Nombre de jours pendant lesquels BigQuery stocke les données dans chaque partition. Ce paramètre s'applique à toutes les partitions d'une table, mais il est calculé indépendamment pour chaque partition en fonction de l'heure de la partition. | |
requirePartitionFilter
|
boolean
|
Indique si la table partitionnée nécessite un filtre de prédicat de clause WHERE qui filtre la colonne de partitionnement.
|
|
updatePartitionFilter
|
string
|
Filtre basé sur SQL pour le moment où des mises à jour incrémentielles sont appliquées. |
IColumnsDescriptor
Décrit les colonnes d'une table.
{ [name]: string | IRecordDescriptor }
IDeclarationConfig
Options de configuration pour les types d'action declaration
.
columns
|
IColumnsDescriptor
|
Description des colonnes du tableau. | |
database
|
string
|
Il existe une base de données (ID de projet Google Cloud) dans laquelle créer la table source. | |
description
|
string
|
Description de la table. | |
schema
|
string
|
Schéma (ensemble de données BigQuery) dans lequel existe la table source. |
IDependenciesConfig
Définit les dépendances d'une action de workflow SQL.
dependencies
|
Resolvable| Resolvable[]
|
Une ou plusieurs dépendances explicites pour cette action. Les actions de dépendance s'exécutent avant les actions dépendantes.
En règle générale, cet élément n'est pas défini, car la plupart des dépendances sont déclarées en tant que sous-produit de l'utilisation de la fonction |
|
hermetic
|
boolean
|
Indique si cette action est hermétique ou non. Une action est hermétique si toutes ses dépendances sont déclarées explicitement. Si cette action dépend de données provenant d'une source qui n'a pas été déclarée en tant que dépendance, |
IDocumentableConfig
Définit les descriptions d'un jeu de données et de ses colonnes.
columns
|
IColumnsDescriptor
|
Description des colonnes du jeu de données. |
|
description
|
string
|
Description de l'ensemble de données. |
INamedConfig
Définit le type et le nom d'une action de workflow SQL.
type
|
string
|
Type d'action. |
|
name
|
string
|
Nom de l'action. |
IOperationConfig
Options de configuration pour les types d'action operations
.
columns
|
IColumnsDescriptor
|
Description des colonnes du tableau. | |
database
|
string
|
Base de données (ID de projet Google Cloud) dans laquelle créer le résultat de cette action. | |
description
|
string
|
Description de la table. | |
disabled
|
boolean
|
Si elle est définie sur true , cette action n'est pas exécutée.
L'action peut toujours dépendre.
Utile pour désactiver temporairement les actions défaillantes.
|
|
hasOutput
|
boolean
|
Indique que cette action operations crée une table référencée à l'aide de la fonction ref .
Si elle est définie sur
Exemple :
|
|
hermetic
|
boolean
|
Indique si cette action est hermétique. Une action est hermétique si toutes ses dépendances sont déclarées explicitement.
Si cette action dépend de données provenant d'une source non déclarée en tant que dépendance, définissez |
|
schema
|
string
|
Schéma (ensemble de données BigQuery) dans lequel créer le résultat de cette action. | |
tags
|
string[]
|
Liste de balises définies par l'utilisateur appliquées à cette action. |
IProjectConfig
Contient les paramètres de compilation d'un dépôt Dataform.
defaultDatabase
|
string
|
Obligatoire. Base de données par défaut (ID de projet Google Cloud). | |
defaultSchema
|
string
|
Obligatoire. Schéma par défaut (ID de l'ensemble de données BigQuery). | |
defaultLocation
|
string
|
Obligatoire. Emplacement BigQuery par défaut à utiliser. Pour en savoir plus sur les emplacements BigQuery, consultez la page https://cloud.google.com/bigquery/docs/locations. | |
assertionSchema
|
string
|
Obligatoire. Schéma par défaut (ID de l'ensemble de données BigQuery) pour les assertions. | |
vars
|
map (key: string, value: string)
|
Facultatif. Variables définies par l'utilisateur mises à la disposition du code du projet lors de la compilation
Objet contenant une liste de paires "key": value .
Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" } .
|
|
databaseSuffix
|
string
|
Facultatif. Suffixe à ajouter à tous les noms de base de données (ID de projet Google Cloud). | |
schemaSuffix
|
string
|
Facultatif. Suffixe à ajouter à tous les noms de schéma (ID d'ensemble de données BigQuery). | |
tablePrefix
|
string
|
Facultatif. Préfixe à ajouter au nom de tous les noms de tables. | |
warehouse
|
string
|
Obligatoire. Doit être défini sur bigquery .
|
Vous pouvez définir les propriétés IProjectConfig
dans dataform.json
au niveau du dépôt.
Vous pouvez remplacer les propriétés defaultSchema
et defaultDatabase
pour des tables individuelles.
Vous pouvez accéder à toutes les propriétés IProjectConfig
d'une instruction SQL SELECT
dans un fichier SQLX ou JavaScript.
L'exemple de code suivant montre la variable de compilation personnalisée myVariableName
définie dans dataform.json
avec la propriété projectConfig.vars
, accessible dans une instruction SELECT
d'un fichier SQLX:
config { type: "view" }
SELECT ${when(
dataform.projectConfig.vars.myVariableName === "myVariableValue",
"myVariableName is set to myVariableValue!",
"myVariableName is not set to myVariableValue!"
)}
Pour en savoir plus sur le remplacement des paramètres de configuration de projet pour des résultats de compilation individuels, consultez la ressource REST projects.locations.repositories.compilationResults#CodeCompilationConfig
dans l'API Dataform.
IRecordDescriptor
Décrit une structure, un objet ou un enregistrement dans une table comportant des colonnes imbriquées.
bigqueryPolicyTags
|
string | string[]
|
Identifiants complets des tags avec stratégie BigQuery appliqués à cette colonne. L'identifiant complet d'un tag avec stratégie BigQuery inclut le nom du projet, l'emplacement et la taxonomie,
Par exemple : Actuellement, BigQuery accepte un tag par colonne. |
|
columns
|
IColumnsDescriptor
|
Description des colonnes dans la structure, l'objet ou l'enregistrement. | |
description
|
string
|
Description du struct, de l'objet ou de l'enregistrement. |
ITableAssertions
Options permettant de créer des assertions dans le cadre d'une définition de table.
nonNull
|
string | string[]
|
Colonne(s) qui ne peut jamais être NULL .
Si cette valeur est définie, l'assertion correspondante échoue si une ligne contient des valeurs |
|
rowConditions
|
string[]
|
Condition(s) générale(s) devant être vraie pour toutes les lignes de la table
Si cette valeur est définie, l'assertion correspondante échoue si une ligne ne respecte pas l'une de ces conditions. |
|
uniqueKey
|
string | string[]
|
Colonne(s) constituant l'index de clé unique de la table.
Si cette valeur est définie, l'assertion qui en résulte échoue si plusieurs lignes de la table présentent les mêmes valeurs pour toutes ces colonnes. |
|
uniqueKeys
|
[]
|
Combinaisons de colonnes, chacune constituant un index de clé unique de la table.
Si cette valeur est définie, l'assertion qui en résulte échoue si plusieurs lignes de la table présentent les mêmes valeurs pour toutes les colonnes des clés uniques. |
ITableConfig
Options de configuration pour les actions table
, y compris les types de tables table
, view
et incremental
.
Développe IActionConfig, IDependenciesConfig, IDocumentableConfig, INamedConfig et ITargetableConfig.
assertions
|
ITableAssertions
|
Assertions à exécuter sur la table.
Si elles sont configurées, les assertions pertinentes sont automatiquement créées et exécutées en tant que dépendances de cette table. |
|
bigquery
|
IBigQueryOptions
|
Options d'entrepôts spécifiques à BigQuery | |
columns
|
IColumnsDescriptor
|
Description des colonnes du tableau. | |
database
|
string
|
Base de données (ID de projet Google Cloud) dans laquelle créer le résultat de cette action. | |
description
|
string
|
Description de la table. | |
disabled
|
boolean
|
Si elle est définie sur true , cette action n'est pas exécutée.
L'action peut toujours dépendre.
Utile pour désactiver temporairement les actions défaillantes.
|
|
hermetic
|
boolean
|
Indique si cette action est hermétique. Une action est hermétique si toutes ses dépendances sont déclarées explicitement.
Si cette action dépend de données provenant d'une source non déclarée en tant que dépendance, définissez |
|
materialized
|
boolean
|
Valide uniquement lorsque le type de table est view .
Si cette valeur est définie sur "true", une vue matérialisée sera créée. |
|
protected
|
boolean
|
Uniquement autorisé pour le type de table incremental .
Si elle est définie sur "True", l'exécution de cette action ignore l'option |
|
schema
|
string
|
Schéma (ensemble de données BigQuery) dans lequel créer le résultat de cette action. | |
tags
|
string[]
|
Liste de balises définies par l'utilisateur appliquées à cette action. | |
type
|
TableType
|
Type de la table. | |
uniqueKey
|
string[]
|
Clés uniques pour les critères de fusion des tables incrémentielles.
En cas de configuration, les enregistrements avec une ou plusieurs clés uniques correspondantes sont mis à jour au lieu d'insérer de nouvelles lignes. |
ITableContext
Les méthodes de contexte sont disponibles lors de l'évaluation de code SQL contextuel, comme dans des fichiers SQLX, ou lorsque vous utilisez un argument Contextable
avec Dataform Core.
incremental
|
() => boolean
|
Renvoie la valeur "true" si le contexte actuel indique que la table sera créée de manière incrémentielle. | |
name
|
() => string
|
Renvoie le nom complet de cette table. | |
ref
|
(ref: Resolvable | string[], rest: string[]) => string
|
Renvoie une autre action en l'ajoutant en tant que dépendance à cette action, en renvoyant un code SQL valide à utiliser dans une expression "from".
Cette fonction peut être appelée avec un objet
Cette fonction peut également être appelée à l'aide d'arguments individuels pour les valeurs
Lorsque seules deux valeurs sont fournies, la base de données par défaut est utilisée, et les valeurs sont interprétées comme
Lorsqu'une seule valeur est fournie, le schéma de base de données par défaut est utilisé, et la valeur fournie est interprétée comme "name".
|
|
resolve
|
(ref: Resolvable | string[], rest: string[]) => string
|
Semblable à ref , mais au lieu d'ajouter une dépendance, il résout la référence fournie afin qu'elle puisse être utilisée en SQL, par exemple, dans une expression "from".
|
|
self
|
() => string
|
Équivaut à resolve(name()) .
Renvoie une chaîne SQL valide pouvant être utilisée pour référencer la table produite par cette action. |
|
when
|
(cond: boolean, trueCase: string, falseCase: string) => string
|
Raccourci d'une condition if .
Équivaut à cond ? trueCase : falseCase .
|
ITarget
Référence à une table dans BigQuery.
database
|
string
|
name
|
string
|
schema
|
string
|
ITargetableConfig
Définit la base de données cible et le schéma d'une action de workflow SQL.
database
|
string
|
Base de données dans laquelle le résultat de cette action doit être créé. Doit être défini sur BigQuery. |
|
schema
|
string
|
Schéma dans lequel le résultat de cette action doit être créé. |
opération()
operate
|
(name: string, queries?: Contextable
|
Définit une opération SQL. Disponible uniquement dans le répertoire |
Exemple :
// definitions/file.js
operate("an-operation", ["SELECT 1", "SELECT 2"])
publish()
publish
|
(name: string, queryOrConfig?: Contextable
|
Crée une table ou une vue. Disponible uniquement dans le répertoire |
Exemple :
// definitions/file.js
publish("published-table", {
type: "table",
dependencies: ["a-declaration"],
}).query(ctx => "SELECT 1 AS test");
Résolvables
Un résolveur peut être soit le nom d'une table en tant que string
, soit l'objet qui décrit le chemin d'accès complet de la relation.
string | ITarget
TableType
Types d'actions acceptées dans les tables.
Les tables de type view
seront créées en tant que vues.
Les tables de type table
seront créées en tant que tables.
Les tables de type incremental
doivent inclure une clause where
.
Pour en savoir plus, consultez Configurer des tables incrémentielles.