En este documento, se muestra cómo declarar fuentes de datos de BigQuery con el núcleo de Dataform.
Puedes declarar cualquier tipo de tabla de BigQuery como fuente de datos en Dataform. La declaración de fuentes de datos de BigQuery que son externas a Dataform te permite tratar esas fuentes de datos como objetos de Dataform de primer nivel. Después de declarar una fuente de datos, puedes hacer referencia a ella o resolverla de la misma manera que cualquier otra tabla en Dataform.
Antes de comenzar
Antes de declarar una fuente de datos, crea y, luego, inicializa un lugar de trabajo de desarrollo en tu repositorio.
Funciones obligatorias
Si quieres obtener los permisos que necesitas para declarar una fuente de datos,
pídele a tu administrador que te otorgue el
rol de IAM de Editor de formularios de datos (roles/dataform.editor
) en los lugares de trabajo.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.
Es posible que también puedas obtener los permisos necesarios mediante funciones personalizadas, o bien otras funciones predefinidas.
Crea un archivo SQLX para la declaración de fuente de datos
Almacena archivos SQLX para las declaraciones de fuente de datos en el directorio definitions/
.
Para crear un archivo SQLX nuevo en el directorio definitions/
, sigue estos pasos:
En la consola de Cloud, ve a la página Dataform.
Selecciona un repositorio.
Selecciona un lugar de trabajo de desarrollo.
En el panel Archivos, junto a
definitions/
, haz clic en el menú Más.Haz clic en Crear archivo.
En el panel Create new file, haz lo siguiente:
En el campo Agregar una ruta de acceso al archivo, después de
definitions/
, ingresa el nombre del archivo seguido de.sqlx
. Por ejemplo,definitions/dataset-declaration.sqlx
Los nombres de archivo solo pueden incluir números, letras, guiones y guiones bajos.
Haz clic en Crear archivo.
Declara una fuente de datos
Puedes declarar una fuente de datos por cada archivo de declaración de SQLX. Para declarar una fuente de datos en el bloque de configuración de un archivo SQLX, sigue estos pasos:
- En el lugar de trabajo de desarrollo, en el panel Archivos, haz clic en tu archivo SQLX para la declaración de la fuente de datos.
En el archivo, ingresa el siguiente fragmento de código:
config { type: "declaration", database: "DATABASE", schema: "SCHEMA", name: "NAME", }
Reemplaza lo siguiente:
DATABASE
: Es el ID del proyecto que contiene la fuente de datos.SCHEMA
: Es el conjunto de datos de BigQuery en el que existe la fuente de datos.NAME
: Es el nombre de la tabla o la vista que deseas usar como fuente de datos. Más adelante, puedes usar ese nombre para hacer referencia a la fuente de datos en Dataform.
Opcional: Haz clic en Formato.
En la siguiente muestra de código, se presenta una declaración de muestra de la tabla shakespeare
en el conjunto de datos samples
del proyecto bigquery-public-data
como fuente de datos:
config {
type: "declaration",
database: "bigquery-public-data",
schema: "samples",
name: "shakespeare",
}
¿Qué sigue?
- Para aprender a declarar una fuente de datos con JavaScript, consulta Crea flujos de trabajo de SQL con JavaScript.
- Si deseas aprender a definir una tabla, consulta Cómo crear una tabla.
- Para aprender a configurar clústeres y particiones de tablas, consulta Crea particiones y clústeres de tablas.