Declara una fuente de datos

En este documento, se muestra cómo declarar fuentes de datos de BigQuery con el núcleo de Dataform.

Puedes declarar cualquier tipo de tabla de BigQuery como fuente de datos en Dataform. La declaración de fuentes de datos de BigQuery que son externas a Dataform te permite tratar esas fuentes de datos como objetos de Dataform de primer nivel. Después de declarar una fuente de datos, puedes hacer referencia a ella o resolverla de la misma manera que cualquier otra tabla en Dataform.

Antes de comenzar

Antes de declarar una fuente de datos, crea y, luego, inicializa un lugar de trabajo de desarrollo en tu repositorio.

Funciones obligatorias

Si quieres obtener los permisos que necesitas para declarar una fuente de datos, pídele a tu administrador que te otorgue el rol de IAM de Editor de formularios de datos (roles/dataform.editor) en los lugares de trabajo. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

Es posible que también puedas obtener los permisos necesarios mediante funciones personalizadas, o bien otras funciones predefinidas.

Crea un archivo SQLX para la declaración de fuente de datos

Almacena archivos SQLX para las declaraciones de fuente de datos en el directorio definitions/. Para crear un archivo SQLX nuevo en el directorio definitions/, sigue estos pasos:

  1. En la consola de Cloud, ve a la página Dataform.

    Ir a la página Dataform

  2. Selecciona un repositorio.

  3. Selecciona un lugar de trabajo de desarrollo.

  4. En el panel Archivos, junto a definitions/, haz clic en el menú Más.

  5. Haz clic en Crear archivo.

  6. En el panel Create new file, haz lo siguiente:

    1. En el campo Agregar una ruta de acceso al archivo, después de definitions/, ingresa el nombre del archivo seguido de .sqlx. Por ejemplo, definitions/dataset-declaration.sqlx

      Los nombres de archivo solo pueden incluir números, letras, guiones y guiones bajos.

    2. Haz clic en Crear archivo.

Declara una fuente de datos

Puedes declarar una fuente de datos por cada archivo de declaración de SQLX. Para declarar una fuente de datos en el bloque de configuración de un archivo SQLX, sigue estos pasos:

  1. En el lugar de trabajo de desarrollo, en el panel Archivos, haz clic en tu archivo SQLX para la declaración de la fuente de datos.

  2. En el archivo, ingresa el siguiente fragmento de código:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    Reemplaza lo siguiente:

    • DATABASE: Es el ID del proyecto que contiene la fuente de datos.
    • SCHEMA: Es el conjunto de datos de BigQuery en el que existe la fuente de datos.
    • NAME: Es el nombre de la tabla o la vista que deseas usar como fuente de datos. Más adelante, puedes usar ese nombre para hacer referencia a la fuente de datos en Dataform.

  3. Opcional: Haz clic en Formato.

En la siguiente muestra de código, se presenta una declaración de muestra de la tabla shakespeare en el conjunto de datos samples del proyecto bigquery-public-data como fuente de datos:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

¿Qué sigue?