Declara una fuente de datos

En este documento, se muestra cómo declarar fuentes de datos de BigQuery con Dataform core.

Puedes declarar cualquier tipo de tabla de BigQuery como fuente de datos en Dataform. Declarar fuentes de datos de BigQuery externas a Dataform te permite tratar esas fuentes de datos como objetos Dataform de primera clase. Después de declarar una fuente de datos, puedes hacer referencia a ella o resolverla de la misma manera que con cualquier otra tabla en Dataform.

Antes de comenzar

Antes de declarar una fuente de datos, crea y, luego, inicializa un lugar de trabajo de desarrollo en tu repositorio.

Roles obligatorios

Para obtener los permisos que necesitas para declarar una fuente de datos, pídele al administrador que te otorgue el rol de IAM de editor de formularios de datos (roles/dataform.editor) en los lugares de trabajo. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Crea un archivo SQLX para la declaración de la fuente de datos

Almacena archivos SQLX para las declaraciones de la fuente de datos en el directorio definitions/. Para crear un archivo SQLX nuevo en el directorio definitions/, sigue estos pasos:

  1. En Cloud Console, ve a la página Dataform.

    Ir a la página Dataform

  2. Selecciona un repositorio.

  3. Selecciona un lugar de trabajo de desarrollo.

  4. En el panel Archivos, junto a definitions/, haz clic en el menú Más.

  5. Haga clic en Crear archivo.

  6. En el panel Crear archivo nuevo, haz lo siguiente:

    1. En el campo Add a file path, después de definitions/, ingresa el nombre del archivo, seguido de .sqlx. Por ejemplo, definitions/dataset-declaration.sqlx

      Los nombres de archivo solo pueden incluir números, letras, guiones y guiones bajos.

    2. Haga clic en Crear archivo.

Declara una fuente de datos

Puedes declarar una fuente de datos por cada archivo de declaración de SQLX. Para declarar una fuente de datos en el bloque de configuración de un archivo SQLX, sigue estos pasos:

  1. En el lugar de trabajo de desarrollo, en el panel Archivos, haz clic en el archivo SQLX para la declaración de la fuente de datos.
  2. En el archivo, ingresa el siguiente fragmento de código:

    config {
      type: "declaration",
      database: "",
      schema: "",
      name: "",
    }
    
    1. En database, ingresa el ID del proyecto que contiene la fuente de datos.
    2. En schema, ingresa el conjunto de datos de BigQuery en el que existe la fuente de datos.
    3. En name, ingresa el nombre de la tabla o la vista que deseas usar como fuente de datos. Luego, puedes usar ese nombre para hacer referencia a la fuente de datos en Dataform.

En la siguiente muestra de código, se puede ver una declaración de muestra de la tabla shakespeare en el conjunto de datos samples del proyecto bigquery-public-data como fuente de datos:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

¿Qué sigue?