Crea anulaciones de compilación de lugares de trabajo

En este documento, se muestra cómo crear anulaciones de compilación de lugares de trabajo para aislar las tablas y vistas creadas desde tus lugares de trabajo de Dataform en BigQuery. Puedes usar anulaciones de compilación de lugares de trabajo para crear entornos de desarrollo de Dataform aislados.

Información acerca de las anulaciones de compilación de lugares de trabajo

Cuando desarrollas código de flujo de trabajo SQL en un lugar de trabajo de Dataform, Dataform compila el código de tu lugar de trabajo en tiempo real para crear un resultado de compilación del lugar de trabajo. Dataform usa la configuración definida en el archivo dataform.json para crear el resultado de la compilación del lugar de trabajo. Luego, cuando activas la ejecución en un lugar de trabajo, Dataform ejecuta el resultado de compilación del lugar de trabajo en BigQuery.

A fin de anular la configuración predeterminada establecida en dataform.json para todos los lugares de trabajo en tu repositorio, puedes crear anulaciones de compilación de lugares de trabajo.

Con las anulaciones de compilación de lugares de trabajo, puedes anular la siguiente configuración para todos los lugares de trabajo en tu repositorio:

Proyecto
Es el proyecto de Google Cloud en el que Dataform ejecuta el resultado de compilación del lugar de trabajo, configurado en dataform.json como defaultDatabase.
Prefijo de la tabla
Se agregó un prefijo personalizado a todos los nombres de las tablas en todos los lugares de trabajo del repositorio.
Sufijo de esquema
Sufijo personalizado agregado al esquema de tablas definidas en defaultSchema, en dataform.json, o en el parámetro schema, en el bloque config de una tabla.

Para crear entornos de desarrollo aislados, puedes aislarlos con anulaciones de compilación únicas. Puedes modificar de forma dinámica las anulaciones de compilación del prefijo de la tabla y del sufijo del esquema con la variable ${workspaceName}.

Cuando activas la ejecución en un lugar de trabajo de forma manual, la variable ${workspaceName} inserta el nombre del lugar de trabajo en las anulaciones de compilación del lugar de trabajo.

Cuando configuras ${workspaceName} como el prefijo de la tabla, Dataform agrega el nombre del lugar de trabajo a los nombres de todas las tablas del lugar de trabajo. Después de la ejecución, en BigQuery, puedes identificar desde qué lugar de trabajo se origina una tabla.

Cuando configuras ${workspaceName} como el sufijo del esquema, Dataform agrega el nombre del lugar de trabajo a defaultSchema, lo que crea un esquema personalizado dedicado al lugar de trabajo. Después de la ejecución, en BigQuery, puedes ubicar todas las tablas ejecutadas desde un lugar de trabajo específico en el esquema dedicado.

Ejemplo de anulaciones de compilación de lugares de trabajo dinámicos

En el siguiente ejemplo, se muestran anulaciones de compilación dinámicas de lugares de trabajo aplicadas a un repositorio que contiene lugares de trabajo con nombres de desarrolladores que trabajan en el repositorio: Sasha y Kai.

El objetivo de las anulaciones de compilación de lugares de trabajo en este ejemplo es crear entornos de desarrollo aislados para Sasha y Kai.

En dataform.json se establecen los siguientes parámetros de configuración predeterminados:

  • defaultDatabase : analytics
  • defaultSchema: dataform

Las siguientes anulaciones de compilación de lugares de trabajo crean un prefijo de tabla dinámico y un sufijo de esquema para cada lugar de trabajo en el repositorio:

  • Google Cloud Project ID : analytics_dev
  • Prefijo de la tabla: ${workspaceName}
  • Sufijo de esquema: ${workspaceName}

Cuando Sasha activa la ejecución de forma manual en el lugar de trabajo Sasha, Dataform ejecuta su contenido con la siguiente configuración:

  • Proyecto de Google Cloud: analytics_dev
  • Esquema: dataform_sasha
  • nombres de tablas: sasha_name, por ejemplo, sasha_orders

Cuando Kai activa la ejecución de forma manual en el lugar de trabajo Kai, Dataform ejecuta su contenido con la siguiente configuración:

  • Proyecto de Google Cloud: analytics_dev
  • Esquema: dataform_kai
  • nombres de tablas: kai_name, por ejemplo, kai_orders

Antes de comenzar

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ir a la página Dataform

  2. Selecciona o crea un repositorio.

  3. Opcional: Para anular el proyecto predeterminado de Google Cloud, otorga a tu cuenta de servicio de Dataform acceso al proyecto de Google Cloud que planeas usar.

Funciones obligatorias

Si quieres obtener los permisos necesarios para crear anulaciones de compilación de lugares de trabajo, pídele a tu administrador que te otorgue el rol de IAM de Administrador de Dataform (roles/dataform.admin) en los repositorios. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

Es posible que también puedas obtener los permisos necesarios mediante funciones personalizadas, o bien otras funciones predefinidas.

Crea anulaciones de compilación de lugares de trabajo

Para crear anulaciones de compilación de lugares de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Configuración.
  2. Haz clic en Editar.
  3. En el panel Anulaciones de compilación del lugar de trabajo, en el campo ID del proyecto de Google Cloud, ingresa el ID del proyecto de Google Cloud.
  4. En el campo Prefijo de la tabla, ingresa un prefijo para todos los nombres de tabla.
    1. Opcional: Si quieres crear un prefijo de tabla dinámico que sea único para cada lugar de trabajo, ingresa ${workspaceName} como prefijo de la tabla.
  5. En el campo Sufijo de esquema, ingresa un sufijo para adjuntarlo al esquema de la tabla o vista creada.
    1. Opcional: A fin de crear un sufijo de esquema dinámico que sea único para cada lugar de trabajo, ingresa ${workspaceName} como sufijo de tabla.
  6. Haz clic en Guardar.

Dataform aplica anulaciones de compilación de lugares de trabajo a todos los lugares de trabajo en tu repositorio.

Edita anulaciones de compilación de lugares de trabajo

Para editar las anulaciones de compilación de lugares de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Configuración.
  2. Haz clic en Editar.
  3. Edita las anulaciones de compilación de lugares de trabajo y, luego, haz clic en Guardar.

Borra anulaciones de compilación de lugares de trabajo

Para borrar anulaciones de compilación de lugares de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Configuración.
  2. Haz clic en Editar.
  3. En el panel Lugar de trabajo de compilación, haz clic en Borrar todo y, luego, en Guardar.

¿Qué sigue?