Crea anulaciones de compilación de lugares de trabajo

En este documento, se muestra cómo crear anulaciones de compilación de lugares de trabajo para aislar tablas y vistas creadas a partir de tus lugares de trabajo de Dataform en BigQuery. Puedes usar anulaciones de compilación de lugares de trabajo para crear entornos de desarrollo de Dataform aislados.

Información acerca de las anulaciones de compilación de lugares de trabajo

Cuando desarrollas código de flujo de trabajo de SQL en un lugar de trabajo de Dataform, Dataform compila el código en tu lugar de trabajo en tiempo real para crear un resultado de compilación del lugar de trabajo. Dataform usa la configuración definida en el archivo de configuración del flujo de trabajo para crear el resultado de compilación del lugar de trabajo. Luego, cuando activas la ejecución en un lugar de trabajo, Dataform ejecuta el resultado de la compilación del lugar de trabajo en BigQuery.

Si quieres anular la configuración predeterminada establecida en la configuración del flujo de trabajo para todos los lugares de trabajo en tu repositorio, puedes crear anulaciones de compilación de lugares de trabajo.

Con las anulaciones de compilación de lugares de trabajo, puedes anular la siguiente configuración para todos los lugares de trabajo en tu repositorio:

Proyecto
Proyecto de Google Cloud en el que Dataform ejecuta el resultado de compilación del lugar de trabajo, configurado en workflow_settings.yaml como defaultProject o en dataform.json como defaultDatabase.
Prefijo de la tabla
El prefijo personalizado se agrega a todos los nombres de la tabla en todos los lugares de trabajo del repositorio.
Sufijo de esquema

Sufijo personalizado agregado al esquema de las tablas definidas en

Establece como defaultDataset en workflow_settings.yaml, defaultSchema en dataform.json o en el parámetro schema en el bloque config de una tabla.

Para crear entornos de desarrollo aislados, puedes aislar lugares de trabajo con anulaciones de compilación únicas. Puedes modificar de forma dinámica las anulaciones de compilación del prefijo de la tabla y el sufijo del esquema con la variable ${workspaceName}.

Cuando activas de forma manual la ejecución en un lugar de trabajo, la variable ${workspaceName} inserta el nombre del lugar de trabajo en la anulación de compilación del lugar de trabajo.

Cuando configuras ${workspaceName} como el prefijo de la tabla, Dataform agrega el nombre del lugar de trabajo a los nombres de todas las tablas en el lugar de trabajo. Después de la ejecución, en BigQuery, puedes identificar desde qué lugar de trabajo se origina una tabla.

Cuando configuras ${workspaceName} como el sufijo del esquema, Dataform agrega el nombre del lugar de trabajo a defaultSchema y crea un esquema personalizado dedicado al lugar de trabajo. Después de la ejecución, en BigQuery, puedes ubicar todas las tablas ejecutadas desde un lugar de trabajo específico en el esquema dedicado.

Ejemplo de anulaciones de compilación dinámica del lugar de trabajo

En el siguiente ejemplo, se muestran anulaciones de compilación dinámicas de lugares de trabajo aplicadas a un repositorio que contiene lugares de trabajo con nombres de desarrolladores que trabajan en el repositorio: Sasha y Kai.

En este ejemplo, el objetivo de las anulaciones de compilación del lugar de trabajo es crear entornos de desarrollo aislados para Sasha y Kai.

La siguiente configuración predeterminada se establece en workflow_settings.yaml:

  • defaultProject : analytics
  • defaultDataset: dataform

Las siguientes anulaciones de compilación de lugares de trabajo crean un prefijo de tabla dinámico y un sufijo de esquema para cada lugar de trabajo en el repositorio:

  • ID del proyecto de Google Cloud : analytics_dev
  • Prefijo de la tabla: ${workspaceName}
  • Sufijo de esquema: ${workspaceName}

Cuando Sasha activa manualmente la ejecución en el lugar de trabajo Sasha, Dataform ejecuta su contenido con la siguiente configuración:

  • Proyecto de Google Cloud: analytics_dev
  • Esquema: dataform_sasha
  • nombres de tabla: sasha_name, por ejemplo, sasha_orders.

Cuando Kai activa manualmente la ejecución en el lugar de trabajo Kai, Dataform ejecuta su contenido con la siguiente configuración:

  • Proyecto de Google Cloud: analytics_dev
  • Esquema: dataform_kai
  • nombres de tablas: kai_name, por ejemplo, kai_orders

Antes de comenzar

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ir a la página de Dataform

  2. Selecciona o crea un repositorio.

  3. Opcional: Para anular el proyecto predeterminado de Google Cloud, otorga a tu cuenta de servicio de Dataform acceso al proyecto de Google Cloud que planeas usar.

Funciones obligatorias

Si quieres obtener los permisos que necesitas para crear anulaciones de compilación de lugares de trabajo, pídele a tu administrador que te otorgue el rol de IAM de Administrador de Dataform (roles/dataform.admin) en los repositorios. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

Es posible que también puedas obtener los permisos necesarios a través de funciones personalizadas o, también, otras funciones predefinidas.

Crea anulaciones de compilación de lugares de trabajo

Para crear anulaciones de compilación del lugar de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Configuración.
  2. Haz clic en Editar.
  3. En el panel Anulaciones de compilación del lugar de trabajo, en el campo ID del proyecto de Google Cloud, ingresa el ID del proyecto de Google Cloud.
  4. En el campo Prefijo de la tabla, ingresa un prefijo para todos los nombres de la tabla.
    1. Opcional: Si quieres crear un prefijo de tabla dinámica que sea único para cada lugar de trabajo, ingresa ${workspaceName} como prefijo de la tabla.
  5. En el campo Sufijo del esquema, ingresa un sufijo para agregarlo al esquema de la tabla o vista creada.
    1. Opcional: Si quieres crear un sufijo de esquema dinámico que sea único para cada lugar de trabajo, ingresa ${workspaceName} como sufijo de la tabla.
  6. Haz clic en Guardar.

Dataform aplica anulaciones de compilación de lugares de trabajo a todos los de tu repositorio.

Edita anulaciones de compilación de lugares de trabajo

Para editar las anulaciones de compilación del lugar de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Configuración.
  2. Haz clic en Editar.
  3. Edita las anulaciones de compilación de lugares de trabajo y, luego, haz clic en Guardar.

Borrar anulaciones de compilación de lugares de trabajo

Para borrar anulaciones de compilación de lugares de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Configuración.
  2. Haz clic en Editar.
  3. En el panel Anulaciones de compilación del lugar de trabajo, haz clic en Borrar todo y, luego, en Guardar.

¿Qué sigue?