Crea anulaciones de compilación de lugares de trabajo

En este documento, se muestra cómo crear anulaciones de compilación de lugares de trabajo para aislar las tablas y vistas creadas a partir de tus lugares de trabajo de Dataform en BigQuery. Puedes usar anulaciones de compilación de lugares de trabajo para crear entornos de desarrollo aislados de Dataform.

Información acerca de las anulaciones de compilación de lugares de trabajo

Cuando desarrollas código de flujo de trabajo de SQL en un espacio de trabajo de Dataform, Dataform compila el código de tu espacio de trabajo en tiempo real para crear un resultado de compilación del espacio de trabajo. Dataform usa parámetros de configuración definidos en la archivo de configuración de flujo de trabajo para crear la resultado de la compilación del espacio de trabajo. Luego, Cuando activas la ejecución en un lugar de trabajo, Dataform ejecuta el resultado de la compilación del lugar de trabajo en en BigQuery.

Para anular la configuración predeterminada establecida en de flujo de trabajo de todos espacios de trabajo en tu repositorio, puedes crear anulaciones de compilación de lugares de trabajo.

Con las anulaciones de compilación de lugares de trabajo, puedes anular la siguiente configuración para todos los lugares de trabajo en tu repositorio:

Proyecto
Proyecto de Google Cloud en el que Dataform ejecuta el lugar de trabajo resultado de la compilación, establecido en workflow_settings.yaml como defaultProject o en dataform.json como defaultDatabase.
Prefijo de la tabla
Se agregó un prefijo personalizado a los nombres de las tablas en todos los lugares de trabajo de la de Terraform.
Sufijo de esquema

Sufijo personalizado agregado al esquema de las tablas definidas en

Configurar como defaultDataset en workflow_settings.yaml, defaultSchema en dataform.json, o en el parámetro schema en el bloque config de una tabla.

Para crear entornos de desarrollo aislados, puedes aislar los lugares de trabajo anulaciones de compilación únicas. Puedes modificar de forma dinámica el prefijo de la tabla y Anula la compilación del sufijo del esquema con la variable ${workspaceName}.

Cuando activas de forma manual la ejecución en un lugar de trabajo, ${workspaceName} variable inserta el nombre del lugar de trabajo en la compilación del lugar de trabajo anulaciones.

Cuando configuras ${workspaceName} como prefijo de la tabla, Dataform agrega el prefijo del espacio de trabajo por los nombres de todas las tablas que contiene. Después de la ejecución, en BigQuery, puedes identificar desde qué lugar de trabajo se origina una tabla.

Cuando configuras ${workspaceName} como el sufijo del esquema, Dataform agrega el nombre del lugar de trabajo a defaultSchema, lo que crea un esquema personalizado dedicado al lugar de trabajo. Después de la ejecución, en BigQuery, puedes ubicar todos ejecutadas desde un lugar de trabajo específico en el esquema dedicado.

Ejemplo de anulaciones de compilación dinámica del lugar de trabajo

En el siguiente ejemplo, se muestran anulaciones de compilación de lugares de trabajo dinámicos aplicadas a un que contiene espacios de trabajo con nombres de desarrolladores que trabajan en el repositorios: Sasha y Kai.

En este ejemplo, el objetivo de las anulaciones de compilación de lugares de trabajo es crear entornos de desarrollo aislados para Sasha y Kai.

La siguiente configuración predeterminada se establece en workflow_settings.yaml:

  • defaultProject : analytics
  • defaultDataset: dataform

Las siguientes anulaciones de compilación de lugares de trabajo crean un prefijo de tabla dinámica y sufijo de esquema para cada lugar de trabajo en el repositorio:

  • ID del proyecto de Google Cloud : analytics_dev
  • Prefijo de la tabla: ${workspaceName}
  • Sufijo de esquema: ${workspaceName}

Cuando Sasha active manualmente la ejecución en el lugar de trabajo Sasha, Dataform ejecuta su contenido con la siguiente configuración:

  • Proyecto de Google Cloud: analytics_dev
  • Esquema: dataform_sasha
  • nombres de tabla: sasha_name, por ejemplo, sasha_orders

Cuando Kai activa manualmente la ejecución en el espacio de trabajo Kai, Dataform ejecuta su contenido con la siguiente configuración:

  • Proyecto de Google Cloud: analytics_dev
  • Esquema: dataform_kai
  • nombres de tablas: kai_name, por ejemplo, kai_orders

Antes de comenzar

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ir a la página de Dataform

  2. Selecciona o crea un repositorio.

  3. Opcional: Para anular el proyecto predeterminado de Google Cloud, otorga a tu Acceso a la cuenta de servicio de Dataform para proyecto de Google Cloud que planeas usar.

Roles obligatorios

A fin de obtener los permisos que necesitas para crear anulaciones de compilación de lugares de trabajo, solicita a tu administrador que te otorgue el Es el rol de IAM de Administrador de Dataform (roles/dataform.admin) en los repositorios. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Crea anulaciones de compilación de lugares de trabajo

Para crear anulaciones de compilación del lugar de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Configuración.
  2. Haz clic en Edit.
  3. En el panel Anulaciones de compilación del lugar de trabajo, en la ID del proyecto de Google Cloud, ingresa el ID del proyecto de Google Cloud.
  4. En el campo Prefijo de la tabla, ingresa un prefijo para todos los nombres de la tabla.
    1. Opcional: Crear un prefijo de tabla dinámica que sea único para cada ingresa ${workspaceName} como prefijo de la tabla.
  5. En el campo Sufijo de esquema, ingresa un sufijo para agregarlo al esquema de la tabla o vista creada.
    1. Opcional: Crea un sufijo de esquema dinámico único para cada uno ingresa ${workspaceName} como sufijo de la tabla.
  6. Haz clic en Guardar.

Dataform aplica anulaciones de compilación de lugares de trabajo a todos los lugares de trabajo de tu repositorio.

Edita anulaciones de compilación de lugares de trabajo

Para editar las anulaciones de compilación del lugar de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Configuración.
  2. Haz clic en Edit.
  3. Edita las anulaciones de compilación de lugares de trabajo y, luego, haz clic en Guardar.

Borrar anulaciones de compilación de lugares de trabajo

Para borrar anulaciones de compilación de lugares de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Configuración.
  2. Haz clic en Edit.
  3. En el panel Anulaciones de compilación del lugar de trabajo, haz clic en Borrar todo. Luego, haz clic en Guardar.

¿Qué sigue?

  • Si deseas obtener información para activar manualmente la ejecución, consulta Activador ejecución.