En este documento, se muestra cómo crear anulaciones de compilación de lugares de trabajo para aislar las tablas y vistas creadas a partir de tus lugares de trabajo de Dataform en en BigQuery. Puedes usar anulaciones de compilación de lugares de trabajo para crear entornos de desarrollo aislados de Dataform.
Información acerca de las anulaciones de compilación de lugares de trabajo
Cuando desarrollas código de flujo de trabajo de SQL en un espacio de trabajo de Dataform, Dataform compila el código de tu lugar de trabajo en tiempo real para crear un resultado de compilación del espacio de trabajo. Dataform usa parámetros de configuración definidos en la archivo de configuración de flujo de trabajo para crear la resultado de la compilación del espacio de trabajo. Luego, Cuando activas la ejecución en un lugar de trabajo, Dataform ejecuta el resultado de la compilación del lugar de trabajo en en BigQuery.
Para anular la configuración predeterminada establecida en de flujo de trabajo de todos espacios de trabajo en tu repositorio, puedes crear anulaciones de compilación de lugares de trabajo.
Con las anulaciones de compilación de lugares de trabajo, puedes anular la siguiente configuración para todos los lugares de trabajo en tu repositorio:
- Proyecto
- Proyecto de Google Cloud en el que Dataform ejecuta el lugar de trabajo
resultado de la compilación, establecido en
workflow_settings.yaml
comodefaultProject
o endataform.json
comodefaultDatabase
. - Prefijo de la tabla
- Se agregó un prefijo personalizado a los nombres de las tablas en todos los lugares de trabajo de la de Terraform.
- Sufijo de esquema
Sufijo personalizado agregado al esquema de las tablas definidas en
Configurar como
defaultDataset
enworkflow_settings.yaml
,defaultSchema
endataform.json
, o en el parámetroschema
en el bloqueconfig
de una tabla.
Para crear entornos de desarrollo aislados, puedes aislar los lugares de trabajo
anulaciones de compilación únicas. Puedes modificar de forma dinámica el prefijo de la tabla y
Anula la compilación del sufijo del esquema con la variable ${workspaceName}
.
Cuando activas de forma manual la ejecución en un lugar de trabajo, ${workspaceName}
variable inserta el nombre del lugar de trabajo en la compilación del lugar de trabajo
anulaciones.
Cuando configuras ${workspaceName}
como prefijo de la tabla, Dataform agrega el prefijo
del espacio de trabajo por los nombres de todas las tablas que contiene. Después de la ejecución,
en BigQuery, puedes identificar desde qué lugar de trabajo se origina una tabla.
Cuando configuras ${workspaceName}
como el sufijo del esquema, Dataform agrega
el nombre del lugar de trabajo a defaultSchema
, lo que crea un esquema personalizado dedicado
al lugar de trabajo. Después de la ejecución, en BigQuery, puedes ubicar todos
ejecutadas desde un lugar de trabajo específico en el esquema dedicado.
Ejemplo de anulaciones de compilación dinámica del lugar de trabajo
En el siguiente ejemplo, se muestran anulaciones de compilación de lugares de trabajo dinámicos aplicadas a un
que contiene espacios de trabajo con nombres de desarrolladores que trabajan en el
repositorios: Sasha
y Kai
.
En este ejemplo, el objetivo de las anulaciones de compilación de lugares de trabajo es crear entornos de desarrollo aislados para Sasha y Kai.
La siguiente configuración predeterminada se establece en workflow_settings.yaml
:
defaultProject
:analytics
defaultDataset
:dataform
Las siguientes anulaciones de compilación de lugares de trabajo crean un prefijo de tabla dinámica y sufijo de esquema para cada lugar de trabajo en el repositorio:
- ID del proyecto de Google Cloud :
analytics_dev
- Prefijo de la tabla:
${workspaceName}
- Sufijo de esquema:
${workspaceName}
Cuando Sasha active manualmente la ejecución en el lugar de trabajo Sasha
,
Dataform ejecuta su contenido con la siguiente configuración:
- Proyecto de Google Cloud:
analytics_dev
- Esquema:
dataform_sasha
- nombres de tabla:
sasha_name
, por ejemplo,sasha_orders
Cuando Kai activa manualmente la ejecución en el espacio de trabajo Kai
, Dataform
ejecuta su contenido con la siguiente configuración:
- Proyecto de Google Cloud:
analytics_dev
- Esquema:
dataform_kai
- nombres de tablas:
kai_name
, por ejemplo,kai_orders
Antes de comenzar
En la consola de Google Cloud, ve a la página Dataform.
Selecciona o crea un repositorio.
Opcional: Para anular el proyecto predeterminado de Google Cloud, otorga a tu Acceso a la cuenta de servicio de Dataform para proyecto de Google Cloud que planeas usar.
Roles obligatorios
A fin de obtener los permisos que necesitas para crear anulaciones de compilación de lugares de trabajo,
solicita a tu administrador que te otorgue el
Es el rol de IAM de Administrador de Dataform (roles/dataform.admin
) en los repositorios.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Crea anulaciones de compilación de lugares de trabajo
Para crear anulaciones de compilación del lugar de trabajo de Dataform, sigue estos pasos:
- En tu repositorio, ve a Configuración.
- Haz clic en Edit.
- En el panel Anulaciones de compilación del lugar de trabajo, en la ID del proyecto de Google Cloud, ingresa el ID del proyecto de Google Cloud.
- En el campo Prefijo de la tabla, ingresa un prefijo para todos los nombres de la tabla.
- Opcional: Crear un prefijo de tabla dinámica que sea único para cada
ingresa
${workspaceName}
como prefijo de la tabla.
- Opcional: Crear un prefijo de tabla dinámica que sea único para cada
ingresa
- En el campo Sufijo de esquema, ingresa un sufijo para agregarlo al esquema de
la tabla o vista creada.
- Opcional: Crea un sufijo de esquema dinámico único para cada uno
ingresa
${workspaceName}
como sufijo de la tabla.
- Opcional: Crea un sufijo de esquema dinámico único para cada uno
ingresa
- Haz clic en Guardar.
Dataform aplica anulaciones de compilación de lugares de trabajo a todos los lugares de trabajo de tu repositorio.
Edita anulaciones de compilación de lugares de trabajo
Para editar las anulaciones de compilación del lugar de trabajo de Dataform, sigue estos pasos:
- En tu repositorio, ve a Configuración.
- Haz clic en Edit.
- Edita las anulaciones de compilación de lugares de trabajo y, luego, haz clic en Guardar.
Borrar anulaciones de compilación de lugares de trabajo
Para borrar anulaciones de compilación de lugares de trabajo de Dataform, sigue estos pasos:
- En tu repositorio, ve a Configuración.
- Haz clic en Edit.
- En el panel Anulaciones de compilación del lugar de trabajo, haz clic en Borrar todo. Luego, haz clic en Guardar.
¿Qué sigue?
- Si deseas obtener información para activar la ejecución de forma manual, consulta Activador ejecución.