Para crear un ciclo de vida estandarizado de los flujos de trabajo de SQL de Dataform, mantiene la higiene de los datos y optimiza los procesos de desarrollo, te recomendamos lo siguiente:
Crear entornos de ejecución para aislar las tablas creadas durante a partir de tablas disponibles para los usuarios finales.
Establece configuraciones de lanzamientos y flujos de trabajo para ejecutar flujos de trabajo en un entorno de producción y, de forma opcional, en un entorno de etapa de pruebas.
En este documento, se describen soluciones para aislar el desarrollo tablas con anulaciones de compilación de lugares de trabajo y configurar entornos de etapa de pruebas y producción parámetros de configuración de lanzamiento y las configuraciones del flujo de trabajo.
Estas soluciones te permiten crear entornos de ejecución dentro de una sola Repositorio de Dataform y proyecto de Google Cloud. Puedes elegir tener varias copias de un repositorio de Dataform, alojadas en diferentes Proyecto de Google Cloud, y cada proyecto corresponde a una etapa de tu código como desarrollo, etapa de pruebas y producción. Este enfoque te permite personalizar los permisos de Identity and Access Management en cada etapa del ciclo de vida del código.
Prácticas recomendadas para entornos de ejecución aislados
Recomendamos aislar las tablas creadas durante el flujo de trabajo de desarrollo de SQL ejecuciones de tablas de producción en BigQuery. Esto garantiza que los usuarios finales puedan navegar a producción y elimina el riesgo de que los usuarios finales accedan a datos incorrectos por accidente.
Puedes crear entornos de ejecución aislados de las siguientes maneras:
- Divide las tablas de desarrollo y producción por esquema
- Se recomienda para equipos pequeños. Dataform crea modelos de desarrollo en diferentes esquemas de BigQuery. Dataform ejecuta todas las tablas de desarrollo en esquemas que tienen el mismo sufijo, lo que indica que se crearon durante el desarrollo. Los desarrolladores pueden reemplazar las tablas de desarrollo de los demás.
- Divide las tablas de desarrollo y producción por esquema y proyecto de Google Cloud
- Se recomienda para los equipos medianos. Dataform crea modelos de desarrollo en diferentes esquemas y proyectos de BigQuery. Dataform publicó todas las tablas de desarrollo en un proyecto de desarrollo exclusivo de Google Cloud. Cada desarrollador de Dataform tiene su propio esquema único para el desarrollo. tablas. Esta solución elimina el riesgo de los desarrolladores y reemplazar accidentalmente las tablas de desarrollo de cada uno. La desventaja de es que borrar tablas y esquemas de desarrollo y volver a crear es posible que todas las tablas de cada entorno requieran más tiempo.
- Dividir las tablas de desarrollo, etapa de pruebas y producción por proyecto de Google Cloud
- Se recomienda para equipos grandes o equipos que requieren un entorno de etapa de pruebas. Dataform ejecuta tablas de cada entorno en un proyecto de Google Cloud en BigQuery. Esta solución te brinda la mayor control sobre el ciclo de vida del código.
Todas las soluciones requieren un solo repositorio de Dataform Está conectado a un único repositorio remoto de terceros.
En todas las soluciones, los desarrolladores activar manualmente ejecuciones de desarrollo. en sus espacios de trabajo de Dataform. Dataform compila automáticamente tablas de producción y etapa de pruebas en una configuración de lanzamiento y las ejecuta con la frecuencia establecida en una configuración de flujo de trabajo.
Divide el desarrollo y la producción por esquema
Esta solución crea dos entornos de ejecución en los que Dataform ejecutará tus flujos de trabajo de SQL: desarrollo y producción. Para dividir las tablas de desarrollo y producción por esquema, debes configurar configuración del flujo de trabajo, anulaciones de compilación de lugares de trabajo y una versión configuración. Para programar ejecuciones de producción, debes crear una configuración de flujo de trabajo.
Dataform ejecuta todas las tablas de desarrollo en esquemas que tienen el mismo sufijo, lo que indica que se crearon durante el desarrollo. Dataform ejecuta todas las tablas de producción en esquemas sin ningún sufijo.
En la siguiente tabla, se muestra una configuración que divide el desarrollo y de producción por esquema, con un esquema de desarrollo:
| Configuración | Desarrollo | Producción |
|---|---|---|
| Proyecto de Google Cloud | enterprise-analytics |
enterprise-analytics |
| Rama de Git | nombre del lugar de trabajo | main |
| Anulaciones de compilación de lugares de trabajo | sufijo de esquema: dev |
- |
| Configuración de lanzamiento | - | production |
| Configuración del flujo de trabajo | - | production |
En esta solución, las tablas de desarrollo y producción se almacenan en un solo proyecto de Google Cloud.
Los desarrolladores activan la ejecución de forma manual en sus lugares de trabajo de Dataform. En todas las ejecuciones activadas de forma manual, Dataform ejecuta tablas en esquemas que tienen el mismo sufijo, lo que indica que se crearon durante el desarrollo. Los desarrolladores deben saber sobrescribir las tablas de cada uno.
En Dataform, los desarrolladores confirman y envían los cambios a sus
ramas del repositorio remoto. Luego, en la plataforma de hosting de Git de terceros,
envían solicitudes de extracción. La aprobación de una solicitud de extracción combina los cambios
a la rama main del repositorio remoto.
Dataform compila automáticamente tablas de producción a partir del
main del repositorio remoto en un resultado de compilación de acuerdo con
los ajustes de configuración de lanzamiento de production
Dataform ejecuta automáticamente el resultado de la compilación production.
según el programa establecido en la configuración del flujo de trabajo de production.
Para implementar esta solución, establece los siguientes parámetros de configuración de Dataform:
Configuración del flujo de trabajo
Según tu versión de Dataform Core, se aplica la configuración del flujo de trabajo
almacenado en workflow_settings.yaml o dataform.json. Para obtener más información, consulta
Establece la configuración del flujo de trabajo de Dataform.
En workflow_settings.yaml establece la siguiente configuración:
defaultProject: enterprise-analytics
defaultDataset: analytics
En dataform.json, establece la siguiente configuración:
{
defaultSchema: "analytics",
defaultDatabase: "enterprise-analytics"
}
Anulaciones de lugares de trabajo
Sufijo de esquema: "dev"
Configuración de lanzamiento
Commitish de Git: "main"
Para programar ejecuciones de resultados de compilación de production, haz lo siguiente:
crear una configuración de flujo de trabajo
Proceso de desarrollo de muestra
En este ejemplo, los desarrolladores Sasha y Kai trabajan en el mismo repositorio de Dataform. El repositorio de Dataform está conectado en un repositorio remoto de Git de terceros.
Confirman y envían cambios a ramas personalizadas en el repositorio remoto.
llamados sasha y kai.
En la siguiente tabla, se muestra la configuración aplicada del entorno para Sasha, Kai, y el entorno de producción:
| Configuración | Sasha | Kai | Producción |
|---|---|---|---|
| Proyecto de Google Cloud | enterprise-analytics |
enterprise-analytics |
enterprise-analytics |
| Rama de Git | sasha |
kai |
main |
| Esquema | analytics_dev |
analytics_dev |
analytics |
Sasha crea una tabla nueva y la implementa en producción en el siguiente proceso:
- En un lugar de trabajo de Dataform, Sasha crea la tabla
user_stats.sqlx. - En el lugar de trabajo, Sasha activa manualmente la ejecución de la tabla.
- Dataform crea la
Tabla
enterprise-analytics.analytics_dev.user_statsde Esquemaanalytics_devenenterprise-analyticsproyecto de Google Cloud en BigQuery. - En el espacio de trabajo, Sasha confirma el cambio y lo envía a
sasha. en el repositorio remoto de Git. - En el repositorio remoto, Sasha envía una solicitud de extracción.
- En el repositorio remoto, Kai revisa y aprueba la solicitud de extracción
la combinación del cambio en la rama
main. - Dataform actualiza automáticamente el resultado de compilación en el
productionversión con la frecuencia especificada. Durante la próxima actualización del Resultado de la compilaciónproduction, Dataform agrega el Tablaenterprise-analytics.analytics.user_statspara el resultado de la compilación. - Durante la ejecución programada de una configuración de flujo de trabajo, Dataform
ejecuta la tabla
enterprise-analytics.analytics.user_statsen el esquemaanalyticsen el proyecto de Google Cloudenterprise-analyticsen BigQuery. - La tabla
user_stats.sqlxestá disponible para los usuarios finales deanalytics. esquema en el proyectoenterprise-analyticsde Google Cloud en BigQuery.
Divide el desarrollo y la producción por esquema y proyecto
Esta solución crea dos entornos de ejecución: desarrollo y producción. Para dividir las tablas de desarrollo y producción por esquema y proyecto de Google Cloud, sigue estos pasos: debes establecer la configuración del flujo de trabajo, las anulaciones de compilación del espacio de trabajo, y una configuración de lanzamiento. Para programar ejecuciones de producción, debes crear una configuración de flujo de trabajo.
En esta solución, Dataform ejecuta el desarrollo en un proyecto de desarrollo exclusivo de Google Cloud, en esquemas con un sufijo de esquema diferente para cada lugar de trabajo.
Dataform ejecuta todas las tablas de producción en BigQuery un proyecto de producción dedicado de Google Cloud sin sufijo de esquema
En la siguiente tabla, se muestra una configuración que divide el desarrollo y de producción por esquema y proyecto de Google Cloud, con un solo por un lugar de trabajo de Dataform:
| Configuración | Desarrollo | Producción |
|---|---|---|
| Proyecto de Google Cloud | enterprise-dev |
enterprise-prod |
| Rama de Git | nombre del lugar de trabajo | main |
| Anulaciones de compilación de lugares de trabajo | sufijo de esquema: ${workspaceName} |
- |
| Configuración de lanzamiento | - | production |
| Configuración del flujo de trabajo | - | production |
En esta solución, Dataform ejecuta tablas de desarrollo y producción. en diferentes esquemas y proyectos de Google Cloud en BigQuery.
Los desarrolladores activan la ejecución de forma manual en sus lugares de trabajo de Dataform.
Cada desarrollador trabaja en su lugar de trabajo exclusivo, con el nombre de ellos.
por ejemplo, sasha.
Cuando un desarrollador activa la ejecución en su lugar de trabajo, Dataform agrega el nombre del lugar de trabajo como el sufijo del esquema. a todos los esquemas. Luego, se ejecuta Dataform en el esquema personalizado.
Por ejemplo, Dataform crea tablas desde el lugar de trabajo sasha.
En el esquema analytics_sasha en BigQuery. De esta manera, cada desarrollador
almacena sus tablas de desarrollo en sus propios esquemas. No hay riesgo de
reemplazar por accidente tablas de otros desarrolladores.
En Dataform, los desarrolladores confirman y envían los cambios a sus
ramas del repositorio remoto. Luego, en la plataforma de hosting de Git de terceros,
envían solicitudes de extracción. La aprobación de una solicitud de extracción combina los cambios
a la rama main del repositorio remoto.
Dataform compila automáticamente tablas de producción a partir del
main del repositorio remoto en un resultado de compilación de acuerdo con
los ajustes de configuración de lanzamiento de production
Dataform ejecuta automáticamente el resultado de la compilación production.
según el programa establecido en la configuración del flujo de trabajo de production.
Para implementar esta solución, establece los siguientes parámetros de configuración de Dataform:
Configuración del flujo de trabajo
Según tu versión de Dataform Core, se aplica la configuración del flujo de trabajo
almacenado en workflow_settings.yaml o dataform.json. Para obtener más información, consulta
Establece la configuración del flujo de trabajo de Dataform.
En workflow_settings.yaml, establece la siguiente configuración:
defaultProject: enterprise-dev
defaultDataset: analytics
En dataform.json, establece la siguiente configuración:
{
defaultSchema: "analytics",
defaultDatabase: "enterprise-dev"
}
Anulaciones de lugares de trabajo
Sufijo de esquema: "${workspaceName}"
Configuración de lanzamiento
- Commitish de Git:
"main" - ID del proyecto de Google Cloud:
"enterprise-prod"
Para programar ejecuciones de resultados de compilación de production, haz lo siguiente:
Crear una configuración de flujo de trabajo con un programa personalizado
que mejor se adapte a tus necesidades.
Proceso de desarrollo de muestra
En este ejemplo, los desarrolladores Sasha y Kai trabajan en el mismo repositorio de Dataform. El repositorio de Dataform está conectado en un repositorio remoto de Git de terceros.
Sasha trabaja en su espacio de trabajo dedicado llamado sasha,
y Kai trabaja en su espacio de trabajo dedicado llamado Kai.
Confirman y envían cambios a ramas personalizadas en el repositorio remoto.
llamados sasha y kai.
En la siguiente tabla, se muestra la configuración aplicada del entorno para Sasha, Kai, y el entorno de producción:
| Configuración | Sasha | Kai | Producción |
|---|---|---|---|
| Proyecto de Google Cloud | enterprise-dev |
enterprise-dev |
enterprise-prod |
| Rama de Git | sasha |
kai |
main |
| Anulaciones de compilación de lugares de trabajo | sufijo de esquema: ${workspaceName} |
sufijo de esquema: ${workspaceName} |
- |
| Configuración de lanzamiento | - | - | production |
| Configuración del flujo de trabajo | - | - | production |
Sasha crea una tabla nueva y la implementa en producción en el siguiente proceso:
- En el espacio de trabajo de Dataform
sasha, Sasha crea la tablauser_stats.sqlx. - En el espacio de trabajo
sasha, Sasha activa de forma manual la ejecución de la tabla. - Dataform ejecuta la
Tabla
enterprise-dev.analytics_sasha.user_statsde Esquemaanalytics_sashaen el proyecto de Google Cloudenterprise-deven BigQuery. - En el espacio de trabajo de
sasha, Sasha confirma el cambio y lo envía alsashaen el repositorio de Git remoto. - En el repositorio remoto, Sasha envía una solicitud de extracción.
- En el repositorio remoto, Kai revisa y aprueba la solicitud de extracción
la combinación del cambio en la rama
main. - Dataform actualiza automáticamente el resultado de compilación en el
productionversión con la frecuencia especificada. Durante la próxima actualización del Resultado de la compilaciónproduction, Dataform agrega el Tablaenterprise-prod.analytics.user_statspara el resultado de la compilación. - Durante la ejecución programada de una configuración de flujo de trabajo, Dataform
ejecuta la tabla
enterprise-prod.analytics.user_statsen el esquemaanalyticsen el proyecto de Google Cloudenterprise-proden BigQuery. - La tabla
user_stats.sqlxestá disponible para los usuarios finales deanalytics. esquema en el proyectoenterprise-prodde Google Cloud en BigQuery.
Divide el desarrollo, la etapa de pruebas y la producción por esquema y proyecto
Esta solución crea tres entornos de ejecución: desarrollo, etapa de pruebas, y producción. Todos los entornos se dividen por proyecto de Google Cloud. Además, el desarrollo se divide de la etapa de pruebas y la producción por esquema.
Para dividir las tablas de desarrollo, etapa de pruebas y producción por esquema y proyecto de Google Cloud, debes establecer la configuración del flujo de trabajo, las anulaciones de compilación del espacio de trabajo, y dos configuraciones de lanzamiento. Para programar la etapa de pruebas y la producción de flujo de trabajo, debes crear dos configuraciones de flujo de trabajo separadas.
En esta solución, Dataform ejecuta tablas de desarrollo en BigQuery en múltiples esquemas de desarrollo, una por lugar de trabajo de Dataform, en un proyecto de desarrollo exclusivo de Google Cloud.
Dataform ejecuta todas las tablas de etapa de pruebas en BigQuery en un proyecto de etapa de pruebas dedicado de Google Cloud en esquemas que tengan el mismo sufijo que indica que se crearon en la etapa de pruebas.
Dataform ejecuta todas las tablas de producción en BigQuery en un proyecto de producción dedicado de Google Cloud en esquemas que tienen el mismo sufijo que indica que se crearon en producción.
En la siguiente tabla, se muestra un ejemplo de configuración que divide el desarrollo, de almacenamiento en etapa intermedia y producción por esquema y proyecto de Google Cloud, con una de desarrollo por un lugar de trabajo de Dataform:
| Configuración | Desarrollo | Etapa de pruebas | Producción |
|---|---|---|---|
| Proyecto de Google Cloud | enterprise-dev |
enterprise-staging |
enterprise-prod |
| Rama de Git | nombre del lugar de trabajo | main |
prod |
| Anulaciones de compilación de lugares de trabajo | sufijo de esquema: ${workspaceName} |
- | - |
| Configuración de lanzamiento | - | staging |
production |
| Configuración del flujo de trabajo | - | staging |
production |
En esta solución, Dataform ejecuta el desarrollo, la etapa de pruebas y en diferentes proyectos de Google Cloud en BigQuery. Además, Dataform ejecuta tablas de desarrollo en múltiples esquemas, uno por lugar de trabajo. Dataform ejecuta la etapa de pruebas y la producción en el mismo esquema, pero en diferentes proyectos de Google Cloud.
Los desarrolladores activan la ejecución de forma manual en sus lugares de trabajo de Dataform.
Cada desarrollador trabaja en su lugar de trabajo exclusivo, con el nombre de ellos.
por ejemplo, sasha.
Cada lugar de trabajo corresponde a un esquema personalizado de BigQuery, que lleva el nombre del lugar de trabajo. Cuando un desarrollador activa la ejecución en su lugar de trabajo, Dataform agrega el nombre del lugar de trabajo como el sufijo del esquema. al esquema predeterminado. Luego, se ejecuta Dataform tablas en el esquema personalizado en BigQuery.
Por ejemplo, Dataform ejecuta tablas del lugar de trabajo sasha.
En el esquema analytics_sasha en BigQuery. De esta manera, cada desarrollador
almacena sus tablas de desarrollo
en su propio esquema. No hay riesgo de
reemplazar por accidente tablas de otros desarrolladores.
En Dataform, los desarrolladores confirman y envían los cambios a sus
ramas del repositorio remoto. Luego, en la plataforma de hosting de Git de terceros,
envían solicitudes de extracción a la rama main. Aprobación de una solicitud de extracción
Combina los cambios en la rama main del repositorio remoto.
Dataform compila automáticamente tablas de etapa de pruebas a partir del
main del repositorio remoto en un resultado de compilación de acuerdo con
los ajustes de configuración de lanzamiento de staging
Dataform ejecuta automáticamente el resultado de la compilación staging.
según el programa establecido en la configuración del flujo de trabajo de staging.
Para promover tablas de la etapa de pruebas a las de producción en el hosting de Git de terceros
plataforma, los desarrolladores envían solicitudes de extracción de la rama main a prod
. La aprobación de una solicitud de extracción combina los cambios en la rama prod
del repositorio remoto.
Dataform compila automáticamente tablas de producción a partir del
prod del repositorio remoto en un resultado de compilación de acuerdo con
los ajustes de configuración de lanzamiento de production
Dataform ejecuta automáticamente el resultado de la compilación production.
según el programa establecido en la configuración del flujo de trabajo de production.
Para implementar esta solución, establece los siguientes parámetros de configuración de Dataform:
Configuración del flujo de trabajo
Según tu versión de Dataform Core, se aplica la configuración del flujo de trabajo
almacenado en workflow_settings.yaml o dataform.json. Para obtener más información, consulta
Establece la configuración del flujo de trabajo de Dataform.
En workflow_settings.yaml, establece la siguiente configuración:
defaultProject: enterprise-dev
defaultDataset: analytics
En dataform.json, establece la siguiente configuración:
{
defaultSchema: "analytics",
defaultDatabase: "enterprise-dev"
}
Anulaciones de lugares de trabajo
Sufijo de esquema: "${workspaceName}"
Configuración de lanzamiento de staging
- Commitish de Git:
"main" - ID del proyecto de Google Cloud:
"enterprise-staging"
Configuración de lanzamiento de prod
- Commitish de Git:
"prod" - ID del proyecto de Google Cloud:
"enterprise-prod"
Para programar ejecuciones de los resultados de la compilación de staging y production, haz lo siguiente:
Crear dos configuraciones de flujo de trabajo independientes con programas personalizados
que mejor se adapte a tus necesidades.
Proceso de desarrollo de muestra
En este ejemplo, los desarrolladores Sasha y Kai trabajan en el mismo repositorio de Dataform. El repositorio de Dataform está conectado en un repositorio remoto de Git de terceros.
Sasha trabaja en su espacio de trabajo dedicado llamado sasha,
y Kai trabaja en su espacio de trabajo dedicado llamado Kai.
Confirman y envían cambios a ramas personalizadas en el repositorio remoto.
llamados sasha y kai.
En la siguiente tabla, se muestra la configuración aplicada del entorno para Sasha, Kai, y el entorno de producción:
| Configuración | Sasha | Kai | Etapa de pruebas | Producción |
|---|---|---|---|---|
| Proyecto de Google Cloud | enterprise-dev |
enterprise-dev |
enterprise-staging |
enterprise-prod |
| Rama de Git | sasha |
kai |
main |
prod |
| Esquema | analytics_sasha |
analytics_kai |
analytics |
analytics |
Sasha crea una tabla nueva y la implementa en producción en el siguiente proceso:
- En el espacio de trabajo de Dataform
sasha, Sasha crea la tablauser_stats.sqlx. - En el espacio de trabajo
sasha, Sasha activa de forma manual la ejecución de la tabla. - Dataform ejecuta la
Tabla
enterprise-dev.analytics_sasha.user_statsde Esquemaanalytics_sashaen el proyecto de Google Cloudenterprise-deven BigQuery. - En el espacio de trabajo de
sasha, Sasha confirma el cambio y lo envía alsashaen el repositorio de Git remoto. - En el repositorio remoto, Sasha envía una solicitud de extracción a la rama
main. - En el repositorio remoto, Kai revisa y aprueba la solicitud de extracción
la combinación del cambio en la rama
main. - Dataform actualiza automáticamente el resultado de compilación en el
stagingversión con la frecuencia especificada. Durante la próxima actualización del Resultado de la compilaciónstaging, Dataform agrega el Tablaenterprise-staging.analytics.user_statspara el resultado de la compilación. - Durante la ejecución programada de una configuración de flujo de trabajo, Dataform
ejecuta la tabla
enterprise-staging.analytics.user_statsen el esquemaanalyticsen el proyecto de Google Cloudenterprise-stagingen BigQuery. - En el repositorio remoto, Sasha envía una solicitud de extracción a la rama
prod. - En el repositorio remoto, Kai revisa y aprueba la solicitud de extracción
la combinación del cambio en la rama
prod. - Dataform actualiza automáticamente el resultado de compilación en el
productionversión con la frecuencia especificada. Durante la próxima actualización del Resultado de la compilaciónproduction, Dataform agrega la Tablaenterprise-prod.analytics.user_statspara el resultado de la compilación. - Durante la ejecución programada de una configuración de flujo de trabajo, Dataform
ejecuta la tabla
enterprise-prod.analytics.user_statsen el esquemaanalyticsen el proyecto de Google Cloudenterprise-prodde en BigQuery. - La tabla
user_stats.sqlxestá disponible para los usuarios finales deanalytics. esquema en el proyectoenterprise-prodde Google Cloud en BigQuery.
¿Qué sigue?
- Para obtener más información sobre el ciclo de vida del código en Dataform y las diferentes formas para configurarlo, consulta Introducción al ciclo de vida del código en Dataform.
- Si quieres aprender a crear anulaciones de compilación de lugares de trabajo de Dataform, consulta Crea anulaciones de compilación de lugares de trabajo.
- Si quieres aprender a crear una configuración de lanzamiento de Dataform, consulta Crea una configuración de lanzamiento.
- Si quieres aprender a crear una configuración de flujo de trabajo de Dataform, consulta Programa ejecuciones con parámetros de configuración del flujo de trabajo.