En este documento, se muestra cómo crear una configuración de lanzamiento en Dataform para establecer plantillas de parámetros de compilación, que puedes ejecutar de forma programada. Puedes usar configuraciones de lanzamiento para configurar entornos de ejecución, por ejemplo, de etapa de pruebas y producción.
Acerca de los parámetros de configuración de versiones de Dataform
Para ejecutar flujos de trabajo de SQL en BigQuery, Dataform compila el código de flujo de trabajo de SQL en un resultado de compilación. Este proceso ocurre de forma automática cuando desarrollas un flujo de trabajo de SQL en un lugar de trabajo de Dataform.
Los parámetros de configuración de lanzamiento te permiten personalizar los resultados de la compilación. Puedes usarlos para crear entornos de ejecución, por ejemplo, para la etapa de pruebas.
Configuración de lanzamiento
En una configuración de lanzamiento, puedes configurar anulaciones de compilación de la configuración del flujo de trabajo, establecer variables de compilación y establecer la frecuencia con la que se crean los resultados de compilación.
Una configuración de lanzamiento de Dataform contiene la siguiente configuración de compilación:
- Configuración de la versión
- Es el ID de la versión, el confirmish de Git para los resultados de la compilación, y la frecuencia de creación de los resultados de compilación. La frecuencia es una configuración opcional. Si la estableces, la frecuencia mínima es de 1 hora.
- Anulaciones de compilación
- Anulaciones del proyecto de Google Cloud, prefijo de tabla, sufijo del esquema y variables de compilación definidas en la configuración del flujo de trabajo.
Cómo funciona una configuración de lanzamiento
Dataform crea resultados de compilación a partir de una configuración de lanzamiento con la frecuencia especificada o cuando activas la compilación.
La frecuencia es una configuración opcional y no es necesaria para crear una configuración de lanzamiento. Si la estableces, la frecuencia mínima es de 1 hora.
Puedes activar la compilación de forma manual en la página Detalles de configuración de la versión o activar la compilación con la API de Dataform releaseConfigs.
Durante la compilación, Dataform extrae código de la confirmación de Git especificada de tu repositorio. Luego, compila el código con las anulaciones de compilación aplicadas (si las hay) y crea el resultado de compilación. El resultado de compilación más reciente creado para la configuración de lanzamiento es el resultado de la compilación en vivo.
Puedes programar ejecuciones de resultados de compilación a partir de configuraciones de lanzamiento en configuraciones de flujo de trabajo. También puedes ejecutar una configuración de lanzamiento seleccionada fuera de cualquier programa. Durante la ejecución de la configuración de un flujo de trabajo, Dataform ejecuta el resultado de la compilación en vivo de la configuración de lanzamiento seleccionada.
Antes de comenzar
En la consola de Google Cloud, ve a la página Dataform.
Selecciona o crea un repositorio.
Opcional: Para anular el proyecto predeterminado de Google Cloud en la configuración de lanzamiento, otorga a tu cuenta de servicio de Dataform acceso al proyecto de Google Cloud que planeas usar.
Funciones obligatorias
Si quieres obtener los permisos que necesitas para crear una configuración de lanzamiento,
pídele a tu administrador que te otorgue el rol de
IAM Editor de Dataform (roles/dataform.editor) en los repositorios.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.
Es posible que también puedas obtener los permisos necesarios a través de funciones personalizadas o, también, otras funciones predefinidas.
Crea una configuración de lanzamiento
Para crear una configuración de lanzamiento de Dataform, sigue estos pasos:
- En tu repositorio, ve a Lanzamientos y programación.
- En la sección Configuración de la versión, haz clic en Crear.
En el panel Crear configuración de la versión, establece la configuración de la versión.
En el campo ID de la versión, ingresa un ID único para la configuración del lanzamiento.
Los IDs solo pueden incluir números, letras, guiones y guiones bajos.
En el campo Git commitish, ingresa la rama de Git o el SHA de confirmación de Git para la versión.
En un repositorio de Dataform que no está conectado a un repositorio remoto, el valor es siempre
main.Opcional: En el menú desplegable Frequency, selecciona la frecuencia con la que se crean los resultados de compilación.
Si la estableces, la frecuencia mínima es de 1 hora.
Opcional: En la sección Anulaciones de compilación, configura los parámetros de configuración de compilación.
- En el campo ID del proyecto de Google Cloud, ingresa el ID del proyecto de Google Cloud en el que deseas almacenar el resultado de la compilación.
- En el campo Sufijo del esquema, ingresa un sufijo para adjuntar al esquema configurado en la configuración del flujo de trabajo.
- En el campo Prefijo de la tabla, ingresa un prefijo para todos los nombres de la tabla.
Opcional: En la sección Variables de compilación, configura las variables de compilación.
- Haz clic en Agregar variable.
- En el campo Clave, ingresa la variable de compilación.
- En el campo Valor, ingresa el valor de la variable de compilación.
- Para agregar otra variable de compilación, haz clic en Agregar variable.
Haz clic en Crear.
Si anulas el proyecto predeterminado de Google Cloud, asegúrate de que tu cuenta de servicio de Dataform tenga acceso al proyecto de Google Cloud establecido en la configuración de lanzamiento.
Por ejemplo, la siguiente configuración de lanzamiento crea un resultado de compilación production a partir de la rama main cada hora, sin ninguna anulación de compilación:
- ID de la versión:
production - Commitish de Git:
main - Frecuencia: por hora
- sin anulaciones de compilación
Ver detalles de una configuración de lanzamiento
Puedes ver los siguientes detalles de una configuración de lanzamiento:
- Configuración de la versión
- Commitish de Git
- Marca de tiempo del resultado de la compilación más reciente
- Programa de cron
- Anulaciones de compilación
- Variables de compilación
- Resultado de la compilación en vivo
- Marca de tiempo de creación
- Commitish de Git
- SHA de confirmación
- Resultados de compilaciones anteriores
Para ver los detalles de una configuración de lanzamiento, sigue estos pasos:
- En tu repositorio, ve a Lanzamientos y programación.
- Selecciona una configuración de lanzamiento.
- En la página Detalles de configuración de la versión, inspecciona los detalles de la configuración de lanzamiento.
En la tabla Resultados de la compilación programada, se muestran resultados de compilación anteriores creados automáticamente por la configuración de lanzamiento.
En la tabla Resultados de compilación manual/API, se muestran los resultados de compilación creados manualmente o mediante llamadas a la API de Dataform de los 1,000 resultados de cumplimiento más recientes en el repositorio.
Activa la compilación de forma manual
Para crear de forma manual un resultado de compilación a partir de una configuración de lanzamiento seleccionada, sigue estos pasos:
- En tu repositorio, ve a Lanzamientos y programación.
- Selecciona una configuración de lanzamiento.
- En la página Detalles de configuración de la versión, haz clic en Nueva compilación.
El resultado de compilación recién creado se convierte en el resultado en vivo para esa configuración de lanzamiento.
Los resultados de la compilación manual se muestran en la tabla Resultados de la compilación manual/API en la página Detalles de configuración de la versión.
Activa la ejecución de una configuración de lanzamiento
Para activar la ejecución de la compilación en vivo como resultado de una configuración de lanzamiento seleccionada en BigQuery, sigue estos pasos:
- En tu repositorio, ve a Lanzamientos y programación.
- En la sección Opciones de configuración de la versión, haz clic en Iniciar ejecución.
- En el panel Ejecutar flujo de trabajo manual, en el menú desplegable Configuración de la versión, selecciona una configuración de lanzamiento.
- Selecciona las acciones del flujo de trabajo de SQL que se ejecutarán:
- Para ejecutar todo el flujo de trabajo de SQL, haz clic en Todas las acciones.
- Para ejecutar acciones seleccionadas en el flujo de trabajo de SQL, haz clic en Selección de acciones y, luego, selecciona acciones.
- Para ejecutar acciones con las etiquetas seleccionadas, haz clic en Selección de etiquetas y, luego, selecciona etiquetas.
- Opcional: Para ejecutar acciones o etiquetas seleccionadas y sus dependencias, selecciona la opción Incluir dependencias.
- Opcional: Para ejecutar acciones o etiquetas seleccionadas y sus dependencias, selecciona la opción Incluir dependencias.
Opcional: Para volver a compilar todas las tablas desde cero, selecciona la opción Ejecutar con actualización completa (Run with full refresh).
Sin esta opción, Dataform actualiza las tablas incrementales sin volver a compilarlas desde cero.
Haz clic en Iniciar ejecución.
Edita una configuración de lanzamiento
Para editar una configuración de lanzamiento, sigue estos pasos:
- En tu repositorio, ve a Lanzamientos y programación.
- Junto a la configuración de lanzamiento que quieras editar, haz clic en el menú Más y, luego, en Editar.
- En el panel Edit release configuration, edita los parámetros de configuración del lanzamiento y, luego, haz clic en Save.
Borra una configuración de lanzamiento
Para borrar una configuración de lanzamiento, sigue estos pasos:
- En tu repositorio, ve a Lanzamientos y programación.
- Junto a la configuración de lanzamiento que quieras borrar, haz clic en el menú Más y, luego, en Borrar.
- En el diálogo Borrar configuración de lanzamiento, haz clic en Borrar.
¿Qué sigue?
- Si quieres aprender a crear parámetros de configuración del flujo de trabajo de Dataform, consulta Programa ejecuciones con parámetros de configuración de flujos de trabajo.
- Para obtener más información sobre el ciclo de vida del código de Dataform, consulta Introducción al ciclo de vida del código en Dataform.