En este documento, se muestra cómo crear una configuración de lanzamiento en Dataform para configurar plantillas de parámetros de compilación. que puedes ejecutar según un programa. Puedes usar configuraciones de lanzamiento para configurar entornos de ejecución, por ejemplo, de etapa de pruebas y producción.
Acerca de los parámetros de configuración de versiones de Dataform
Para ejecutar flujos de trabajo de SQL en BigQuery, Dataform compila SQL código del flujo de trabajo en un resultado de compilación. Este proceso ocurre automáticamente cuando desarrollas un flujo de trabajo de SQL en un lugar de trabajo de Dataform.
Los parámetros de configuración de lanzamiento te permiten personalizar los resultados de la compilación. Puedes usarlos para crear entornos de ejecución, como la etapa de pruebas.
Configuración de lanzamiento
En una configuración de lanzamiento, puedes configurar anulaciones de compilación de configuración del flujo de trabajo, configurar variables de compilación y definir la frecuencia de crear resultados de compilación.
Una configuración de lanzamiento de Dataform contiene lo siguiente: Configuración de compilación:
- Configuración de la versión
- ID de la versión, git commitish para los resultados de la compilación. y la frecuencia de creación de resultados de compilación. La frecuencia es una configuración opcional. Si la estableces, la frecuencia mínima es de 1 hora.
- Anulaciones de compilación
- Anulaciones de Google Cloud proyecto, prefijo de tabla, sufijo de esquema y variables de compilación definidos en la configuración del flujo de trabajo.
Cómo funciona una configuración de lanzamiento
Dataform crea resultados de compilación a partir de una configuración de lanzamiento en
la frecuencia especificada o cuando activas la compilación.
La frecuencia es una configuración opcional y no es necesaria para
crear una configuración de lanzamiento. Si la estableces, la frecuencia mínima es de 1 hora.
Puedes
activar manualmente la compilación en la página Detalles de configuración de la versión
o activar la compilación con la API de Dataform releaseConfigs.
Durante la compilación, Dataform extrae código del Commitish de Git de tu repositorio. Luego, Dataform compila el código con las anulaciones de compilación aplicadas. (si los hay) y crea el resultado de la compilación. El resultado de compilación más reciente creado para la versión es el resultado de la compilación en vivo.
Puedes programar ejecuciones de resultados de compilación a partir de configuraciones de lanzamiento en configuraciones del flujo de trabajo. También puedes ejecutar una configuración de lanzamiento seleccionada fuera de cualquier cronograma. Durante la ejecución de la configuración de un flujo de trabajo, Dataform ejecuta la Es el resultado de la compilación en vivo de la configuración de lanzamiento seleccionada.
Antes de comenzar
En la consola de Google Cloud, ve a la página Dataform.
Selecciona o crea un repositorio.
Opcional: Para anular el proyecto predeterminado de Google Cloud en el configuración de lanzamiento, otorga acceso a tu cuenta de servicio de Dataform al proyecto de Google Cloud que planeas usar.
Roles obligatorios
Para obtener los permisos que necesitas para crear una configuración de lanzamiento,
solicita a tu administrador que te otorgue el
Rol de IAM de editor de Dataform (roles/dataform.editor) en los repositorios.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Crea una configuración de lanzamiento
Para crear una configuración de lanzamiento de Dataform, sigue estos pasos:
- En tu repositorio, ve a Versiones y Programación
- En la sección Configuración de la versión, haz clic en Crear.
En el panel Crear configuración de la versión, establece la configuración de la versión.
En el campo ID de la versión, ingresa un ID único para la configuración del lanzamiento.
Los IDs solo pueden incluir números, letras, guiones y guiones bajos.
En el campo Git commitish, ingresa la rama o confirmación de Git. SHA para el lanzamiento.
En un repositorio de Dataform que no esté conectado a un repositorio remoto, el valor es siempre
main.Opcional: En el menú desplegable Frecuencia, selecciona la frecuencia de creación de los resultados de la compilación.
Si la estableces, la frecuencia mínima es de 1 hora.
Opcional: En la sección Anulaciones de compilación, configura los parámetros de configuración de compilación.
- En el campo ID del proyecto de Google Cloud, ingresa el ID de la cuenta de Google en el que quieres almacenar el resultado de la compilación.
- En el campo Sufijo de esquema, ingresa un sufijo para agregarlo al esquema establecido en la configuración del flujo de trabajo.
- En el campo Prefijo de la tabla, ingresa un prefijo para todos los nombres de la tabla.
Opcional: En la sección Variables de compilación, configura las variables de compilación.
- Haz clic en Agregar variable.
- En el campo Clave, ingresa la variable de compilación.
- En el campo Valor, ingresa el valor de la variable de compilación.
- Para agregar otra variable de compilación, haz clic en Agregar variable.
Haz clic en Crear.
Si anulas el proyecto predeterminado de Google Cloud, asegúrate de que tu cuenta de servicio de Dataform tiene acceso al proyecto de Google Cloud establecido en la configuración del lanzamiento.
Por ejemplo, la siguiente configuración de lanzamiento crea un production
resultado de la compilación de la rama main cada hora,
sin anulaciones de compilación:
- ID de la versión:
production - Commitish de Git:
main - Frecuencia: por hora
- sin anulaciones de compilación
Ver detalles de una configuración de lanzamiento
Puedes ver los siguientes detalles de una configuración de lanzamiento:
- Configuración de la versión
- Commitish de Git
- Marca de tiempo del resultado de la compilación más reciente
- Programa de cron
- Anulaciones de compilación
- Variables de compilación
- Resultado de la compilación en vivo
- Marca de tiempo de creación
- Commitish de Git
- SHA de confirmación
- Resultados de compilaciones anteriores
Para ver los detalles de una configuración de lanzamiento, sigue estos pasos:
- En tu repositorio, ve a Versiones y Programación
- Selecciona una configuración de lanzamiento.
- Inspecciona los detalles en la página Detalles de configuración de la versión. de la configuración del lanzamiento.
En la tabla Resultados de la compilación programada, se muestran los resultados de compilaciones anteriores. que la configuración de lanzamiento creó automáticamente.
En la tabla Resultados de compilación manual/API, se muestran los resultados de compilación. creados manualmente o a través de llamadas a la API de Dataform con la versión más reciente En el repositorio, hay 1,000 resultados de complementariedad.
Activa la compilación de forma manual
Para crear de forma manual un resultado de compilación a partir de una configuración de lanzamiento seleccionada, sigue estos pasos:
- En tu repositorio, ve a Versiones y Programación
- Selecciona una configuración de lanzamiento.
- En la página Detalles de configuración de la versión, haz clic en Nueva compilación.
El resultado de la compilación recién creado se convierte en el resultado en vivo para esa configuración de lanzamiento.
Los resultados de la compilación manual se muestran en el Tabla de resultados de la compilación manual o a través de la API en la Página Detalles de la configuración de lanzamiento
Activa la ejecución de una configuración de lanzamiento
Para activar la ejecución de la compilación en vivo, genera un resultado de lanzamiento a BigQuery, sigue estos pasos:
- En tu repositorio, ve a Versiones y Programación
- En la sección Opciones de configuración de la versión, haz clic en Iniciar ejecución.
- En el panel Ejecutar flujo de trabajo manual, en la sección Configuración de la versión una configuración de lanzamiento.
- Selecciona las acciones del flujo de trabajo de SQL que se ejecutarán:
- Para ejecutar todo el flujo de trabajo de SQL, haz clic en Todas las acciones.
- Para ejecutar las acciones seleccionadas en el flujo de trabajo de SQL, Haz clic en Selección de acciones y, luego, elige acciones.
- Para ejecutar acciones con las etiquetas seleccionadas, haz clic en Selección de etiquetas y, luego, etiquetas.
- Opcional: Para ejecutar acciones o etiquetas seleccionadas y sus dependencias, selecciona la opción Incluir dependencias
- Opcional: Para ejecutar acciones o etiquetas seleccionadas y sus dependientes, selecciona la opción Incluir dependientes.
Opcional: Para volver a compilar todas las tablas desde cero, selecciona Opción Run with full refresh.
Sin esta opción, Dataform actualiza las tablas incrementales sin reconstruirlos desde cero.
Haz clic en Iniciar ejecución.
Edita una configuración de lanzamiento
Para editar una configuración de lanzamiento, sigue estos pasos:
- En tu repositorio, ve a Versiones y Programación
- Junto a la configuración de lanzamiento que quieras editar, haz clic en Más y, luego, haz clic en Editar.
- En el panel Edit release configuration, edita la configuración de la versión. y, luego, haz clic en Guardar.
Borra una configuración de lanzamiento
Para borrar una configuración de lanzamiento, sigue estos pasos:
- En tu repositorio, ve a Versiones y Programación
- Junto a la configuración de lanzamiento que quieras borrar, haz clic en Más y, luego, haz clic en Borrar.
- En el diálogo Borrar configuración de lanzamiento, haz clic en Borrar.
¿Qué sigue?
- Si quieres aprender a crear parámetros de configuración del flujo de trabajo de Dataform, consulta Programa ejecuciones con parámetros de configuración del flujo de trabajo.
- Para obtener más información sobre Dataform del ciclo de vida del código, consulta Introducción al ciclo de vida del código en Dataform.