Programar ejecuciones de producción
En esta guía de inicio rápido, se explican los siguientes pasos para programar ejecuciones de producción en Dataform:
- Crea un repositorio de Dataform.
- Otorgar acceso de Dataform a BigQuery.
Crea una configuración de lanzamiento para configurar el entorno de producción.
Crea una configuración de lanzamiento de
production
en la que se establezca la frecuencia de creación de resultados de compilación deproduction
.Crea una configuración de flujo de trabajo para programar ejecuciones en el entorno de producción.
Crea una configuración de flujo de trabajo de
production
, selecciona la configuración de lanzamiento deproduction
y establece un programa para ejecutar los resultados de compilación deproduction
.
Antes de comenzar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
Roles obligatorios
Para obtener los permisos que necesitas para realizar todas las tareas de este instructivo, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Administrador de Dataform (
roles/dataform.admin
) en los repositorios -
Editor de Dataform (
roles/dataform.editor
) en lugares de trabajo y workflowInvocations
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Crea un repositorio de Dataform
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en
Crear repositorio.En la página Crear repositorio, haz lo siguiente:
En el campo ID del repositorio, ingresa
quickstart-production
.En la lista Región, selecciona
europe-west4
.Haz clic en Crear.
Haz clic en Listo.
Otorga acceso de Dataform a BigQuery
Para ejecutar flujos de trabajo en BigQuery, la cuenta de servicio de Dataform debe tener los siguientes roles obligatorios:
- BigQuery Data Editor en los proyectos a los que Dataform necesita acceso de lectura y escritura. Por lo general, incluyen el proyecto que aloja tu repositorio de Dataform.
- BigQuery Data Viewer en proyectos a los que Dataform necesita acceso de solo lectura
- Usuario del trabajo de BigQuery en el proyecto que aloja tu repositorio de Dataform.
Para otorgar estos roles, sigue estos pasos:
En la consola de Google Cloud, ve a la página IAM.
Haz clic en Agregar.
En el campo Principales nuevas, ingresa el ID de tu cuenta de servicio de Dataform.
En la lista desplegable Seleccionar un rol, selecciona el rol Usuario de trabajo de BigQuery.
Haz clic en Agregar otro rol y, luego, en la lista desplegable Selecciona un rol, elige Editor de datos de BigQuery.
Haz clic en Agregar otro rol y, luego, en la lista desplegable Selecciona un rol, elige Visualizador de datos de BigQuery.
Haz clic en Guardar.
Crea una configuración de lanzamiento
Para crear resultados de compilación de producción del repositorio quickstart-production
, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en
quickstart-production
.Haz clic en Configuraciones de lanzamiento y, luego, en Nueva configuración de lanzamiento.
En el panel Crear configuración de lanzamiento, establece la siguiente configuración:
En el campo ID de versión, ingresa
production
.En el campo Commitish de Git, deja el valor predeterminado
main
.En el menú desplegable Frecuencia, selecciona Personalizada.
En el campo Programación personalizada, ingresa
0 16 * * *
.En el menú desplegable Zona horaria, selecciona una zona horaria UTC+1, por ejemplo, Hora del meridiano de Greenwich (GMT).
Todos los días a las 4 p.m. (UTC+1), Dataform compilará el repositorio
quickstart-production
y aplicará la configuración de compilación establecida en esta configuración de lanzamiento para crear resultados de compilación deproduction
.Haz clic en Crear.
La configuración de lanzamiento de production
crea un resultado de compilación del repositorio quickstart-production
completo todos los días a las 4 p.m. (UTC+1).
Crea una configuración de flujo de trabajo
Para programar la ejecución de tablas production
, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en
quickstart-production
.Haz clic en Configuraciones de flujo de trabajo y, luego, en Configuración de flujo de trabajo nuevo.
En el panel Crear configuración de flujo de trabajo, en el campo ID de configuración, ingresa
production
.En el menú desplegable Configuración de lanzamiento, selecciona
production
.En el campo Frecuencia, ingresa
0 17 * * *
.En el menú desplegable Zona horaria, selecciona una zona horaria UTC+1, por ejemplo, Hora del meridiano de Greenwich (GMT).
Todos los días, a las 5 p.m. (UTC+1), Dataform ejecutará el resultado de compilación
production
más reciente del repositorioquickstart-production
.Para garantizar que Dataform ejecute el resultado de compilación más reciente en la configuración de lanzamiento correspondiente, mantén un descanso mínimo de 1 hora entre el momento de la creación del resultado de compilación y el momento de la ejecución programada.
Haz clic en Todas las acciones.
Dataform ejecutará todas las acciones del flujo de trabajo de SQL en el resultado de compilación
production
.Haz clic en Crear.
La configuración del flujo de trabajo de production
ejecuta el resultado de la compilación más reciente que creó la configuración de lanzamiento de production
todos los días a las 4 p.m. (UTC+1).
Cómo ver los resultados de compilación de production
anteriores
Para ver los resultados de compilaciones production
programadas anteriores, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en
quickstart-production
.Haz clic en Configuraciones de lanzamiento.
Haz clic en
production
.
Cómo ver ejecuciones de flujos de trabajo de production
anteriores
Para ver las ejecuciones de flujos de trabajo de production
anteriores, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en
quickstart-production
.Haz clic en Configuración del flujo de trabajo.
Limpia
Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.
Borra el conjunto de datos creado en BigQuery
Para evitar que se generen cargos por los recursos de BigQuery, sigue estos pasos para borrar el conjunto de datos llamado dataform_production
:
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y selecciona
dataform_production
.Haz clic en el menú
Acciones y, luego, selecciona Borrar.En el cuadro de diálogo Borrar conjunto de datos, ingresa borrar y, luego, haz clic en Borrar.
Borra la configuración de lanzamiento de Dataform
No hay costos asociados con la creación de configuraciones de lanzamiento de Dataform. Sin embargo, si deseas borrar la configuración de lanzamiento de production
, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en
quickstart-production
.Haz clic en Configuraciones de lanzamiento.
En la configuración de lanzamiento de
production
, haz clic en el menú Más y, luego, en Borrar.En el diálogo Borrar configuración de lanzamiento, haz clic en Borrar.
Borra la configuración del flujo de trabajo de Dataform
Si quieres evitar que se apliquen cargos por los recursos de BigQuery, sigue estos pasos para borrar la configuración del flujo de trabajo production
de Dataform:
En la consola de Google Cloud, ve a la página Dataform.
Haz clic en
quickstart-production
.Haz clic en Configuración del flujo de trabajo.
En la configuración del flujo de trabajo
production
, haz clic en el menú Más y, luego, en Borrar.En el diálogo Borrar configuración de lanzamiento, haz clic en Borrar.
Borra el repositorio de Dataform
Crear repositorios de Dataform no genera costos. Sin embargo, si deseas borrar un repositorio y todo su contenido, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataform.
Para las
quickstart-production
, haz clic en el menú Más y, luego, selecciona Borrar.En la ventana Borrar repositorio, ingresa el nombre del repositorio para confirmar su eliminación.
Para confirmar la acción, haz clic en Borrar.
¿Qué sigue?
Para obtener más información sobre el ciclo de vida del código en Dataform, consulta Introducción al ciclo de vida del código en Dataform.
Para obtener más información sobre las prácticas recomendadas para el ciclo de vida del código en Dataform, consulta Cómo administrar el ciclo de vida del código.
Para obtener más información sobre las configuraciones de lanzamiento en Dataform, consulta Cómo crear una configuración de lanzamiento.
Para obtener más información sobre las configuraciones de flujo de trabajo en Dataform, consulta Programa ejecuciones con configuraciones de flujo de trabajo.