Programar ejecuciones de producción

En esta guía de inicio rápido, se explican los siguientes pasos para programar ejecuciones de producción en Dataform:

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  8. Roles requeridos

    Para obtener los permisos que necesitas para realizar todas las tareas de este instructivo, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

    Crea un repositorio de Dataform

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Haz clic en Crear repositorio.

    3. En la página Crear repositorio, haz lo siguiente:

      1. En el campo ID del repositorio, ingresa quickstart-production.

      2. En la lista Región, selecciona europe-west4.

      3. Haz clic en Crear.

    4. Haz clic en Listo.

    Otorga acceso de Dataform a BigQuery

    Para ejecutar flujos de trabajo en BigQuery, la cuenta de servicio de Dataform debe tener los siguientes roles obligatorios:

    Para otorgar estos roles, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página IAM.

      Ve a la página IAM

    2. Haz clic en Agregar.

    3. En el campo Principales nuevas, ingresa el ID de tu cuenta de servicio de Dataform.

    4. En la lista Seleccionar un rol, selecciona el rol Usuario de trabajo de BigQuery.

    5. Haz clic en Agregar otro rol y, luego, en la lista Selecciona un rol, elige el rol de Editor de datos de BigQuery.

    6. Haz clic en Agregar otro rol y, luego, en la lista Selecciona un rol, elige el rol de Visualizador de datos de BigQuery.

    7. Haz clic en Guardar.

    Crea una configuración de lanzamiento

    Para crear resultados de compilación de producción del repositorio quickstart-production, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Haz clic en quickstart-production.

    3. Haz clic en Configuraciones de lanzamiento y, luego, en Nueva configuración de lanzamiento.

    4. En el panel Crear configuración de lanzamiento, establece la siguiente configuración:

      1. En el campo ID de versión, ingresa production.

      2. En el campo Git commitish, deja el valor predeterminado main .

      3. En el menú Frecuencia, selecciona Personalizada.

      4. En el campo Programación personalizada, ingresa 0 16 * * *.

      5. En el menú Zona horaria, selecciona una zona horaria UTC+1, por ejemplo, Hora del meridiano de Greenwich (GMT).

      Todos los días a las 4 p.m. (UTC+1), Dataform compilará el repositorio quickstart-production y aplicará la configuración de compilación establecida en esta configuración de lanzamiento para crear resultados de compilación production.

    5. Haz clic en Crear.

    La configuración de lanzamiento de production crea un resultado de compilación de todo el repositorio de quickstart-production todos los días a las 4 p.m. (UTC+1).

    Crea una configuración de flujo de trabajo

    Para programar la ejecución de tablas de production, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Haz clic en quickstart-production.

    3. Haz clic en Configuración del flujo de trabajo y, luego, en Configuración del flujo de trabajo nuevo.

    4. En el panel Crear configuración de flujo de trabajo, en el campo ID de configuración, ingresa production.

    5. En el menú Configuración de lanzamiento, selecciona production.

    6. En el campo Frecuencia, ingresa 0 17 * * *.

    7. En el menú Zona horaria, selecciona una zona horaria UTC+1, por ejemplo, Hora del meridiano de Greenwich (GMT).

      Todos los días a las 5 p.m. (UTC+1), Dataform ejecuta el resultado de la compilación production más reciente del repositorio quickstart-production.

      Para asegurarte de que Dataform ejecute el resultado de compilación más reciente en la configuración de versión correspondiente, mantén un descanso mínimo de 1 hora entre el momento de la creación del resultado de compilación y el momento de la ejecución programada.

    8. Haz clic en Todas las acciones.

      Dataform ejecuta todas las acciones del flujo de trabajo en el resultado de compilación production.

    9. Haz clic en Crear.

    La configuración del flujo de trabajo de production ejecuta el resultado de la compilación más reciente que creó la configuración de lanzamiento de production todos los días a las 4 p.m. (UTC+1).

    Visualiza los resultados de compilaciones de production anteriores

    Para ver los resultados de compilaciones de production programadas anteriores, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Haz clic en quickstart-production.

    3. Haz clic en Configuraciones de lanzamiento.

    4. Haz clic en production.

    Cómo ver las ejecuciones anteriores del flujo de trabajo de production

    Para ver las ejecuciones anteriores del flujo de trabajo de production, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Haz clic en quickstart-production.

    3. Haz clic en Configuración del flujo de trabajo.

    Limpia

    Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

    Borra el conjunto de datos creado en BigQuery

    Para evitar que se apliquen cargos por los recursos de BigQuery, sigue estos pasos para borrar el conjunto de datos llamado dataform_production:

    1. En la consola de Google Cloud , ve a la página BigQuery.

      Ir a BigQuery

    2. En el panel Explorador, expande tu proyecto y selecciona dataform_production.

    3. Haz clic en el menú Acciones y, luego, selecciona Borrar.

    4. En el cuadro de diálogo Borrar conjunto de datos, ingresa borrar y, luego, haz clic en Borrar.

    Borra la configuración de lanzamiento de Dataform

    No hay costos asociados con la creación de configuraciones de lanzamiento de Dataform. Sin embargo, si deseas borrar la configuración de lanzamiento de production, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Haz clic en quickstart-production.

    3. Haz clic en Configuraciones de lanzamiento.

    4. En la configuración de lanzamiento de production, haz clic en el menú Más y, luego, en Borrar.

    5. En el cuadro de diálogo Borrar configuración de lanzamiento, haz clic en Borrar.

    Borra la configuración del flujo de trabajo de Dataform

    Si quieres evitar que se apliquen cargos por los recursos de BigQuery, sigue estos pasos para borrar la configuración del flujo de trabajo production de Dataform:

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. Haz clic en quickstart-production.

    3. Haz clic en Configuración del flujo de trabajo.

    4. En la configuración del flujo de trabajo production, haz clic en el menú Más y, luego, en Borrar.

    5. En el cuadro de diálogo Borrar configuración de lanzamiento, haz clic en Borrar.

    Borra el repositorio de Dataform

    Crear repositorios de Dataform no genera costos. Sin embargo, si deseas borrar un repositorio y todo su contenido, sigue estos pasos:

    1. En la consola de Google Cloud , ve a la página Dataform.

      Ir a Dataform

    2. En quickstart-production, haz clic en el menú Más y, luego, selecciona Borrar.

    3. En la ventana Borrar repositorio, ingresa el nombre del repositorio para confirmar su eliminación.

    4. Para confirmar la acción, haz clic en Borrar.

    ¿Qué sigue?