Programar preparaciones de datos

En este documento se describe cómo programar las canalizaciones de preparación de datos y cómo ejecutarlas manualmente.

La preparación de datos se basa en Dataform. Cada programación de preparación de datos se ejecuta con las credenciales de usuario de tu cuenta de Google o con una cuenta de servicio de Dataform que selecciones al configurar la programación o la prueba.

Los cambios que hagas en los pasos de preparación de datos no se guardarán automáticamente. Debes guardar e implementar los cambios para que se puedan ejecutar con una programación. Las programaciones siempre ejecutan la versión implementada más reciente de tu preparación de datos y excluyen los cambios que estés desarrollando y que no hayas implementado.

Antes de empezar

Antes de empezar, crea una preparación de datos.

Roles obligatorios

Para autorizar una preparación de datos con una cuenta de servicio cuando ejecutes manualmente la preparación de datos en desarrollo o programes la preparación de datos, debes asignar los roles a la cuenta de servicio que vayas a usar para ejecutar las preparaciones de datos. Para obtener más información, consulta Dar acceso a la cuenta de servicio de Dataform.

Desarrollar una preparación de datos

Mientras desarrollas una preparación de datos, puedes ejecutar los pasos manualmente e inspeccionar el resultado antes de desplegar los cambios en producción. Puedes probar la versión actual que estás desarrollando con tus datos mientras BigQuery sigue ejecutando la última versión implementada según una programación. Antes de realizar la ejecución, debes configurar el destino y corregir los errores de validación.

Ejecutar manualmente una preparación de datos en desarrollo

Para probar los pasos de preparación de datos y validar los resultados en la tabla de destino, ejecuta la preparación de datos manualmente desde el editor de preparación de datos:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, despliega tu proyecto y la carpeta Preparaciones de datos. Haga clic en el nombre de la preparación de datos que quiera ejecutar.

3. En la barra de herramientas del editor de preparación de datos, haga clic en Más > Configurar experiencia de ejecución ahora.

4. En la sección Autenticación, autoriza la preparación de los datos con las credenciales de usuario de tu cuenta de Google o con una cuenta de servicio.

   • Para usar las credenciales de usuario de tu cuenta de Google (Vista previa), selecciona Ejecutar con mis credenciales de usuario. Es la opción predeterminada.
   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, a continuación, selecciona una cuenta de servicio. Si la cuenta de servicio necesita permisos adicionales, concédele los roles necesarios haciendo clic en Conceder todos.

5. Haz clic en Guardar.

6. Corrige los errores de validación que aparezcan.

7. En la barra de herramientas del editor de preparación de datos, haz clic en Ejecutar.

8. En el cuadro de diálogo Ejecutar ahora, haga clic en Confirmar para confirmar que esta ejecución manual escribe datos en una tabla de destino, que también puede usar para las ejecuciones programadas.

   Si has seleccionado Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu cuenta de Google (Vista previa).

   A continuación, se ejecutan los pasos y se carga el resultado en el destino.

9. Opcional: Una vez completada la ejecución, puedes ver los detalles sobre la ejecución en el panel Ejecuciones.

Desplegar una preparación de datos

Para programar ejecuciones de una versión de tu preparación de datos, primero debes desplegarla. Las programaciones ejecutan la versión implementada más recientemente.

Para implementar una preparación de datos, sigue estos pasos:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, despliega tu proyecto y la carpeta Preparaciones de datos. Haga clic en el nombre de la preparación de datos elegida.

   Se abre el editor de preparación de datos.

3. En la barra de herramientas del editor de preparación de datos, haga clic en Implementar.

Crear programación

Para crear una programación que ejecute los pasos de preparación de datos implementados y cargue los datos preparados en la tabla de destino, primero debe programar una ejecución de preparación de datos. Para programar la ejecución, debes configurar el destino y corregir los errores de validación.

Para crear una programación de preparación de datos, sigue estos pasos:

Panel Explorador

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, despliega tu proyecto y la carpeta Preparaciones de datos. Haga clic en el nombre de la preparación de datos que quiera programar.

3. En la barra de herramientas del editor de preparación de datos, haga clic en Programar.

4. Introduce un nombre para la programación.

5. En la sección Autenticación, autoriza la preparación de datos con las credenciales de usuario de tu cuenta de Google o con una cuenta de servicio.

   • Para usar las credenciales de usuario de tu cuenta de Google (Vista previa), selecciona Ejecutar con mis credenciales de usuario.
   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, a continuación, selecciona una cuenta de servicio.

6. Programa una frecuencia.

7. Haz clic en Crear programación. Si has seleccionado Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu cuenta de Google (Vista previa).

Página Programación

1. En la Google Cloud consola, ve a la página Programación.

   Ve a Programación.

2. Haz clic en Crear y, a continuación, selecciona Programación de preparación de datos en el menú.

3. En el panel Programar preparación de datos, en el campo Preparación de datos, seleccione la preparación de datos que quiera programar.

4. En el campo Nombre de la programación, escriba un nombre para la programación.

5. En la sección Autenticación, autoriza la preparación de datos con las credenciales de usuario de tu cuenta de Google o con una cuenta de servicio.

   • Para usar las credenciales de usuario de tu cuenta de Google (Vista previa), selecciona Ejecutar con mis credenciales de usuario.
   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, a continuación, selecciona una cuenta de servicio.

6. En la sección Frecuencia de la programación, haga lo siguiente:

   1. En el menú Se repite, selecciona la frecuencia con la que se ejecutará la preparación de datos.
   2. En el campo A las, introduce la hora a la que se ejecutarán las preparaciones de datos programadas.
   3. En el menú Zona horaria, selecciona la zona horaria de la programación.

7. Haz clic en Crear programación. Si has seleccionado Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu cuenta de Google (Vista previa).

Autorizar tu cuenta de Google

Vista previa

Este producto o función está sujeto a los "Términos de las Ofertas de Acceso Previo a la Disponibilidad General" de la sección Términos Generales de los Servicios de los Términos Específicos de los Servicios. Los productos y las funciones previos a la disponibilidad general están disponibles tal cual y pueden tener una compatibilidad y asistencia limitadas. Para obtener más información, consulta las descripciones de las fases de lanzamiento.

Nota: Para solicitar asistencia o enviar comentarios sobre esta función, ponte en contacto con [e-mail].

Para autenticar el recurso con las credenciales de usuario de tu cuenta de Google, debes conceder manualmente permiso a las canalizaciones de BigQuery para que obtengan el token de acceso de tu cuenta de Google y accedan a los datos de origen en tu nombre. Puedes conceder la aprobación manual con la interfaz del cuadro de diálogo de OAuth.

Solo tienes que dar permiso a las canalizaciones de BigQuery una vez.

Para revocar el permiso que has concedido, sigue estos pasos:

1. Ve a la página de tu cuenta de Google.
2. Haz clic en BigQuery Pipelines.
3. Haz clic en Quitar acceso.

Advertencia: Si revoca los permisos de acceso, se evitarán futuras ejecuciones de la canalización que pertenezcan a esta cuenta de Google en todas las regiones.

Si se cambian las credenciales para modificar el propietario de la programación de la preparación de datos, también se requiere una aprobación manual si el nuevo propietario de la cuenta de Google nunca ha creado una programación.

Ejecutar manualmente una preparación de datos programada

Cuando ejecutas manualmente una preparación de datos en una programación seleccionada, BigQuery ejecuta la preparación de datos una vez, independientemente de la programación.

Para ejecutar manualmente una preparación de datos programada, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Programación.

   Ve a Programación.

2. Haga clic en el nombre de la programación de preparación de datos seleccionada.

3. En la página Detalles de la programación, haga clic en Ejecutar.

Ver agendas

Puedes ver las programaciones de preparación de datos en el editor de preparación de datos o en la página Programación.

Editor de preparación de datos

Para ver la programación de una preparación de datos, sigue estos pasos:

1. En la barra de herramientas del editor de preparación de datos, haz clic en Programar Ver programación.
2. Opcional: Para ver el historial de la programación, haz clic en Ver ejecuciones anteriores.

Página Programación

Para ver todas las programaciones de preparación de datos de tu proyecto, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Programación.

   Ve a Programación.

2. Opcional: Para ver el historial de ejecuciones y los detalles de una programación seleccionada, haz clic en el nombre de la programación. No se muestra el historial de ejecuciones manuales.

Editar una programación

Puedes editar una programación desde el editor de preparación de datos o desde la página Programación.

Editor de preparación de datos

Para editar una programación, sigue estos pasos:

1. En la barra de herramientas del editor de preparación de datos, haz clic en Programar Ver programación.
2. En el cuadro de diálogo Programar preparación de datos, haga clic en Editar y, a continuación, actualice la programación.
3. Haz clic en Actualizar programación.

Página Programación

Para editar una programación, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Programación.

   Ve a Programación.

2. Haga clic en el nombre de la programación de preparación de datos seleccionada.

3. En la página Detalles de la programación, haz clic en Editar.

4. Haz clic en Ver programación.

5. En el cuadro de diálogo Programar preparación de datos, haga clic en Editar y, a continuación, actualice la programación.

6. Haz clic en Actualizar programación.

Eliminar una programación

Para eliminar de forma permanente una programación de una preparación de datos seleccionada, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Programación.

   Ve a Programación.

2. En la fila que contiene la programación, haz clic en more_vert Acciones > Eliminar.

Siguientes pasos

• Consulte cómo crear preparaciones de datos.
• Más información sobre cómo gestionar las preparaciones de datos