Organiza las preparaciones de datos
En este documento, se describe cómo organizar canalizaciones de preparación de datos, lo que incluye cómo realizar ejecuciones manuales y programadas.
Las preparaciones de datos se basan en Dataform.
Las preparaciones de datos se ejecutan con cuentas de servicio de Dataform personalizadas, que seleccionas cuando configuras programas o ejecuciones de prueba. Para obtener más información, consulta Acerca de las cuentas de servicio en Dataform.
Los cambios que realices en los pasos de preparación de datos no se guardarán automáticamente. Debes guardar y, luego, implementar los cambios para que se puedan ejecutar con un programa. Los programas siempre ejecutan la versión implementada más reciente de la preparación de tus datos y extienden los cambios no implementados que podrías estar desarrollando.
Antes de comenzar
Antes de comenzar, crea una preparación de datos.
Roles obligatorios
Para ejecutar preparaciones de datos, debes otorgar los roles a la cuenta de servicio que planeas usar para ejecutar las ejecuciones de preparación de datos. Para obtener más información, consulta los roles requeridos.
Desarrolla una preparación de datos
A medida que desarrollas una preparación de datos, puedes ejecutar los pasos de forma manual e inspeccionar el resultado antes de implementar los cambios en producción. Puedes probar la versión actual que estás desarrollando en tus datos, mientras BigQuery continúa ejecutando la versión implementada más reciente, según un programa. Antes de realizar la ejecución, debes configurar el destino y corregir los errores de validación.
Ejecuta manualmente una preparación de datos en desarrollo
Para probar los pasos de preparación de datos y validar los resultados en la tabla de destino, ejecuta la preparación de datos de forma manual desde el editor de preparación de datos:
En la consola de Google Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Preparación de datos. Haz clic en el nombre de la preparación de datos que deseas ejecutar.
Configura los permisos de la cuenta de servicio para la ejecución:
- En la barra de herramientas del editor de preparación de datos, mantén el puntero sobre la opción Run inhabilitada.
- En el cuadro de diálogo que aparece con información para configurar la cuenta de servicio, haz clic en Configurar.
- En el cuadro de diálogo Configuración de la cuenta de servicio, selecciona una cuenta de servicio.
- Si la cuenta de servicio necesita permisos adicionales, haz clic en Otorgar todo para otorgarle los roles requeridos.
- Haz clic en Guardar.
Opcional: Para actualizar la cuenta de servicio para ejecuciones futuras, ve a la barra de herramientas del editor de preparación de datos y haz clic en Más > Configurar la experiencia de ejecución ahora y, luego, actualiza y guarda la configuración de la cuenta de servicio.
Corrige los errores de validación que aparezcan.
En la barra de herramientas del editor de preparación de datos, haz clic en Run.
En el diálogo Run now, haz clic en Confirm para confirmar que esta ejecución manual escribe datos en una tabla de destino, que también puedes usar para ejecuciones programadas.
Luego, la ejecución ejecuta los pasos y carga el resultado en el destino.
Opcional: Una vez que se complete la ejecución, puedes ver los detalles sobre la ejecución en el panel Executions.
Implementa una preparación de datos
Para programar ejecuciones de una versión de la preparación de datos, primero debes implementarla. Programa la ejecución de la versión implementada más recientemente.
Para implementar una preparación de datos, sigue estos pasos:
En la consola de Google Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Preparación de datos. Haz clic en el nombre de la preparación de datos elegida.
Se abrirá el editor de preparación de datos.
En la barra de herramientas del editor de preparación de datos, haz clic en Implementar.
Crear una programación
Para crear un programa que ejecute los pasos de preparación de datos implementados y cargue los datos preparados en la tabla de destino, programa una ejecución de preparación de datos. Para programar la ejecución, debes configurar el destino y corregir los errores de validación.
Para crear un programa, sigue estos pasos:
En la consola de Google Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Preparación de datos. Haz clic en el nombre de la preparación de datos que deseas programar.
En la barra de herramientas del editor de preparación de datos, haz clic en Programar.
Ingresa un nombre para la programación.
Ingresa el nombre de la cuenta de servicio asociada con la ejecución.
Programa una frecuencia.
Haz clic en Crear programación.
Ejecuta manualmente una preparación de datos programada
Cuando ejecutas manualmente una preparación de datos en un programa seleccionado, BigQuery ejecuta la preparación de datos una vez, independientemente del programa.
Para ejecutar manualmente una preparación de datos programada, sigue estos pasos:
En la consola de Google Cloud , ve a la página Scheduling.
Haz clic en el nombre del programa de preparación de datos seleccionado.
En la página Detalles de la programación, haz clic en Ejecutar.
Ver agendas
Puedes ver los programas de preparación de datos desde el editor de preparación de datos o la página Programación.
Editor de preparación de datos
Para ver el programa de preparación de datos, sigue estos pasos:
- En la barra de herramientas del editor de preparación de datos, haz clic en programación Ver programación.
- Opcional: Para ver el historial de programación, haz clic en Ver ejecuciones anteriores.
Página de programación
Para ver todos los programas de preparación de datos de tu proyecto, sigue estos pasos:
En la consola de Google Cloud , ve a la página Scheduling.
Opcional: Para ver el historial de ejecuciones y los detalles de una programación seleccionada, haz clic en el nombre de la programación. No se muestra el historial de ejecuciones manuales.
Edita una planificación
Puedes editar un programa desde el editor de preparación de datos o la página Programación.
Editor de preparación de datos
Para editar un programa, sigue estos pasos:
- En la barra de herramientas del editor de preparación de datos, haz clic en programación Ver programación.
- En el diálogo Programar preparación de datos, haz clic en Editar y, luego, actualiza la programación.
- Haz clic en Actualizar agenda.
Página de programación
Para editar un programa, sigue estos pasos:
En la consola de Google Cloud , ve a la página Scheduling.
Haz clic en el nombre del programa de preparación de datos seleccionado.
En la página Detalles de la programación, haz clic en Editar.
Haz clic en Ver programación.
En el diálogo Programar preparación de datos, haz clic en Editar y, luego, actualiza la programación.
Haz clic en Actualizar agenda.
Borra un programa
Para borrar de forma permanente un programa de preparación de datos seleccionado, sigue estos pasos:
En la consola de Google Cloud , ve a la página Scheduling.
En la fila que contiene la programación, haz clic en more_vert Acciones > Borrar.
¿Qué sigue?
- Obtén información para crear preparaciones de datos.
- Obtén más información para administrar la preparación de datos.