Organiza notebooks
Para enviar comentarios sobre la orquestación de notebooks, envía un correo electrónico a bigquery-notebooks-scheduling-support@google.com.
En este documento, se describe cómo orquestar notebooks de Colab Enterprise en BigQuery, incluido cómo programar notebooks y también inspeccionar las ejecuciones programadas.
Los notebooks son recursos de código con tecnología de Dataform.
Puedes programar un notebook para que se ejecute automáticamente a una hora y frecuencia especificadas, por ejemplo, para entrenar un modelo de AA, llamar a APIs externas o ejecutar código de BigQuery DataFrames.
Los cambios que realices en un notebook se guardarán automáticamente, pero solo estarán disponibles para ti y para los usuarios que tengan acceso al notebook. Para actualizar el programa con una versión nueva del notebook, debes implementarlo. Cuando implementas un notebook, actualizas su programación con la versión actual del notebook. Las programaciones ejecutan la versión implementada más reciente del notebook.
Cada programa de notebook se ejecuta con una cuenta de servicio personalizada de Dataform, que seleccionas durante la creación del programa. Para obtener más información sobre los tipos de cuentas de servicio en Dataform, consulta Acerca de las cuentas de servicio en Dataform.
Dataform escribe el resultado de las ejecuciones de notebooks programadas en el bucket de Cloud Storage seleccionado durante la creación de la programación.
Las programaciones de notebooks usan un entorno de ejecución E2 estándar. Se aplican los cargos de Colab Enterprise para los entornos de ejecución. Se te cobra por el procesamiento del tiempo de ejecución según el tipo de máquina E2. Para obtener información sobre los precios de los tiempos de ejecución estándar de E2, consulta los precios de Colab Enterprise.
Antes de comenzar
Antes de comenzar, crea un notebook.
Habilita la programación de notebooks
Para programar notebooks, debes otorgar los siguientes roles a la cuenta de servicio personalizada de Dataform que planeas usar para las programaciones de notebooks:
- Usuario del ejecutor de notebooks (
roles/aiplatform.notebookExecutorUser) - Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de usuario de ejecutor de notebooks a tu Dataform personalizado en el proyecto seleccionado.
- Administrador de almacenamiento (
roles/storage.admin) - Sigue las instrucciones de Agrega un principal a una política a nivel de bucket para agregar tu cuenta de servicio personalizada de Dataform como principal al bucket de Cloud Storage que planeas usar para almacenar el resultado de ejecuciones programadas de notebooks y otorgar el rol de administrador de almacenamiento a esta principal.
- Usuario de cuenta de servicio (
roles/iam.serviceAccountUser) - Sigue los pasos de Otorga un solo rol a una cuenta de servicio para agregar tu cuenta de servicio personalizada de Dataform como principal. En otras palabras, agrega la cuenta de servicio de Dataform personalizada como principal a la misma cuenta de servicio de Dataform personalizada. Luego, otorga el rol de usuario de cuenta de servicio a este principal.
Además, debes otorgar el siguiente rol a la cuenta de servicio predeterminada de Dataform:
- Creador de tokens de cuenta de servicio (
roles/iam.serviceAccountTokenCreator) - Sigue los pasos de Otorga acceso de creación de tokens a una cuenta de servicio personalizada de Dataform para agregar la cuenta de servicio predeterminada de Dataform como principal a tu cuenta de servicio de Dataform personalizada, y otorga el rol de creador de tokens de cuentas de servicio a esta principal.
Para obtener más información sobre las cuentas de servicio en Dataform, consulta Acerca de las cuentas de servicio en Dataform.
Permisos necesarios
Para crear programas de notebooks, necesitas los siguientes roles:
- Administrador de Dataform (
roles/dataform.admin) - Usuario de sesión de lectura de BigQuery (
roles/bigquery.readSessionUser) o Usuario de BigQuery Studio (roles/bigquery.studioUser)
Para editar y borrar programas de notebooks (Versión preliminar), necesitas el rol de Editor de Dataform (roles/dataform.editor).
Para ver las programaciones de notebooks (versión preliminar), necesitas el rol de Visualizador de Dataform (roles/dataform.viewer).
Para obtener más información sobre IAM de BigQuery, consulta Control de acceso con IAM.
Crear una programación
Para programar un notebook, sigue estos pasos:
En la consola de Google Cloud, ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook que deseas programar.
Haz clic en Programar.
En el panel Programar notebook, en el campo Nombre de la programación, ingresa un nombre para la programación.
En el campo Plantilla de entorno de ejecución, selecciona un entorno de ejecución.
En el campo Cuenta de servicio, selecciona una cuenta de servicio de Dataform personalizada.
En el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage.
Se debe otorgar a la cuenta de servicio personalizada de Dataform seleccionada el rol de IAM de administrador de almacenamiento en el bucket seleccionado. Para obtener más información, consulta Habilita la programación de notebooks.
En la sección frecuencia de programación, haz lo siguiente:
- En el menú desplegable Repeticiones, selecciona la frecuencia de las ejecuciones programadas del notebook.
- En el campo A la hora, ingresa la hora de las ejecuciones de notebooks programadas.
- En el menú desplegable Zona horaria, selecciona la zona horaria para la programación.
Haz clic en Crear programación.
Cuando creas el programa, se implementa automáticamente la versión actual del notebook. Para actualizar el programa con una versión nueva del notebook, implementa el notebook.
La versión implementada más reciente del notebook se ejecuta a la hora y frecuencia seleccionadas.
Implementa un notebook
La implementación de un notebook actualiza su programación con la versión actual del notebook. Las programaciones ejecutan la versión implementada más reciente del notebook.
Sigue estos pasos para implementar un notebook:
En la consola de Google Cloud, ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.
Haz clic en Implementar.
El programa correspondiente se actualiza con la versión actual del notebook. La versión más reciente implementada del notebook se ejecuta a la hora programada.
Ejecuta un notebook implementado de forma manual
Cuando ejecutas manualmente un notebook implementado en un programa seleccionado, BigQuery ejecuta el notebook implementado una vez, independientemente del programa.
Para ejecutar manualmente un notebook implementado, sigue estos pasos:
En la consola de Google Cloud, ve a la página Orchestration.
Haz clic en el nombre del programa del notebook seleccionado.
En la página Detalles de la programación, haz clic en Ejecutar.
Visualiza todos los programas
Para ver todas las programaciones de notebooks en tu proyecto, sigue estos pasos:
En la consola de Google Cloud, ve a la página Orchestration.
Opcional: Para mostrar columnas adicionales con los detalles de la programación de la notebook, haz clic en Opciones de visualización de columnas y, luego, selecciona las columnas y haz clic en Aceptar.
Visualiza los detalles del programa
Puedes ver los detalles de una programación seleccionada en el panel Explorador o en la página Orquestación.
Para ver los detalles de la programación de un notebook seleccionado, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.
Haz clic en Ver programación.
Página Organización
En la consola de Google Cloud, ve a la página Orchestration.
Haz clic en el nombre del programa del notebook seleccionado.
Ver ejecuciones anteriores
Puedes ver las ejecuciones anteriores de un programa de notebook seleccionado en el panel Explorador o en la página Orquestación.
Para ver las ejecuciones anteriores de una programación de notebook seleccionada, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud, ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.
Haz clic en Ver programación y, luego, en Ver ejecuciones anteriores.
Página Organización
En la consola de Google Cloud, ve a la página Orchestration.
Haz clic en el nombre del programa del notebook seleccionado.
En la página Detalles del programa, en la sección Ejecuciones anteriores, inspecciona las ejecuciones anteriores.
Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.
Inhabilita un programa
Para pausar las ejecuciones programadas de un notebook seleccionado sin borrar la programación, puedes inhabilitarla.
Para inhabilitar una programación de un notebook seleccionado, sigue estos pasos:
En la consola de Google Cloud, ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.
Haz clic en Ver programación.
En la tabla de detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está habilitada.
Habilita un programa
Para reanudar las ejecuciones programadas de una programación inhabilitada, sigue estos pasos:
En la consola de Google Cloud, ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.
Haz clic en Ver programación.
En la tabla de detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está inhabilitada.
Edita una planificación
Puedes editar una programación en el panel Explorador o en la página Orquestación.
Para editar un programa, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud, ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Notebooks y, si es necesario, la carpeta Notebooks compartidos. Haz clic en el nombre del notebook seleccionado.
Haz clic en Ver programación y, luego, en Editar.
En el diálogo Programar notebook, edita la programación y, luego, haz clic en Actualizar programación.
Página Organización
En la consola de Google Cloud, ve a la página Orchestration.
Haz clic en el nombre del programa del notebook seleccionado.
En la página Detalles de la programación, haz clic en Editar.
Haz clic en Ver programación y, luego, en Editar.
En el diálogo Programar notebook, edita la programación y, luego, haz clic en Actualizar programación.
Borra un programa
Para borrar definitivamente una programación de un notebook seleccionado, sigue estos pasos:
En la consola de Google Cloud, ve a la página Orchestration.
Elija una de las siguientes opciones:
Haz clic en el nombre del programa seleccionado y, luego, en la página Detalles del programa, haz clic en Borrar.
En la fila que contiene el programa seleccionado, haz clic en Ver acciones en la columna Acciones y, luego, en Borrar.
En el cuadro de diálogo que aparece, haz clic en Borrar.
¿Qué sigue?
- Obtén más información sobre los notebooks de Colab Enterprise en BigQuery.
- Obtén más información para crear notebooks.