En este documento, se explica cómo puedes supervisar los cambios de estado de los trabajos y las tareas configurando notificaciones de Pub/Sub. Puedes usar las notificaciones para varios casos de uso. Por ejemplo, en este documento, se explica cómo transmitir las notificaciones a una tabla de BigQuery, que puedes usar para analizar los datos. Para obtener más información sobre los casos de uso de las notificaciones de Pub/Sub, consulta Elige un tipo de suscripción en la documentación de Pub/Sub.
Como alternativa, si deseas exportar toda la información de un trabajo a BigQuery, consulta Cómo exportar información de trabajos.
Antes de comenzar
- Si nunca usaste Batch, consulta Cómo comenzar a usar Batch y habilita Batch completando los requisitos previos para proyectos y usuarios.
- Si deseas configurar notificaciones de Pub/Sub para tus trabajos por lotes, haz lo siguiente:
-
Enable the Pub/Sub API.
-
Para obtener los permisos que necesitas para configurar un tema y una suscripción de Pub/Sub, pídele a tu administrador que te otorgue el rol de IAM de editor de Pub/Sub (
roles/pubsub.editor
) en un proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
-
- Los requisitos adicionales varían según el tipo de suscripción que decidas configurar. Por ejemplo, si deseas transmitir y analizar notificaciones en una tabla de BigQuery, debes hacer lo siguiente:
-
Enable the BigQuery API.
-
Para garantizar que la cuenta de servicio de Pub/Sub tenga los permisos necesarios para transmitir notificaciones de Pub/Sub a BigQuery, pídele a tu administrador que le otorgue a la cuenta de servicio de Pub/Sub el rol de IAM de Editor de datos de BigQuery (
roles/bigquery.dataEditor
) en el proyecto del tema de Pub/Sub.Para obtener más información sobre cómo asignar este rol, consulta Asigna roles de BigQuery a la cuenta de servicio de Pub/Sub.
- Asegúrate de que los usuarios para los que deseas analizar las notificaciones en BigQuery tengan los permisos necesarios.
Para obtener los permisos que necesitas para consultar notificaciones de Pub/Sub en BigQuery, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Usuario de trabajo de BigQuery (
roles/bigquery.jobUser
) en el proyecto de la tabla de BigQuery -
Visualizador de datos de BigQuery (
roles/bigquery.dataViewer
) en la tabla de BigQuery
-
Usuario de trabajo de BigQuery (
-
Configura notificaciones de Pub/Sub para Batch
El procesamiento por lotes admite notificaciones de Pub/Sub para cambios en los estados de trabajos y tareas, que puedes usar para alertas, observabilidad o análisis.
Para configurar notificaciones de Pub/Sub para uno o más trabajos de lotes, completa los pasos que se describen en las siguientes secciones:
- Crea o identifica un tema de Pub/Sub para tus trabajos de Batch.
- Crea al menos una suscripción para que tu tema reciba y use sus notificaciones.
- Configura trabajos para enviar notificaciones a tu tema.
Después de configurar las notificaciones de Pub/Sub para Batch, puedes configurar de manera opcional cada trabajo para que envíe notificaciones específicas. Puedes recibir notificaciones cada vez que cambien los estados de las tareas o trabajos, o bien filtrar las notificaciones para estados específicos de tareas o trabajos. En particular, Pub/Sub no envía notificaciones para el primer estado en el que entra una tarea o un trabajo. Solo envía notificaciones cuando una tarea pasa de un estado a otro. Para obtener más información sobre los atributos que puedes configurar para las notificaciones de Pub/Sub, consulta Cómo crear y ejecutar una tarea que envíe notificaciones de estado de Pub/Sub.
Crea o identifica un tema de Pub/Sub para lotes
Crea un tema de Pub/Sub nuevo o identifica un tema de Pub/Sub existente que quieras usar para las notificaciones por lotes.
Como se explica más adelante en este documento, las tareas no pueden enviar notificaciones a este tema de Pub/Sub hasta que el administrador otorgue permisos adicionales que lo permitan.
Crea una suscripción para recibir y usar las notificaciones
Para recibir y usar los mensajes publicados en un tema de Pub/Sub, debes crear al menos una suscripción a ese tema.
Por ejemplo, una opción es configurar tu tema para que transmita sus notificaciones a BigQuery. Luego, cuando ejecutes trabajos que publican notificaciones, podrás recibirlas y analizarlas en una tabla de BigQuery. Para obtener más información, consulta Ejemplo: Recibe y usa notificaciones de Pub/Sub en BigQuery en este documento.
De lo contrario, para obtener más información sobre las suscripciones y otras opciones, consulta la descripción general de las suscripciones en la documentación de Pub/Sub.
Configura trabajos para enviar notificaciones a tu tema
Para configurar trabajos que envíen notificaciones de Pub/Sub a tu tema, sigue las instrucciones que se indican en la página Crea y ejecuta un trabajo que envíe notificaciones de estado de Pub/Sub. Específicamente, haz lo siguiente:
- Si aún no lo hiciste, pídele al administrador que otorgue todos los permisos necesarios para que los trabajos envíen notificaciones a tu tema de Pub/Sub. Estos permisos se enumeran en la sección Roles obligatorios de esa página.
- Crea y ejecuta un trabajo que habilite las notificaciones de Pub/Sub. Para ello, define el campo
notifications
del trabajo.
Ejemplo: Recibe y usa notificaciones de Pub/Sub en BigQuery
En las siguientes secciones, se explica un caso de uso de ejemplo para recibir y usar notificaciones de Pub/Sub en BigQuery. Si configuras una suscripción que transmita las notificaciones de Pub/Sub de tu tema a una tabla de BigQuery, puedes conservar el historial de cambios de estado de trabajos y tareas y consultar esos cambios.
Configura una suscripción que transmita notificaciones a BigQuery
Para configurar una suscripción a Pub/Sub que transmita notificaciones de un tema a una tabla de BigQuery, haz lo siguiente:
Si aún no lo hiciste, crea o identifica un tema de Pub/Sub para Batch.
Si aún no tienes uno, crea un conjunto de datos de BigQuery.
Crea una tabla de BigQuery con la siguiente definición de esquema:
[ { "name": "data", "type": "STRING" }, { "name": "subscription_name", "type": "STRING" }, { "name": "message_id", "type": "STRING" }, { "name": "attributes", "type": "JSON" }, { "name": "publish_time", "type": "TIMESTAMP", "mode": "NULLABLE" } ]
Crea una suscripción a Pub/Sub que se transmita a BigQuery y especifica las siguientes opciones:
- Tema: Selecciona el tema de Pub/Sub para Batch.
- Proyecto: Selecciona el proyecto que contiene tu tabla de BigQuery.
- Conjunto de datos: Selecciona el conjunto de datos que contiene tu tabla de BigQuery.
- Tabla: Selecciona la tabla que creaste en el paso anterior.
- Selecciona Usar el esquema de tema.
- Selecciona Escribir metadatos.
Ahora, cada vez que se envía una notificación de Pub/Sub a ese tema, Pub/Sub transmite esa notificación a la tabla de BigQuery. Después de configurar trabajos para enviar notificaciones de Pub/Sub, puedes analizar las notificaciones en BigQuery.
Cómo analizar notificaciones en BigQuery
Puedes analizar las notificaciones en BigQuery después de configurar una suscripción a una tabla de BigQuery para tu tema y ejecutar trabajos que envíen notificaciones a tu tema. Para analizar las notificaciones en BigQuery, ejecuta una consulta en la columna attributes
de la tabla de BigQuery. Los atributos que puedes consultar dependen de si configuraste notificaciones para tareas o trabajos.
Puedes consultar los siguientes atributos de las notificaciones de tareas:
JobUID
NewTaskState
Region
TaskName
TaskUID
Type
Puedes consultar los siguientes atributos de las notificaciones de trabajos:
JobUID
JobName
NewJobState
Region
Type
Por ejemplo, la siguiente consulta muestra el JobUID
asociado con cada
notificación:
select attributes.JobUID from `example-table`
¿Qué sigue?
- Obtén información para crear y ejecutar una tarea que envíe notificaciones de estado de Pub/Sub.
- Obtén más información sobre las suscripciones a Pub/Sub.
- Obtén más información sobre las estadísticas de BigQuery.