Notificaciones de ejecución del Servicio de transferencia de datos de BigQuery

En esta página, se proporciona una descripción general de las notificaciones de ejecución del Servicio de transferencia de datos de BigQuery.

Resumen

Hay dos tipos de notificaciones de ejecución que puedes configurar para el Servicio de transferencia de datos de BigQuery:

  • Notificaciones de Pub/Sub: Notificaciones que pueden leer las máquinas que se envían cuando una ejecución de transferencia se realiza de manera correcta o falla
  • Notificaciones por correo electrónico: Notificaciones que puede leer un ser humano que se envían cuando falla una ejecución de transferencia

Puedes configurar cada tipo de forma individual o usar las notificaciones de ejecución de Pub/Sub y de correo electrónico.

Notificaciones de Pub/Sub

Mediante las notificaciones de Pub/Sub, se envía información sobre ejecuciones de transferencias a un tema de Pub/Sub. Las notificaciones de Pub/Sub se activan mediante ejecuciones de transferencias completas en los siguientes estados:

  • SUCCEEDED
  • FAILED
  • CANCELLED

Puedes enviar notificaciones a cualquier tema de Pub/Sub en cualquier proyecto para el que tengas los permisos requeridos. Una vez que el tema de Pub/Sub recibe una notificación, el mensaje resultante se puede enviar a cualquier cantidad de suscriptores del tema.

Antes de comenzar

Antes de configurar las notificaciones de ejecución de transferencias de Pub/Sub, debes hacer lo siguiente:

  1. Habilitar la API de Pub/Sub para el proyecto que recibirá notificaciones

    Habilitar la API

  2. Obtén los permisos necesarios en el proyecto que recibirá notificaciones:

    • Si eres propietario del proyecto que recibirá notificaciones, lo más probable es que tengas el permiso necesario.

    • Si planeas crear temas para recibir notificaciones, debes tener los permisos pubsub.topics.create.

    • Si planeas usar temas nuevos o existentes, debes tener los permisos pubsub.topics.setIamPolicy. Si creas un tema, sueles tener pubsub.topics.setIamPolicy para él. Esta función predefinida de Cloud IAM tiene los siguientes permisos pubsub.topics.setIamPolicy: pubsub.admin. Consulta la sección Control de acceso de Pub/Sub para obtener más información.

  3. Obtén un tema de Pub/Sub existente al que desees enviar notificaciones.

Formato de las notificaciones

Las notificaciones enviadas al tema de Pub/Sub constan de dos partes:

  • Atributos: Un conjunto de pares clave-valor que describen el evento
  • Carga útil: Una string que contiene los metadatos del objeto modificado

Atributos

Los atributos son pares clave-valor incluidos en todas las notificaciones que el Servicio de transferencia de datos de BigQuery envía a tu tema de Pub/Sub. Las notificaciones siempre contienen el siguiente conjunto de pares clave-valor, sin importar la carga útil de la notificación:

Nombre del atributo Ejemplo Descripción
eventType TRANSFER_RUN_FINISHED El tipo de evento que acaba de ocurrir. TRANSFER_RUN_FINISHED es el único valor posible.
payloadFormat JSON_API_V1 El formato de la carga útil del objeto. JSON_API_V1 es el único valor posible.

Carga útil

La carga útil es una string que contiene los metadatos de la ejecución de transferencia. El tipo de carga útil no se puede configurar en este momento y se proporciona para adaptarse a futuros cambios en la versión de la API.

Tipo de carga útil Descripción
JSON_API_V1 La carga útil será una string UTF-8 JSON serializada que contiene la representación de recursos de una TransferRun.

Notificaciones por correo electrónico

Las notificaciones por correo electrónico envían mensajes de correo electrónico que puede leer un ser humano cuando falla una ejecución de transferencia. Estos mensajes se envían al usuario que configuró la transferencia. Los mensajes no se pueden configurar.

Si otros usuarios deben recibir notificaciones por correo electrónico sobre la ejecución de transferencias, configura las reglas de reenvío de correo electrónico para distribuir los mensajes. Si usas Gmail, puedes reenviar de manera automática mensajes de Gmail a otras cuentas.

La notificación por correo electrónico se envía mediante el Servicio de transferencia de datos de BigQuery y contiene detalles sobre la configuración de la transferencia, la ejecución de la transferencia y un vínculo que va al historial de ejecuciones para la ejecución con errores. Por ejemplo:

    From: bigquery-data-transfer-service-noreply@google.com
    To: user_who_set_up_transfer
    Title: BigQuery Data Transfer Service — Transfer Run Failure —
    display_name

    Transfer Configuration
    Display Name: display_name
    Source: data_source
    Destination: project_id

    Run Summary
    Run: run_name
    Schedule Time: schedule_time
    Run Time: run_time
    View Run History

    Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043

    This email was sent because you indicated you are willing to receive Run
    Notifications from the BigQuery Data Transfer Service. If you do not wish to
    receive such emails in the future, click View Transfer Configuration and
    un-check the "Send E-mail Notifications" option.

Activando las notificaciones

Para activar las notificaciones, haz lo siguiente:

  • En la sección Opciones de notificación de la consola del Servicio de transferencia de datos de BigQuery:
    1. Haz clic en el botón de activación para habilitar las notificaciones por correo electrónico. Cuando habilitas esta opción, el administrador de transferencias recibe una notificación por correo electrónico cuando falla una ejecución de transferencia.
    2. En Seleccionar un tema de Cloud Pub/Sub, elige el nombre de tu tema o haz clic en Crear un tema. Con esta opción, se configuran las notificaciones de ejecución de Pub/Sub para tu transferencia.

Precios de las notificaciones de ejecución

Si configuras las notificaciones de ejecución de Pub/Sub, se generarán cargos de Pub/Sub. Para obtener más información, consulta la página de Precios de Pub/Sub.

Próximos pasos