¿Qué es Pub/Sub?

Pub/Sub permite que los servicios se comuniquen de forma asíncrona, con latencias de alrededor de 100 milisegundos.

Pub/Sub se usa para las canalizaciones de integración de datos y estadísticas de transmisión a fin de transferir y distribuir datos. Es igual de efectivo que un middleware orientado a la mensajería para la integración de servicio o como una cola a fin de paralelizar tareas.

Pub/Sub te permite crear sistemas de productores y consumidores de eventos, llamados publicadores y suscriptores. Los publicadores se comunican con los suscriptores de forma asíncrona mediante la transmisión de eventos, en lugar de llamadas de procedimiento remoto (RPC) síncronas.

Los editores envían eventos al servicio de Pub/Sub, sin importar cómo o cuándo se deben procesar. Pub/Sub luego entrega eventos a todos los servicios que reaccionan a ellos. En los sistemas que se comunican a través de RPC, los publicadores deben esperar a que los suscriptores reciban los datos. Sin embargo, la integración asíncrona en Pub/Sub aumenta la flexibilidad y la solidez del sistema general.

Para comenzar con Pub/Sub, consulta la Guía de inicio rápido del uso de la consola. Para obtener una introducción más completa, consulta Compila un sistema de mensajería de Pub/Sub.

Casos de uso habituales

  • Transferencia de la interacción del usuario y eventos del servidor. Para usar eventos de interacción de usuarios de las apps de usuario final o eventos del servidor desde tu sistema, puedes reenviarlos a Pub/Sub. Luego, puedes usar una herramienta de procesamiento de transmisión, como Dataflow, que entrega los eventos a las bases de datos. Algunos ejemplos de esas bases de datos son BigQuery, Cloud Bigtable y Cloud Storage. Pub/Sub te permite recopilar eventos de muchos clientes a la vez.

  • Distribución de eventos en tiempo real. Los eventos, sin procesar o procesados, pueden estar disponibles para varias aplicaciones en todo tu equipo y organización a fin de procesarlos en tiempo real. Pub/Sub admite patrones de diseño de aplicaciones basados en eventos. Pub/Sub te permite integrar en muchos sistemas de Google que exportan eventos a Pub/Sub.

  • Replicar datos entre bases de datos: Pub/Sub se suele usar para distribuir eventos de cambio desde bases de datos. Estos eventos se pueden usar para construir una vista del estado de la base de datos y el historial de estados en BigQuery y otros sistemas de almacenamiento de datos.

  • Procesamiento y flujos de trabajo paralelos: Puedes distribuir muchas tareas de manera eficiente entre varios trabajadores mediante mensajes de Pub/Sub para conectarte a Cloud Functions. Algunos ejemplos de estas tareas son comprimir archivos de texto, enviar notificaciones por correo electrónico, evaluar modelos de IA y cambiar el formato de las imágenes.

  • Bus de eventos empresariales: Puedes crear un bus para compartir datos en tiempo real en toda la empresa, distribuir eventos empresariales, actualizaciones de bases de datos y eventos de estadísticas en toda la organización.

  • Transmisión de datos desde aplicaciones, servicios o dispositivos de IoT. Por ejemplo, una aplicación de SaaS puede publicar un feed de eventos en tiempo real. O bien, un sensor residencial puede transmitir datos a Pub/Sub para su uso en otros productos de Google Cloud a través de una canalización de Dataflow.

  • Actualización de cachés distribuidas. Por ejemplo, una aplicación puede publicar eventos de invalidación para actualizar los ID de los objetos que cambiaron.

  • Balanceo de cargas para la confiabilidad: Por ejemplo, las instancias de un servicio se pueden implementar en Compute Engine en varias zonas, pero suscribirse a un tema común. Cuando el servicio falla en cualquier zona, las demás pueden detectar la carga automáticamente.

Tipos de servicios de Pub/Sub

Pub/Sub consta de dos servicios:

  • Servicio de Pub/Sub. Este servicio de mensajería es la opción predeterminada para la mayoría de los usuarios y aplicaciones. Ofrece la mayor confiabilidad y el conjunto más grande de integraciones, junto con la administración automática de capacidad. Pub/Sub garantiza la replicación síncrona de todos los datos a dos zonas como mínimo y la mejor esfuerzo a una tercera zona adicional.

  • Servicio de Pub/Sub Lite. Un servicio de mensajería independiente, pero similar, creado para un costo menor. Ofrece una menor confiabilidad en comparación con Pub/Sub. Ofrece almacenamiento de temas zonales o regionales. Los temas de Zonal Lite se almacenan en una sola zona. Los temas de Regional Lite replican los datos en una segunda zona de forma asíncrona. Además, Pub/Sub Lite requiere que aprovisiones y administres previamente la capacidad de almacenamiento y capacidad de procesamiento. Considera Pub/Sub Lite solo para aplicaciones en las que lograr un costo bajo justifica un trabajo operativo adicional y una menor confiabilidad.

Para obtener más detalles sobre las diferencias entre Pub/Sub y Pub/Sub Lite, consulta Elige Pub/Sub o Pub/Sub Lite.

Compara Pub/Sub con otras tecnologías de mensajería

Pub/Sub combina la escalabilidad horizontal de Apache Kafka y Pulsar con las características que se encuentran en el middleware de mensajería tradicional, como Apache ActiveMQ y RabbitMQ. Algunos ejemplos de esas funciones son las colas de mensajes no entregados y el filtrado.

Otra función que Pub/Sub adopta desde el middleware de mensajería es el paralelismo por mensaje, en lugar de la mensajería basada en particiones. Pub/Sub (alquila) mensajes individuales a clientes suscriptores y, luego, realiza un seguimiento para ver si un mensaje determinado se procesa correctamente.

Por el contrario, otros sistemas de mensajería escalables de forma horizontal usan particiones para el escalamiento horizontal. Esto obliga a los suscriptores a procesar mensajes en cada partición en orden y limita la cantidad de clientes simultáneos a la cantidad de particiones. El procesamiento por mensaje maximiza el paralelismo de las aplicaciones de suscriptores y ayuda a garantizar la independencia del publicador y del suscriptor.

Compare la comunicación de servicio a servicio y de servicio a cliente

Pub/Sub está diseñado para la comunicación de servicio a servicio en lugar de la comunicación con los usuarios finales o los clientes de IoT. Otros patrones son más compatibles con otros productos:

Puedes usar una combinación de estos servicios para compilar patrones de cliente -> servicios -> base de datos. Por ejemplo, consulta el instructivo Transmite mensajes de Pub/Sub a través de WebSockets.

Integraciones

Pub/Sub tiene muchas integraciones con otros productos de Google Cloud para crear un sistema de mensajería con todas las funciones:

  • Procesamiento de transmisión y de integración de datos. Son compatibles con Dataflow, incluidas las plantillas de Dataflow y SQL, que permiten el procesamiento y la integración de datos en BigQuery y los data lakes en Cloud Storage. Las plantillas de Dataflow para mover datos de Pub/Sub a Cloud Storage, BigQuery y otros productos están disponibles en las IU de Pub/Sub y Dataflow en la consola. La integración con Apache Spark, en especial cuando se administra con Dataproc, también está disponible. La composición visual de las canalizaciones de integración y procesamiento que se ejecutan en Spark + Dataproc se puede lograr con Data Fusion.
  • Monitoring, alertas y Logging. Compatible con los productos de Monitoring y Logging.
  • Autenticación y IAM. Pub/Sub se basa en una autenticación OAuth estándar que usan otros productos de Google Cloud y admite IAM detallado, lo que permite controlar el acceso a recursos individuales.
  • API. Pub/Sub usa tecnologías de API de servicio de gRPC y REST estándar junto con bibliotecas cliente para varios lenguajes.
  • Activadores, notificaciones y webhooks. Pub/Sub ofrece la entrega de mensajes basada en envíos como solicitudes HTTP POST a webhooks. Puedes implementar la automatización de flujo de trabajo con Cloud Functions o con otros productos sin servidores.
  • Organización. Pub/Sub se puede integrar en flujos de trabajo sin servidores y de varios pasos de forma declarativa. La organización analítica y de macrodatos a menudo se realiza con Cloud Composer, que admite activadores de Pub/Sub.

Conceptos básicos

  • Tema. Un recurso con nombre al que los publicadores envían mensajes.
  • Suscripción. Un recurso con nombre que representa el flujo de mensajes de un solo tema específico para entregarse a la aplicación de suscripción. Para obtener más detalles sobre la semántica de entrega de mensajes y las suscripciones, consulta la guía para suscriptores
  • Mensaje. La combinación de datos y atributos (opcionales) que un publicador envía a un tema y, finalmente, se entrega a los suscriptores
  • Atributo de mensaje. Es un par clave-valor que un publicador puede definir para un mensaje. Por ejemplo, la clave iana.org/language_tag y el valor en se podrían agregar a los mensajes para indicar que un suscriptor de habla inglesa puede leerlo
  • Publicador. Una aplicación que crea y envía mensajes a uno o varios temas
  • Suscriptor. Una aplicación con una suscripción a uno o varios temas para recibir mensajes de ella.
  • Reconocimiento (o "ack"). Una señal que envía un suscriptor a Pub/Sub después de recibir un mensaje. Los mensajes confirmados se quitan de la cola de mensajes de suscripción.
  • Envío y extracción. Los dos métodos de entrega de mensajes. Un suscriptor recibe mensajes por Pub/Sub, que los envía al extremo que eligió el suscriptor o por el suscriptor que los extrae del servicio.

Las relaciones entre el publicador y el suscriptor pueden ser de uno a varios (fan-out), de varios a uno (fan-in) y de varios a varios, como se muestra en el siguiente diagrama:

Relaciones entre el publicador y el suscriptor

En el siguiente diagrama, se ilustra cómo un mensaje pasa de un publicador a un suscriptor. Para la entrega de envío, el reconocimiento está implícito en la respuesta a la solicitud de envío, mientras que para la entrega de extracción se requiere una RPC independiente.

Ciclo de vida de los mensajes

Próximos pasos