什么是 Pub/Sub？

Pub/Sub 允许服务进行异步通信，延迟大约为 100 毫秒。

Pub/Sub 用于流式分析和数据集成流水线，以提取和分发数据。它既是面向消息传递的中间件，可用于服务集成，也可作为并行处理任务的队列。

借助 Pub/Sub，您可以创建事件提供方和使用方（称为“发布者”和“订阅者”）系统，发布者通过广播事件而不是同步远程过程调用 (RPC) 与订阅者异步通信。

发布商将事件发送到 Pub/Sub 服务，无论如何处理或何时处理这些事件。然后，Pub/Sub 会将事件传递给需要对其作出响应的所有服务。与通过 RPC 进行通信的系统相比，发布商必须等待订阅者接收数据，这种异步集成可以提高整个系统的灵活性和稳健性。

如需开始使用 Pub/Sub，请查看快速入门：使用 Cloud Console。如需更全面的介绍，请参阅构建 Pub/Sub 消息传递系统。

常见使用场景

  • 提取用户互动和服务器事件。要利用来自最终用户应用或系统中的服务器事件的事件或系统中的服务器事件，您可以将这些事件转发到 Pub/Sub，然后使用数据流处理工具（例如 Dataflow），将它们传输到 BigQuery、Bigtable、Cloud Storage 和其他数据库。借助 Pub/Sub，您可以同时从许多客户端收集事件。

  • 实时事件分布。您团队和组织中的多个应用均可对事件进行原始处理或处理，以便进行实时处理。这支持“企业事件总线”和事件驱动型应用设计模式。Pub/Sub 可让您与许多将事件导出到 Pub/Sub 的 Google 系统集成。

  • 在数据库之间复制数据。Pub/Sub 通常用于从数据库分发更改事件。这些事件可用于在 BigQuery 和其他数据存储系统中构建数据库状态和状态历史记录的视图。

  • 并行处理和工作流。通过使用 Pub/Sub 消息连接到 Cloud Functions，您可以在多个工作器之间高效分配大量任务，例如压缩文本文件、发送电子邮件通知、评估 AI 模型或重新设置图像格式。

  • 企业事件总线。您可以创建企业级实时数据共享总线，在整个组织中分发业务事件、数据库更新和分析事件。

  • 从应用、服务或 IoT 设备流式传输数据。例如，SaaS 应用可以发布事件的实时 Feed，或者住宅传感器可以通过 Dataflow 将数据流式传输到 Pub/Sub，以便在其他 Google Cloud 产品中使用。

  • 刷新分布式缓存。例如，应用可以发布无效化事件以更新发生更改的对象的 ID。

  • 进行负载均衡来实现可靠性。 例如，某项服务的实例可能会部署在多个可用区中的 Compute Engine 上，但会订阅同一个主题。当服务在任何可用区出现故障时，其他人都可以自动提取负载。

Pub/Sub 服务的类型

Pub/Sub 包含两项服务：

  • Pub/Sub 服务。此消息传递服务是大多数用户和应用的默认选择。它提供最高可靠性、最大规模的集成以及自动容量管理。Pub/Sub 可保证将所有数据同步复制到至少两个可用区，并尽力将其复制到第三个可用区。

  • Pub/Sub 精简版服务。一项独立但类似的消息传递服务，有助于降低费用。与 Pub/Sub 相比，该服务的可靠性较低。它提供可用区级或区域级主题存储。可用区级精简版主题仅存储在一个可用区中。区域级精简版主题会将数据异步复制到第二个可用区。此外，Pub/Sub Lite 要求您预先预配和管理存储空间和吞吐量容量。仅将 Pub/Sub Lite 用于实现极低成本但需要进行一些额外的运营工作并降低可靠性的应用。

如需详细了解 Pub/Sub 和 Pub/Sub Lite 之间的差异，请参阅选择 Pub/Sub 或 Pub/Sub Lite。

将 Pub/Sub 与其他消息传递技术进行比较

Pub/Sub 将 Apache Kafka 和 Pulsar 的横向可扩缩性与传统消息传递中间件（例如 Apache ActiveMQ 和 RabbitMQ）的功能（例如死信队列和过滤）相结合。

Pub/Sub 从消息传递中间件采用的另一项功能是按每消息并行处理（而不是基于分区）。Pub/Sub 将个别消息“租用”给订阅者客户端，然后跟踪是否已成功处理给定消息。

相比之下，其他可横向扩容的消息传递系统使用分区进行横向扩缩。这会强制订阅者按顺序处理每个分区中的消息，并将并发客户端的数量限制为分区数量。按每消息处理可最大限度地提高订阅者应用的并行性，并有助于确保发布者/订阅者的独立性。

服务到服务与服务到客户端的通信

Pub/Sub 适用于服务到服务的通信，而不是与最终用户或 IoT 客户端的通信。其他产品更好地支持其他模式：

您可以使用这些服务的组合来构建客户端 -> 服务 -> 数据库模式。例如，请参阅通过 WebSocket 流式传输 Pub/Sub 消息教程。

集成

Pub/Sub 与其他 Google Cloud 产品有许多集成，可创建一个功能齐全的消息传递系统：

  • 流处理和数据集成。由 Dataflow（包括 Dataflow 模板和 SQL）支持，可以将处理和数据集成到 BigQuery 和 Cloud Storage 中的数据湖中。您可以在 Cloud Console 的 Pub/Sub 和 Dataflow 界面中找到用于将数据从 Pub/Sub 移动到 Cloud Storage、BigQuery 和其他产品的 Dataflow 模板。此外，您还可以集成 Apache Spark，尤其是在使用 Dataproc 进行管理时。在 Spark + Dataproc 上运行的集成和处理流水线的视觉化组合可通过 Datafusion 完成。
  • 监控、提醒和日志记录。受 Monitoring 和 Logging 产品支持。
  • Authentication 和 IAM。Pub/Sub 依赖于其他 Google Cloud 产品使用的标准 OAuth 身份验证，并且支持细化的 IAM，从而可以对单个资源进行访问权限控制。
  • API。Pub/Sub 使用标准的 gRPC 和 REST 服务 API 技术，以及适用于多种语言的客户端库。
  • 触发器、通知和网络钩子。Pub/Sub 以 HTTP POST 请求的形式向 Webhook 提供基于推送的消息。这样，您就可以使用 Cloud Functions 或其他无服务器产品轻松实现工作流自动化。
  • 编排。可以通过声明方式将 Pub/Sub 集成到多步骤无服务器工作流中。大数据和分析编排通常使用支持 Pub/Sub 触发器的 Cloud Composer 完成。

核心概念

  • 主题。发布者向其发送消息的命名资源。
  • 订阅。代表从单个特定主题传送到订阅应用的消息流的已命名资源。如需详细了解订阅和消息传送语义，请参阅订阅者指南。
  • 消息。发布者向主题发送并最终传送给订阅者的数据和（可选）属性的组合。
  • 消息特性。发布者可以为消息定义的键值对。例如，可以将键 iana.org/language_tag 和值 en 添加到消息中，将消息标记为可供英语订阅者阅读。
  • 出版商：用于创建主题并向主题发送消息的应用。
  • 订阅者：应用订阅某个主题以从该主题接收消息。
  • 确认（或“确认”）。订阅者在成功收到消息后发送到 Pub/Sub 的信号。已确认的消息会从订阅的消息队列中移除。
  • 推送和拉取。这两种消息传送方式。订阅者通过以下方式接收消息：Pub/Sub 将消息推送到订阅者的所选端点，或订阅者从服务中拉取消息。

发布者-订阅者关系可以是一对多（扇出）、多对一（扇入）和多对多，如下图所示：

发布者-订阅者关系

下图展示了如何将消息从发布者传递给订阅者。请注意，对于推送传送，在对推送请求的响应中进行隐式确认；对于拉取传送，需要单独的 RPC。

消息生命周期

后续步骤