Pub/Sub Lite 和 Dataproc

Pub/Sub 精简版是一种实时消息传递服务，费用低廉，与 Pub/Sub 相比，该服务可靠性较低。Pub/Sub 精简版可为存储提供可用区级和区域级主题。

Pub/Sub Lite Spark 连接器支持将 Pub/Sub Lite 作为 Apache Spark 结构化流（默认微批处理和实验性持续处理模式）的输入来源。

将 Pub/Sub Lite 与 Dataproc 搭配使用

Java

GitHub 上的 java-pubsublite-spark 代码库中的 samples 目录包含一个用 Java 编写的 Spark 示例，该示例将 Pub/Sub Lite 与 Dataproc 结合使用。要运行此示例，请按照 Spark 示例中的说明操作。

  1. 要开始操作，请克隆 java-pubsublite-spark GitHub 代码库：
    git clone https://github.com/googleapis/java-pubsublite-spark
cd java-pubsublite-spark/samples

Python / Scala

此连接器可从 Maven 中央代码库获得。在使用 spark-submit 命令时，您可以通过 --packages 选项下载并提供连接器，或通过 spark.jars.packages 配置属性设置连接器。

了解详情