Pub/Sub Lite 和 Dataproc

Pub/Sub 精简版是一种实时消息传递服务,费用低廉,与 Pub/Sub 相比,该服务可靠性较低。Pub/Sub 精简版可为存储提供可用区级和区域级主题。

Pub/Sub Lite Spark 连接器支持将 Pub/Sub Lite 作为 Apache Spark 结构化流(默认微批处理和实验性持续处理模式)的输入来源。

将 Pub/Sub Lite 与 Dataproc 搭配使用

Java

GitHub 上的 java-pubsublite-spark 代码库中的 samples 目录包含一个用 Java 编写的 Spark 示例,该示例将 Pub/Sub Lite 与 Dataproc 结合使用。要运行此示例,请按照 Spark 示例中的说明操作。

  1. 要开始操作,请克隆 java-pubsublite-spark GitHub 代码库:
    git clone https://github.com/googleapis/java-pubsublite-spark
    cd java-pubsublite-spark/samples
    

Python / Scala

此连接器可从 Maven 中央代码库获得。在使用 spark-submit 命令时,您可以通过 --packages 选项下载并提供连接器,或通过 spark.jars.packages 配置属性设置连接器。

了解详情