搭配使用 Dataproc 與 Pub/Sub Lite

Pub/Sub Lite 是即時訊息傳遞服務，建構目的是為了降低成本，但與 Pub/Sub 相比，可靠性較低。Pub/Sub Lite 提供可用區和區域主題，用於儲存空間。

Pub/Sub Lite Spark 連接器支援 Pub/Sub Lite 做為 Apache Spark 結構化串流的輸入來源，包括預設微批次處理模式和實驗性連續處理模式。

搭配使用 Dataproc 與 Pub/Sub Lite

Java

GitHub 上的 java-pubsublite-spark 存放區中的 samples 目錄包含 Java 的 Spark 範例，其中使用 Pub/Sub Lite 搭配 Dataproc。如要執行這個範例，請按照 Spark 範例中的指示操作。

  1. 如要開始使用，請複製 java-pubsublite-spark GitHub 存放區： 
    git clone https://github.com/googleapis/java-pubsublite-spark
cd java-pubsublite-spark/samples

Python / Scala

您可以從 Maven Central 存放區取得連接器。 使用 spark-submit 指令時，您可以透過 --packages 選項下載並提供這個檔案，也可以使用 spark.jars.packages configuration 屬性設定這個檔案。

後續步驟