Pub/Sub Lite と Dataproc

Pub/Sub Lite は、Pub/Sub と比較して低コストで信頼性は低く構築された、リアルタイムのメッセージング サービスです。Pub/Sub Lite は、ストレージ用のゾーントピックとリージョン トピックを提供します。

Pub/Sub Lite Spark コネクタは、デフォルトのマイクロバッチ処理モードおよび試験運用版の継続処理モードで Apache Spark Structured Streaming への入力ソースとして Pub/Sub Lite をサポートします。

Dataproc で Pub/Sub Lite を使用する

Java

GitHub の java-pubsublite-spark リポジトリの samples ディレクトリには、Dataproc と Pub/Sub Lite を使用する Java の Spark サンプルが含まれています。これを実行するには、Spark サンプル内の指示に従います。

  1. まず、java-pubsublite-spark GitHub リポジトリのクローンを作成します。
    git clone https://github.com/googleapis/java-pubsublite-spark
cd java-pubsublite-spark/samples

Python / Scala

コネクタは、Maven Central リポジトリから入手できます。--packages オプションを指定するか、spark.jars.packages 構成プロパティを設定して、spark-submit コマンドでダウンロードできます。

次のステップ