Pub/Sub Lite と Dataproc
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
Pub/Sub Lite は、Pub/Sub と比較して低コストで信頼性は低く構築された、リアルタイムのメッセージング サービスです。Pub/Sub Lite には、ストレージ用のゾーントピックとリージョン トピックが用意されています。
Pub/Sub Lite Spark コネクタは、デフォルトのマイクロバッチ処理モードおよび試験運用版の継続処理モードで Apache Spark Structured Streaming への入力ソースとして Pub/Sub Lite をサポートします。
Dataproc での Pub/Sub Lite の使用
Java
GitHub の java-pubsublite-spark
リポジトリの samples
ディレクトリには、Dataproc を使用した Pub/Sub Lite を使用する Java による Spark のサンプルが含まれています。これを実行するには、Spark サンプル内の指示に従います。
- まず、
java-pubsublite-spark
GitHub リポジトリのクローンを作成します。
git clone https://github.com/googleapis/java-pubsublite-spark
cd java-pubsublite-spark/samples
Python / Scala
コネクタは、Maven Central リポジトリから入手できます。--packages
オプションを指定するか、spark.jars.packages 構成プロパティを設定して、spark-submit コマンドでダウンロードできます。
- Apache Spark での Pub/Sub Lite の使用をご覧ください。Dataproc クラスタで Python スクリプトを実行して、Pub/Sub Lite との間でデータを読み書きするクイックスタートです。
- こちらで Pub/Sub Lite Spark コネクタのバージョンを選択し、リンク先のページで JAR をダウンロードします。
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2023-12-12 UTC。
[{
"type": "thumb-down",
"id": "hardToUnderstand",
"label":"Hard to understand"
},{
"type": "thumb-down",
"id": "incorrectInformationOrSampleCode",
"label":"Incorrect information or sample code"
},{
"type": "thumb-down",
"id": "missingTheInformationSamplesINeed",
"label":"Missing the information/samples I need"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻訳に関する問題"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"その他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"わかりやすい"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"問題の解決に役立った"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"その他"
}]