Pub/Sub Lite adalah layanan pesan real-time yang dibuat dengan biaya rendah dan menawarkan keandalan yang lebih rendah dibandingkan dengan Pub/Sub. Pub/Sub Lite menawarkan topik zonal dan regional untuk penyimpanan.
Konektor Spark Pub/Sub Lite mendukung Pub/Sub Lite sebagai sumber input ke Apache Spark Structured Streaming dalam pemrosesan micro-batch default dan mode pemrosesan berkelanjutan eksperimental.
Menggunakan Pub/Sub Lite dengan Dataproc
Java
Direktori samples di repositori java-pubsublite-spark di
GitHub berisi
contoh Spark di Java yang menggunakan Pub/Sub Lite dengan
Dataproc. Untuk menjalankan contoh, ikuti
petunjuk dalam contoh Spark.
- Untuk memulai, clone repositori GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Konektor tersedia di repositori Maven Central.
Anda dapat mendownload dan menyediakannya menggunakan opsi --packages saat menggunakan perintah
spark-submit atau menetapkannya menggunakan properti konfigurasi
spark.jars.packages.
Langkah berikutnya
- Lihat Menggunakan Pub/Sub Lite dengan Apache Spark, panduan memulai yang menjalankan skrip Python di cluster Dataproc untuk membaca dan menulis data dari dan ke Pub/Sub Lite.
- Pilih versi Pub/Sub Lite Spark Connector, lalu download JAR-nya di halaman yang ditautkan.