Pub/Sub Lite adalah layanan pesan real-time yang dibuat untuk biaya rendah dan menawarkan keandalan yang lebih rendah dibandingkan dengan Pub/Sub. Pub/Sub Lite menawarkan topik zona dan regional untuk penyimpanan.
Konektor Spark Pub/Sub Lite mendukung Pub/Sub Lite sebagai sumber input ke Streaming Terstruktur Apache Spark dalam mode pemrosesan batch mikro default dan mode pemrosesan berkelanjutan eksperimental.
Menggunakan Pub/Sub Lite dengan Dataproc
Java
Direktori samples di repositori java-pubsublite-spark di GitHub berisi contoh Spark dalam Java yang menggunakan Pub/Sub Lite dengan Dataproc. Untuk menjalankan contoh, ikuti
petunjuk dalam contoh Spark.
- Untuk memulai, clone repositori GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Konektor tersedia dari repositori Maven Central.
Anda dapat mendownload dan menyediakannya melalui opsi --packages saat menggunakan
perintah spark-submit atau menetapkannya melalui properti konfigurasi
spark.jars.packages.
Untuk informasi selengkapnya
- Lihat Menggunakan Pub/Sub Lite dengan Apache Spark, panduan memulai yang menjalankan skrip Python di cluster Dataproc untuk membaca dan menulis data dari dan ke Pub/Sub Lite.
- Pilih versi Konektor Spark Pub/Sub Lite di sini, lalu download JAR-nya di halaman tertaut.