Pub/Sub Lite adalah layanan pesan real-time yang dibuat dengan biaya rendah dan menawarkan keandalan yang lebih rendah dibandingkan Pub/Sub. Pub/Sub Lite menawarkan topik zona dan regional untuk penyimpanan.
Konektor Pub/Sub Lite Spark mendukung Pub/Sub Lite sebagai sumber input untuk Streaming Terstruktur Apache Spark dalam mode pemrosesan batch mikro default dan pemrosesan berkelanjutan eksperimental.
Menggunakan Pub/Sub Lite dengan Dataproc
Java
Direktori samples di repositori java-pubsublite-spark di GitHub berisi contoh Spark di Java yang menggunakan Pub/Sub Lite dengan Dataproc. Untuk menjalankan contoh, ikuti petunjuk pada contoh Spark.
- Untuk memulai, clone repositori GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Konektor tersedia di repositori Maven Central.
Anda dapat mendownload dan menyediakannya melalui opsi --packages saat menggunakan
perintah spark-submit, atau menetapkannya melalui
properti konfigurasi spark.jars.packages.
Untuk informasi selengkapnya
- Lihat Menggunakan Pub/Sub Lite dengan Apache Spark, panduan memulai yang menjalankan skrip Python pada cluster Dataproc untuk membaca dan menulis data dari dan ke Pub/Sub Lite.
- Pilih versi Pub/Sub Lite Spark Connector di sini, lalu download JAR-nya di halaman tertaut.