Pub/Sub Lite es un servicio de mensajería en tiempo real creado para bajo costo y ofrece una confiabilidad más baja en comparación con Pub/Sub. Pub/Sub Lite ofrece temas zonales y regionales para el almacenamiento.
El conector de Spark de Pub/Sub Lite admite Pub/Sub Lite como fuente de entrada a Apache Spark Structured Streaming en los modos predeterminados de procesamiento por microlotes y de procesamiento continuo experimental.
Usa Pub/Sub Lite con Dataproc
Java
El directorio samples en el repositorio java-pubsublite-spark en GitHub contiene un ejemplo de Spark en Java que usa Pub/Sub Lite con Dataproc. Para ejecutar este ejemplo, sigue las instrucciones en el ejemplo de Spark.
- Para comenzar, clona el repositorio
java-pubsublite-sparkde GitHub.git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python/Scala
El conector está disponible en el repositorio de Maven Central.
Puedes descargarlo y proporcionarlo a través de la opción --packages cuando uses el comando de envío de spark-submit o mediante la propiedad de configuración spark.jars.packages.
Para más información
- Consulta Usa Pub/Sub Lite con Apache Spark, una guía de inicio rápido que ejecuta una secuencia de comandos de Python en un clúster de Dataproc para leer y escribir datos en Pub/Sub Lite y desde este.
- Selecciona la versión del conector de Spark de Pub/Sub Lite aquí y, luego, descarga su archivo JAR en la página vinculada.