Pub/Sub Lite es un servicio de mensajería en tiempo real compilado a bajo costo y ofrece menor confiabilidad en comparación con Pub/Sub. Pub/Sub Lite ofrece temas regionales y zonales para el almacenamiento.
El conector de Spark de Pub/Sub Lite admite Pub/Sub Lite como fuente de entrada a Apache Spark Structured Streaming en los modos predeterminados de procesamiento por microlotes y de procesamiento continuo experimental.
Usa Pub/Sub Lite con Dataproc
Java
El directorio samples en el repositorio java-pubsublite-spark en GitHub contiene un ejemplo de Spark en Java que usa Pub/Sub Lite con Dataproc. Para ejecutar este ejemplo, sigue las instrucciones en el ejemplo de Spark.
- Para comenzar, clona el repositorio
java-pubsublite-sparkde GitHub.git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python/Scala
El conector está disponible en el repositorio de Maven Central.
Puedes descargarlo y proporcionarlo a través de la opción --packages cuando uses el comando spark-submit o configurarlo a través de la propiedad de configuración spark.jars.packages.
Más información
- Consulta Cómo usar Pub/Sub Lite con Apache Spark, una guía de inicio rápido que ejecuta una secuencia de comandos de Python en un clúster de Dataproc para leer y escribir datos desde y hacia Pub/Sub Lite.
- Selecciona la versión del conector de Spark de Pub/Sub Lite aquí y, luego, descarga su archivo JAR en la página vinculada.