Pub/Sub Lite con Dataproc

Pub/Sub Lite es un servicio de mensajería en tiempo real creado a un bajo costo y con menor fiabilidad en comparación con Pub/Sub. Pub/Sub Lite ofrece servicios zonales y regionales para el almacenamiento.

El conector de Spark de Pub/Sub Lite admite Pub/Sub Lite como fuente de entrada a Apache Spark Structured Streaming en los modos predeterminados de procesamiento por microlotes y de procesamiento continuo experimental.

Usa Pub/Sub Lite con Dataproc

Java

El directorio samples en el repositorio java-pubsublite-spark en GitHub contiene un ejemplo de Spark en Java que usa Pub/Sub Lite con Dataproc. Para ejecutar este ejemplo, sigue las instrucciones en el ejemplo de Spark.

  1. Para comenzar, clona el repositorio java-pubsublite-spark de GitHub.
    git clone https://github.com/googleapis/java-pubsublite-spark
    cd java-pubsublite-spark/samples
    

Python/Scala

El conector está disponible en el repositorio de Maven Central. Puedes descargarlo y proporcionarlo a través de la opción --packages cuando uses el comando spark-submit o configurarlo a través de la propiedad de configuración spark.jars.packages.

Más información

  • Consulta Cómo usar Pub/Sub Lite con Apache Spark, una guía de inicio rápido que ejecuta una secuencia de comandos de Python en un clúster de Dataproc para leer y escribir datos desde y hacia Pub/Sub Lite.
  • Selecciona la versión del conector de Spark de Pub/Sub Lite aquí y, luego, descarga su archivo JAR en la página vinculada.