Pub/Sub Lite è un servizio di messaggistica in tempo reale creato per costi contenuti e offre un'affidabilità inferiore rispetto a Pub/Sub. Pub/Sub Lite offre argomenti a livello di zona e regione per l'archiviazione.
Pub/Sub Lite Spark Connector supporta Pub/Sub Lite come origine di input per Apache Spark Structured Streaming nelle modalità di elaborazione micro-batch predefinita e di elaborazione continua sperimentale.
Utilizzare Pub/Sub Lite con Dataproc
Java
La directory samples nel repository java-pubsublite-spark su
GitHub contiene
un esempio Spark in Java che utilizza Pub/Sub Lite con
Dataproc. Per eseguire l'esempio, segui le
istruzioni riportate nell'esempio Spark.
- Per iniziare, clona il repository GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Il connettore è disponibile nel repository Maven Central.
Puoi scaricarlo e fornirlo utilizzando l'opzione --packages quando utilizzi il
comando spark-submit o impostarlo utilizzando la spark.jars.packages
proprietà di configurazione.
Passaggi successivi
- Consulta Utilizzo di Pub/Sub Lite con Apache Spark, una guida rapida che esegue uno script Python su un cluster Dataproc per leggere e scrivere dati da e verso Pub/Sub Lite.
- Seleziona la versione del connettore Spark Pub/Sub Lite, quindi scarica il file JAR nella pagina collegata.