Pub/Sub Lite è un servizio di messaggistica in tempo reale creato a basso costo e offre affidabilità minore rispetto a Pub/Sub. Pub/Sub Lite offre argomenti a livello di zona e regione per l'archiviazione.
Il connettore Spark Pub/Sub Lite supporta Pub/Sub Lite come origine di input per il flusso strutturato di Apache Spark, nelle modalità di elaborazione micro-batch predefinite e di elaborazione continua sperimentale.
Utilizzo di Pub/Sub Lite con Dataproc
Java
La directory samples nel repository java-pubsublite-spark su
GitHub contiene
un esempio Spark in Java che utilizza Pub/Sub Lite con
Dataproc. Per eseguire l'esempio, segui le
istruzioni nell'esempio di Spark.
- Per iniziare, clona il repository GitHub di
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Il connettore è disponibile nel repository Maven Central.
Puoi scaricarlo e fornirlo tramite l'opzione --packages quando utilizzi il comando spark-submit oppure impostarlo tramite la proprietà di configurazione spark.jars.packages.
Per maggiori informazioni
- Consulta la guida rapida sull'utilizzo di Pub/Sub Lite con Apache Spark, che esegue uno script Python su un cluster Dataproc per leggere e scrivere dati da e verso Pub/Sub Lite.
- Seleziona qui la versione del connettore Spark Pub/Sub Lite, quindi scarica il relativo JAR nella pagina collegata.