Pub/Sub Lite è un servizio di messaggistica in tempo reale creato per i costi contenuti e offre minore affidabilità rispetto a Pub/Sub. Pub/Sub Lite offre servizi a livello di zona e di regione per l'archiviazione.
Il connettore Spark Pub/Sub Lite supporta Pub/Sub Lite come origine di input per i flussi strutturati Apache Spark in l'elaborazione predefinita in micro-batch e l'esperimento continuo di elaborazione.
Utilizzo di Pub/Sub Lite con Dataproc
Java
La directory samples nel repository java-pubsublite-spark su GitHub contiene un esempio di Spark in Java che utilizza Pub/Sub Lite con Dataproc. Per eseguire l'esempio, segui le istruzioni nell'esempio Spark.
- Per iniziare, clona il repository GitHub di
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Il connettore è disponibile nel repository Maven Central.
Puoi scaricarlo e fornirlo tramite l'opzione --packages quando utilizzi il comando spark-submit o impostarlo tramite la proprietà di configurazione spark.jars.packages.
Per ulteriori informazioni
- Consulta Utilizzo di Pub/Sub Lite con Apache Spark, una guida rapida che esegue uno script Python su un cluster Dataproc per leggere e scrivere dati da e verso Pub/Sub Lite.
- Seleziona la versione del connettore Spark Pub/Sub Lite qui, quindi scarica il relativo JAR nella pagina collegata.