Pub/Sub Lite avec Dataproc

Pub/Sub Lite est un service de messagerie en temps réel conçu à faible coût. Il offre une fiabilité inférieure à celle de Pub/Sub. Pub/Sub Lite propose des sujets zonaux et régionaux pour le stockage.

Le connecteur Spark Pub/Sub Lite est compatible avec Pub/Sub Lite en tant que source d'entrée pour Apache Spark Structured Streaming dans les modes de traitement continu par micro-lot par défaut et expérimental.

Utiliser Pub/Sub Lite avec Dataproc

Java

Le répertoire samples du dépôt java-pubsublite-spark sur GitHub contient un exemple Spark en Java qui utilise Pub/Sub Lite avec Dataproc. Pour exécuter l'exemple, suivez les instructions de l'exemple Spark.

  1. Pour commencer, clonez le dépôt GitHub java-pubsublite-spark :
    git clone https://github.com/googleapis/java-pubsublite-spark
    cd java-pubsublite-spark/samples
    

Python / Scala

Le connecteur est disponible sur le dépôt central Maven. Vous pouvez les télécharger et les fournir à l'aide de l'option --packages lorsque vous utilisez la commande spark-submit ou les définir à l'aide de la propriété de configuration spark.jars.packages.

Étapes suivantes