Pub/Sub Lite est un service de messagerie en temps réel conçu à faible coût. Il offre une fiabilité inférieure à celle de Pub/Sub. Pub/Sub Lite propose des sujets zonaux et régionaux pour le stockage.
Le connecteur Spark Pub/Sub Lite est compatible avec Pub/Sub Lite en tant que source d'entrée pour Apache Spark Structured Streaming dans les modes de traitement continu par micro-lot par défaut et expérimental.
Utiliser Pub/Sub Lite avec Dataproc
Java
Le répertoire samples du dépôt java-pubsublite-spark sur GitHub contient un exemple Spark en Java qui utilise Pub/Sub Lite avec Dataproc. Pour exécuter l'exemple, suivez les instructions de l'exemple Spark.
- Pour commencer, clonez le dépôt GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Le connecteur est disponible sur le dépôt central Maven.
Vous pouvez les télécharger et les fournir à l'aide de l'option --packages lorsque vous utilisez la commande spark-submit ou les définir à l'aide de la propriété de configuration spark.jars.packages.
Étapes suivantes
- Consultez Utiliser Pub/Sub Lite avec Apache Spark, un guide de démarrage rapide qui exécute un script Python sur un cluster Dataproc pour lire et écrire des données depuis et vers Pub/Sub Lite.
- Sélectionnez la version du connecteur Spark Pub/Sub Lite, puis téléchargez son fichier JAR sur la page liée.