Pub/Sub Lite ist ein Echtzeit-Messaging-Dienst, der für einen niedrigen Preis entwickelt wurde und im Vergleich zu Pub/Sub eine geringere Zuverlässigkeit bietet. Pub/Sub Lite bietet zonale und regionale Themen zum Speichern.
Pub/Sub Lite Spark-Connector unterstützt Pub/Sub Lite als Eingabequelle für Apache Spark Structured Streaming im standardmäßigen Mikro-Batch-Verarbeitungsmodus und im experimentellen Modus der kontinuierlichen Verarbeitung.
Pub/Sub Lite mit Dataproc verwenden
Java
Das Verzeichnis samples im Repository java-pubsublite-spark auf GitHub enthält ein Spark-Beispiel in Java, das Pub/Sub Lite mit Dataproc verwendet. Folgen Sie der Anleitung im Spark-Beispiel, um das Beispiel auszuführen.
- Klonen Sie zuerst das GitHub-Repository
java-pubsublite-spark.git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Der Connector ist im Maven Central Repository verfügbar.
Sie können den Befehl über die Option --packages herunterladen und bereitstellen, wenn Sie den Befehl spark-submit verwenden oder ihn über das Konfigurationsattribut spark.jars.packages festlegen.
Weitere Informationen
- Unter Pub/Sub Lite mit Apache Spark verwenden finden Sie eine Kurzanleitung, die ein Python-Skript in einem Dataproc-Cluster ausführt, um Daten aus Pub/Sub Lite zu lesen und zu schreiben.
- Wählen Sie hier die Version des Pub/Sub Lite-Spark-Connectors aus und laden Sie dann die JAR-Datei auf die verknüpfte Seite herunter.