Pub/Sub Lite ist ein Echtzeit-Messaging-Dienst, der für niedrige Kosten entwickelt wurde und im Vergleich zu Pub/Sub eine geringere Zuverlässigkeit bietet. Pub/Sub Lite bietet zonale und regionale Themen für den Speicher.
Pub/Sub Lite Spark-Connector unterstützt Pub/Sub Lite als Eingabequelle für Apache Spark Structured Streaming im standardmäßigen Mikro-Batch-Verarbeitungsmodus und im experimentellen Modus der kontinuierlichen Verarbeitung.
Pub/Sub Lite mit Dataproc verwenden
Java
Das Verzeichnis samples im Repository java-pubsublite-spark auf GitHub enthält ein Spark-Beispiel in Java, das Pub/Sub Lite mit Dataproc verwendet. Folgen Sie der Anleitung im Spark-Beispiel, um das Beispiel auszuführen.
- Klonen Sie zuerst das GitHub-Repository
java-pubsublite-spark.git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Der Connector ist im Maven Central Repository verfügbar.
Sie können den Befehl über die Option --packages herunterladen und bereitstellen, wenn Sie den Befehl spark-submit verwenden oder ihn über das Konfigurationsattribut spark.jars.packages festlegen.
Nächste Schritte
- Pub/Sub Lite mit Apache Spark verwenden ist eine Kurzanleitung, in der ein Python-Skript in einem Dataproc-Cluster ausgeführt wird, um Daten aus Pub/Sub Lite zu lesen und in Pub/Sub Lite zu schreiben.
- Wählen Sie die Version des Pub/Sub Lite Spark-Connectors aus und laden Sie dann die JAR-Datei auf der verknüpften Seite herunter.