O Pub/Sub Lite é um serviço de mensagens em tempo real criado para ter um custo baixo e oferece uma fiabilidade inferior em comparação com o Pub/Sub. O Pub/Sub Lite oferece tópicos zonais e regionais para armazenamento.
O conetor do Pub/Sub Lite Spark suporta o Pub/Sub Lite como uma origem de entrada para o Apache Spark Structured Streaming nos modos de processamento em microlotes predefinidos e de processamento contínuo experimental.
Use o Pub/Sub Lite com o Dataproc
Java
O diretório samples no repositório java-pubsublite-spark no
GitHub contém
um exemplo do Spark em Java que usa o Pub/Sub Lite com o
Dataproc. Para executar o exemplo, siga as
instruções no exemplo do Spark.
- Para começar, clone o
java-pubsublite-sparkrepositório do GitHub:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
O conetor está disponível no repositório Maven Central.
Pode transferi-lo e fornecê-lo através da opção --packages quando usar o comando spark-submit ou defini-lo através da spark.jars.packages
propriedade de configuração.
O que se segue?
- Consulte o artigo Usar o Pub/Sub Lite com o Apache Spark, um início rápido que executa um script Python num cluster do Dataproc para ler e escrever dados do e para o Pub/Sub Lite.
- Selecione a versão do conector do Pub/Sub Lite Spark e, de seguida, transfira o respetivo JAR na página com o link.