O Pub/Sub Lite é um serviço de mensagens em tempo real criado para baixo custo e oferece menor confiabilidade em comparação com o Pub/Sub. O Pub/Sub Lite oferece tópicos zonais e regionais para armazenamento.
O conector do Pub/Sub Lite Spark é compatível com o Pub/Sub Lite como origem de entrada para o Apache Spark Structured Streaming nos modos de processamento contínuo de microlotes padrão e experimental.
Como usar o Pub/Sub Lite com o Dataproc
Java
O diretório samples no repositório java-pubsublite-spark no GitHub contém um exemplo do Spark em Java que usa o Pub/Sub Lite com o Dataproc. Para executar o exemplo, siga as instruções no exemplo do Spark.
- Para começar, clone o repositório
java-pubsublite-sparkdo GitHub:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Escala
O conector está disponível no repositório do Maven Central.
É possível fazer o download e fornecê-lo por meio da opção --packages ao usar o comando spark-submit ou defini-lo pela propriedade de configuração spark.jars.packages.
Para mais informações
- Consulte Como usar o Pub/Sub Lite com o Apache Spark, um guia de início rápido que executa um script Python em um cluster do Dataproc para ler e gravar dados no Pub/Sub Lite e no Pub/Sub Lite.
- Selecione a versão do conector do Spark do Pub/Sub Lite aqui e faça o download do JAR na página vinculada.