O Pub/Sub Lite é um serviço de mensagens em tempo real criado para baixo custo e que oferece menor confiabilidade em comparação com o Pub/Sub. O Pub/Sub Lite oferece tópicos zonais e regionais para armazenamento.
O conector do Pub/Sub Lite Spark é compatível com o Pub/Sub Lite como origem de entrada para o Apache Spark Structured Streaming nos modos de processamento contínuo de microlotes padrão e experimental.
Como usar o Pub/Sub Lite com o Dataproc
Java
O diretório samples
no repositório java-pubsublite-spark
no GitHub contém um exemplo do Spark em Java que usa o Pub/Sub Lite com o Dataproc. Para executar o exemplo, siga as instruções no exemplo do Spark.
- Para começar, clone o repositório
java-pubsublite-spark
do GitHub:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Escala
O conector está disponível no repositório do Maven Central.
É possível fazer o download e fornecê-lo por meio da opção --packages
ao usar o comando spark-submit ou defini-lo pela propriedade de configuração spark.jars.packages.
Para mais informações
- Consulte Como usar o Pub/Sub Lite com o Apache Spark. um guia de início rápido que executa um script Python em um cluster do Dataproc para ler e gravar dados no Pub/Sub Lite.
- Selecione a versão do conector do Spark do Pub/Sub Lite aqui e faça o download do JAR na página vinculada.