Pub/Sub Lite com Dataproc

O Pub/Sub Lite é um serviço de mensagens em tempo real criado para baixo custo e oferece menor confiabilidade em comparação com o Pub/Sub. O Pub/Sub Lite oferece tópicos zonais e regionais para armazenamento.

O conector do Pub/Sub Lite Spark é compatível com o Pub/Sub Lite como origem de entrada para o Apache Spark Structured Streaming nos modos de processamento contínuo de microlotes padrão e experimental.

Usar o Pub/Sub Lite com o Dataproc

Java

O diretório samples no repositório java-pubsublite-spark no GitHub contém um exemplo do Spark em Java que usa o Pub/Sub Lite com o Dataproc. Para executar o exemplo, siga as instruções no exemplo do Spark.

  1. Para começar, clone o repositório java-pubsublite-spark do GitHub:
    git clone https://github.com/googleapis/java-pubsublite-spark
    cd java-pubsublite-spark/samples
    

Python / Escala

O conector está disponível no repositório do Maven Central. É possível fazer o download e fornecê-lo usando a opção --packages ao usar o comando spark-submit ou defini-lo usando a propriedade de configuração spark.jars.packages.

A seguir