Pub/Sub Lite com Dataproc

O Pub/Sub Lite é um serviço de mensagens em tempo real criado para baixo custo e oferece confiabilidade menor em comparação com o Pub/Sub. O Pub/Sub Lite oferece tópicos zonais e regionais para armazenamento.

O conector do Pub/Sub Lite Spark é compatível com o Pub/Sub Lite como origem de entrada para o Apache Spark Structured Streaming nos modos de processamento contínuo de microlotes padrão e experimental.

Como usar o Pub/Sub Lite com o Dataproc

Java

O diretório samples no repositório java-pubsublite-spark no GitHub contém um exemplo do Spark em Java que usa o Pub/Sub Lite com o Dataproc. Para executar o exemplo, siga as instruções no exemplo do Spark.

1. Para começar, clone o repositório java-pubsublite-spark do GitHub:

   git clone https://github.com/googleapis/java-pubsublite-spark
   cd java-pubsublite-spark/samples
   

Python / Escala

O conector está disponível no repositório do Maven Central. É possível fazer o download e fornecê-lo por meio da opção --packages ao usar o comando spark-submit ou defini-lo pela propriedade de configuração spark.jars.packages.

Para mais informações

• Consulte Como usar o Pub/Sub Lite com o Apache Spark, um quickstart que executa um script Python em um cluster do Dataproc para ler e gravar dados do e para o Pub/Sub Lite.
• Selecione a versão do conector do Spark do Pub/Sub Lite aqui e faça o download do JAR na página vinculada.