Dataproc을 사용하는 Pub/Sub 라이트

Pub/Sub 라이트는 저렴한 비용으로 설계된 실시간 메시징 서비스로 Pub/Sub에 비해 안정성이 낮습니다. Pub/Sub 라이트는 스토리지를 위한 영역 및 리전 주제를 제공합니다.

Pub/Sub 라이트 Spark 커넥터는 기본 마이크로 일괄 처리 및 실험용 지속적 처리 모드에서 Apache Spark Structured Streaming에 대한 입력 소스로 Pub/Sub 라이트를 지원합니다.

Dataproc에서 Pub/Sub 라이트 사용

자바

GitHub의 java-pubsublite-spark 저장소에 있는 samples 디렉터리에는 Dataproc과 함께 Pub/Sub 라이트를 사용하는 자바의 Spark 예시가 포함되어 있습니다. 예시를 실행하려면 Spark 예시의 지침을 따르세요.

1. 시작하려면 java-pubsublite-spark GitHub 저장소를 클론합니다.

   git clone https://github.com/googleapis/java-pubsublite-spark
   cd java-pubsublite-spark/samples
   

Python/Scala

커넥터는 Maven Central repository에서 사용할 수 있습니다. spark-submit 명령어를 사용하는 경우 --packages 옵션을 통해 다운로드하여 제공하거나 spark.jars.packages 구성 속성을 통해 설정할 수 있습니다.

추가 정보

• Pub/Sub 라이트에서 데이터를 읽고 쓰기 위해 Dataproc 클러스터에서 Python 스크립트를 실행하는 빠른 시작인 Apache Spark로 Pub/Sub 라이트 사용을 참조하세요.
• 여기에서 Pub/Sub 라이트 Spark 커넥터 버전을 선택한 후 링크된 페이지에서 JAR을 다운로드합니다.