Dataproc 템플릿

Dataproc 워크로드와 작업을 설정하고 실행하려면 GitHub의 Dataproc 템플릿을 사용하세요.

템플릿은 다음 언어와 실행 환경에서 제공됩니다.

  • Airflow 조정 템플릿: Airflow의 DAG에서 Spark 작업을 실행합니다.
  • Java 템플릿: Dataproc Serverless 또는 기존 Dataproc 클러스터에서 Spark 일괄 워크로드나 작업을 실행합니다.
  • Python 템플릿: Dataproc Serverless에서 PySpark 일괄 워크로드를 실행합니다.
  • 노트북 템플릿: Vertex AI 노트북을 사용하여 Spark 작업을 실행합니다.