Dataproc 템플릿

GitHub에서 Dataproc 템플릿을 사용하여 Dataproc 워크로드와 작업을 설정하고 실행합니다.

템플릿은 다음 언어와 실행 환경에서 제공됩니다.

  • Airflow 조정 템플릿: Airflow의 DAG에서 Spark 작업을 실행합니다.
  • 자바 템플릿: Dataproc Serverless 또는 기존 Dataproc 클러스터에서 Spark 일괄 워크로드나 작업을 실행합니다.
  • Python 템플릿: Dataproc Serverless에서 PySpark 일괄 워크로드를 실행합니다.
  • 노트북 템플릿: Vertex AI Notebooks를 사용하여 Spark 작업을 실행합니다.