Dataproc 模板

使用 GitHub 上的 Dataproc 模板设置和运行 Dataproc 工作负载和作业。

模板提供以下语言和执行环境:

  • Airflow 编排模板:在 Airflow 中通过 DAG 运行 Spark 作业。
  • Java 模板:在 Dataproc Serverless 或现有 Dataproc 集群上运行 Spark 批处理工作负载或作业。
  • Python 模板:在 Dataproc Serverless 上运行 PySpark 批处理工作负载。
  • 笔记本模板:使用 Vertex AI 笔记本运行 Spark 作业。