Dataproc テンプレート

GitHub で Dataproc テンプレートを使用して、Dataproc のワークロードとジョブを設定して実行します。

テンプレートは、次の言語と実行環境で提供されます。

• Airflow オーケストレーション テンプレート: Airflow で DAG から Spark ジョブを実行します。
• Java テンプレート: Dataproc Serverless または既存の Dataproc クラスタで Spark バッチ ワークロードまたはジョブを実行します。
• Python テンプレート: Dataproc Serverless で PySpark バッチ ワークロードを実行します。
• Notebook テンプレート: Vertex AI Notebooks を使用して Spark ジョブを実行します。