Dataproc テンプレート

Dataproc のワークロードとジョブを設定して実行するには、GitHub の Dataproc テンプレートを使用します。

テンプレートは、次の言語と実行環境で提供されます。

• Airflow オーケストレーション テンプレート: Airflow の DAG から Spark ジョブを実行します。
• Java テンプレート: Dataproc Serverless または既存の Dataproc クラスタで Spark バッチ ワークロードまたはジョブを実行します。
• Python テンプレート: Dataproc Serverless で PySpark バッチ ワークロードを実行します。
• Notebook テンプレート: Vertex AI ノートブックを使用して Spark ジョブを実行します。