Dataproc テンプレート

GitHub の Dataproc テンプレートを使用して、Dataproc のワークロードとジョブを設定、実行します。

テンプレートは、次の言語と実行環境で提供されます。

• Airflow オーケストレーション テンプレート: Airflow の DAG から Spark ジョブを実行します。
• Java テンプレート: Dataproc Serverless または既存の Dataproc クラスタで Spark バッチ ワークロードまたはジョブを実行します。
• Python テンプレート: Dataproc Serverless で PySpark バッチ ワークロードを実行します。
• Notebook テンプレート: Vertex AI Notebooks を使用して Spark ジョブを実行します。