Dataproc サーバーレス コンポーネントを使用すると、Vertex AI Pipelines 内のパイプラインから Apache Spark バッチ ワークロードを実行できます。Dataproc サーバーレスは、マネージド コンピューティング インフラストラクチャでバッチ ワークロードを実行し、必要に応じてリソースを自動スケーリングします。
Dataproc サーバーレスとサポートされている Spark ワークロードの詳細を確認してください。
Dataproc サーバーレスでは、Batch リソースはバッチ ワークロードを表します。Google Cloud Pipeline Components SDK には、Batch リソースを作成してその実行をモニタリングする以下のオペレータが含まれています。
API リファレンス
コンポーネントのリファレンスについては、Google Cloud Pipeline Components SDK のリファレンスで Dataproc Serverless コンポーネントの説明をご覧ください。
Dataproc サーバーレス リソースのリファレンスについては、次の API リファレンス ページをご覧ください。
Batchリソース
チュートリアル
変更履歴とリリースノート
Google Cloud パイプライン コンポーネント SDK の変更履歴と変更点については、Google Cloud パイプライン コンポーネント SDK リリースノートをご覧ください。
テクニカル サポートの連絡先
ご不明な点がございましたら、kfp-dataproc-components@google.com までお問い合わせください。