Dataproc サーバーレス コンポーネントを使用すると、Vertex AI Pipelines 内のパイプラインから Apache Spark バッチ ワークロードを実行できます。Dataproc サーバーレスは、マネージド コンピューティング インフラストラクチャでバッチ ワークロードを実行し、必要に応じてリソースを自動スケーリングします。
Dataproc サーバーレスとサポートされている Spark ワークロードの詳細を確認してください。
Dataproc サーバーレスでは、Batch リソースはバッチ ワークロードを表します。Google Cloud Pipeline Components SDK には、Batch リソースを作成してその実行をモニタリングする以下のオペレータが含まれています。
API リファレンス
コンポーネントのリファレンスについては、Google Cloud Pipeline Components SDK のリファレンスで Dataproc Serverless コンポーネントの説明をご覧ください。
Dataproc サーバーレス リソースのリファレンスについては、次の API リファレンス ページをご覧ください。
Batchリソース
チュートリアル
変更履歴とリリースノート
変更履歴と Google Cloud パイプライン コンポーネント SDK の変更の詳細については、Google Cloud パイプライン コンポーネント SDK リリースノートをご覧ください。
テクニカル サポートの連絡先
ご不明な点がありましたら、kfp-dataproc-components@google.com までお問い合わせください。