Dataproc 无服务器组件

通过 Dataproc 无服务器组件,您可以从 Vertex AI Pipelines 中的流水线运行 Apache Spark 批处理工作负载。 Dataproc 无服务器在代管式计算基础架构上运行批处理工作负载,根据需要自动扩缩资源。

详细了解 Dataproc 无服务器支持的 Spark 工作负载

在 Dataproc 无服务器中,Batch 资源表示批处理工作负载。Google Cloud 流水线组件 SDK 包含以下运算符,用于创建 Batch 资源并监控其执行:

API 参考文档

如需查看组件参考文档,请参阅 google_cloud_pipeline_components SDK 参考文档页面。

如需查看 Dataproc 无服务器资源参考文档,请参阅以下 API 参考文档页面:

  • Batch 资源参考文档

教程

版本历史记录和版本说明

如需详细了解 Google Cloud 流水线组件 SDK 的版本历史记录和更改,请参阅 Google Cloud 流水线组件 SDK 版本说明

技术支持联系人

如果您有任何疑问,请联系 kfp-dataproc-components@google.com