借助 Dataproc Serverless，您无需预配和管理自己的 Dataproc 集群即可运行 Spark 工作负载。您可以通过两种方式运行 Dataproc Serverless 工作负载：
Dataproc Serverless for Spark 批处理
使用 Google Cloud 控制台、Google Cloud CLI 或 Dataproc API 将批处理工作负载提交到 Dataproc Serverless 服务。该服务将在托管式计算基础架构上运行工作负载，并根据需要自动扩缩资源。Dataproc 无服务器费用仅适用于 工作负载执行的时间
如需开始使用，请参阅运行 Apache Spark 批处理工作负载。
适用于 Spark Interactive 的 Dataproc Serverless
在 Dataproc Serverless 期间，在 Jupyter 笔记本中编写和运行代码 Spark Interactive 会话。您可以通过以下方式创建笔记本会话 方式：
使用 Dataproc JupyterLab 插件，根据您创建和管理的模板创建多个笔记本会话。安装 本地机器或 Compute Engine 虚拟机上的插件， 与不同 Spark 内核配置相对应的新 Spark 内核配置 JupyterLab 启动器页面。点击某个卡片以创建 Dataproc Serverless 笔记本会话，然后开始在笔记本中编写和测试代码。
Dataproc JupyterLab 插件还可让您 请使用 JupyterLab 启动器页面执行以下操作：
- 创建 Dataproc on Compute Engine 集群。
- 将作业提交到 Dataproc on Compute Engine 集群。
- 查看 Google Cloud 和 Spark 日志。
如需开始使用，请参阅使用 JupyterLab 进行无服务器批处理会话和交互式笔记本会话。
Dataproc Serverless for Spark 与 Dataproc on Compute Engine
在 Compute Engine 上使用 Dataproc 是预配和管理基础设施的理想之选， Spark 和其他开源处理框架上的工作负载。 下表列出了 Dataproc on Compute Engine 和 Dataproc Serverless for Spark 的主要区别。
| 能力 | Dataproc Serverless for Spark | Dataproc on Compute Engine |
|---|---|---|
| 处理框架 | 批处理：Spark 3.4 及更低版本 互动：适用于 Spark 3.4 及更低版本的 PySpark 内核 |
Spark 3.3 及更低版本。其他开源框架，例如 Hive、Flink、Trino 和 Kafka |
| 无服务器 | 是 | 否 |
| 启动时间 | 60 秒 | 90 秒 |
| 基础架构控制 | 否 | 是 |
| 资源管理 | 基于 Spark | 基于 YARN |
| GPU 支持 | 是 | 是 |
| 交互式会话 | 是 | 否 |
| 自定义容器 | 是 | 否 |
| 虚拟机访问权限（例如 SSH） | 否 | 是 |
| Java 版本 | Java 17、11 | 支持过往版本 |
OS Login
支持 * |
否 | 是 |
注意：
- 操作系统登录政策不适用于 Dataproc Serverless，也不受其支持。
如果贵组织强制执行
OS Login政策，其 Dataproc Serverless 工作负载将会失败。
Dataproc Serverless 安全合规性
Dataproc Serverless 遵循 Dataproc 遵循的所有数据驻留、CMEK、VPC-SC 和其他安全要求。
Dataproc Serverless for Spark 批量工作负载的功能
你可以运行以下 Dataproc Serverless Spark 批处理工作负载类型：
- Pyspark
- Spark SQL
- Spark R
- Spark（Java 或 Scala）
您可以在提交 Dataproc Serverless for Spark 批处理工作负载时指定 Spark 属性。