借助 Dataproc Serverless,您无需编写任何代码即可运行 Spark 工作负载 预配和管理您自己的 Dataproc 集群。 您可以通过以下两种方式运行 Dataproc Serverless 工作负载:
适用于 Spark Batch 的 Dataproc Serverless
使用 Google Cloud 控制台、Google Cloud CLI 或 Dataproc API 将批量工作负载提交到 Dataproc Serverless 服务。该服务将在托管式计算基础架构上运行工作负载,并根据需要自动扩缩资源。Dataproc 无服务器费用仅适用于 工作负载执行的时间
要开始使用,请参阅 运行 Apache Spark 批量工作负载。
适用于 Spark Interactive 的 Dataproc Serverless
在 Dataproc Serverless 期间,在 Jupyter 笔记本中编写和运行代码 Spark Interactive 会话。您可以通过以下方式创建笔记本会话 方式:
使用 Dataproc JupyterLab 插件创建多个笔记本 您创建和管理的模板中的会话安装 本地机器或 Compute Engine 虚拟机上的插件, 与不同 Spark 内核配置相对应的 API。 JupyterLab 启动器页面。点击卡片即可创建 Dataproc Serverless 笔记本会话,然后开始在笔记本中编写和测试代码。
Dataproc JupyterLab 插件还可让您 请使用 JupyterLab 启动器页面执行以下操作:
- 创建 Dataproc on Compute Engine 集群。
- 将作业提交到 Dataproc on Compute Engine 集群。
- 查看 Google Cloud 和 Spark 日志。
要开始使用,请参阅 将 JupyterLab 用于无服务器的批量和交互式笔记本会话。
Dataproc Serverless for Spark 与 Dataproc on Compute Engine
在 Compute Engine 上使用 Dataproc 是预配和管理基础设施的理想之选, Spark 和其他开源处理框架上的工作负载。 下表列出了 Dataproc Compute Engine 和 Dataproc Serverless for Spark。
能力 | Dataproc Serverless for Spark | Dataproc on Compute Engine |
---|---|---|
处理框架 | 批处理:Spark 3.4 及更低版本 互动:适用于 Spark 3.4 及更低版本的 PySpark 内核 |
Spark 3.3 及更低版本。其他开源框架 例如 Hive、Flink、Trino 和 Kafka |
无服务器 | 是 | 否 |
启动时间 | 60 秒 | 90 秒 |
基础架构控制 | 否 | 是 |
资源管理 | 基于 Spark | 基于 YARN |
GPU 支持 | 是 | 是 |
交互式会话 | 是 | 否 |
自定义容器 | 是 | 否 |
虚拟机访问权限(例如 SSH) | 否 | 是 |
Java 版本 | Java 17、11 | 支持过往版本 |
OS Login
支持 * |
否 | 是 |
注意:
- 操作系统登录政策不适用于 Dataproc Serverless,也不受其支持。
如果贵组织强制执行
OS Login
政策,则其 Dataproc 无服务器工作负载 都将失败。
Dataproc 无服务器安全合规性
Dataproc Serverless 遵循所有数据驻留要求, CMEK、 VPC-SC、 以及 Dataproc 遵守的其他安全要求。
Dataproc Serverless for Spark 批量工作负载功能
你可以运行以下 Dataproc Serverless Spark 批处理工作负载类型:
- Pyspark
- Spark SQL
- Spark R
- Spark(Java 或 Scala)
您可以指定 Spark 属性 。