Serverless for Apache Spark 自动扩缩

本文档提供有关 Google Cloud Serverless for Apache Spark 自动扩缩的信息。在提交 Spark 工作负载时，Serverless for Apache Spark 可以动态扩缩工作负载资源（例如执行器的数量），以便高效地运行工作负载。Serverless for Apache Spark 自动扩缩是默认行为，它使用 Spark 动态资源分配来确定是否扩缩工作负载、扩缩方式和扩缩时间。

Serverless for Apache Spark 自动扩缩 V2

无服务器 Apache Spark 自动扩缩版本 2 (V2) 在默认版本 1 (V1) 的基础上新增了多项功能并进行了改进，可帮助您管理无服务器 Apache Spark 工作负载、提高工作负载性能并节省费用：

• 异步节点缩减：自动扩缩 V2 将 V1 的同步缩减替换为异步缩减。借助异步缩减，Serverless for Apache Spark 可缩减工作负载资源，而无需等待所有节点完成 shuffle 迁移。这意味着，缩减速度缓慢的长尾节点不会阻止放大。
• 智能缩减节点选择：自动伸缩 V2 使用智能算法取代了 V1 的随机节点选择，该算法可识别最适合率先缩减的节点。此算法会考虑节点混洗数据大小和空闲时间等因素。
• 可配置的 Spark 正常退役和 Shuffle 迁移行为：借助自动扩缩 V2，您可以使用标准 Spark 属性来配置 Spark 正常退役和 Shuffle 迁移。此功能可帮助您保持与自定义 Spark 属性的迁移兼容性。

注意： 在提交 Spark 批处理工作负载时，请设置 spark.dataproc.scaling.version=2 属性以启用 Serverless for Apache Spark 自动扩缩 V2。

Serverless for Apache Spark 自动扩缩功能

功能	Serverless for Apache Spark 自动扩缩 V1	Serverless for Apache Spark 自动扩缩 V2
节点缩减	同步	异步
缩减规模的节点选择	随机	智能
Spark 安全停用和 Shuffle 迁移	不可配置	可配置

Spark 动态分配属性

下表列出了您在提交批处理工作负载时可以设置的 Spark 动态分配属性，以控制自动扩缩（请参阅如何设置 Spark 属性）。

注意： 另请参阅 Spark 属性，其中介绍了在提交 Serverless for Apache Spark Spark 批处理工作负载时可以设置的其他属性。

属性	说明	默认
spark.dataproc.scaling.version	Serverless for Apache Spark 的 Spark 自动扩缩版本。指定版本 1 或 2（请参阅 Serverless for Apache Spark 自动扩缩 V2）。	1
spark.dynamicAllocation.enabled	是否使用动态资源分配，该分配方式会根据工作负载扩缩执行程序的数量。 将值设置为 false 会停用工作负载的自动扩缩功能。默认值：true。	true
spark.dynamicAllocation.initialExecutors	分配给工作负载的执行程序的初始数量。工作负载开始后，自动扩缩可能会更改活跃执行程序的数量。 最小值为 2；最大值为 2000。	2
spark.dynamicAllocation.minExecutors	工作负载可缩减到的执行程序数量下限。 最小值为 2。	2
spark.dynamicAllocation.maxExecutors	工作负载可扩容到的执行程序数上限。 最大值为 2000。	1000
spark.dynamicAllocation.executorAllocationRatio	自定义 Spark 工作负载的扩容。接受的值介于 0 到 1 之间。值为 1.0 时，可提供最大的纵向扩缩能力，并有助于实现最大的并行性。值为 0.5 时，将纵向扩缩能力和并行性设置为最大值的一半。	0.3
spark.reducer.fetchMigratedShuffle.enabled	设置为 true 时，在因 Spark 动态分配而停用的执行器提取失败后，允许从 Spark 驱动程序提取 shuffle 输出位置。这减少了因从已停用的执行程序到正在运行的执行程序的 shuffle 块迁移而导致的 ExecutorDeadException 错误，并减少了因 FetchFailedException 错误而导致的阶段重试（请参阅 FetchFailedException caused by ExecutorDeadException）。 此属性适用于 Serverless for Apache Spark Spark 运行时版本 1.1.12 及更高版本和 2.0.20 及更高版本。	false

Spark 动态分配指标

Spark 批处理工作负载会生成以下与 Spark 动态资源分配相关的指标（如需详细了解 Spark 指标，请参阅监控和插桩）。

注意： 请参阅 Spark 指标，其中介绍了您可以设置哪些属性来控制 Spark 指标的收集。

指标	说明
maximum-needed	在当前负载下，满足所有正在运行和待处理的任务所需的执行程序数上限。
running	正在执行任务的执行程序数量。

Spark 动态分配问题和解决方案

• 由 ExecutorDeadException 引起的 FetchFailedException

  原因：当 Spark 动态分配缩减执行器的规模时，shuffle 文件会迁移到正在运行的执行器。不过，由于执行器上的 Spark reducer 任务会在 reducer 任务启动时从 Spark 驱动程序设置的位置提取 shuffle 输出，因此如果迁移了 shuffle 文件，reducer 可能会继续尝试从已停用的执行器提取 shuffle 输出，从而导致 ExecutorDeadException 和 FetchFailedException 错误。

  解决方案：在运行 Serverless for Apache Spark 批处理工作负载时，将 spark.reducer.fetchMigratedShuffle.enabled 设置为 true，以启用 shuffle 位置重新提取（请参阅设置 Spark 批处理工作负载属性）。启用此属性后，如果从已停用的执行程序提取失败，reducer 任务会从驱动程序重新提取 shuffle 输出位置。