您可以使用下面几部分中介绍的信息和工具监控适用于 Spark 批处理工作负载的 Dataproc Serverless 并对其进行问题排查。
Persistent History Server
Dataproc Serverless for Spark 会创建运行工作负载所需的计算资源，在这些资源上运行工作负载，然后在工作负载完成后删除资源。工作负载完成后，系统不会保留工作负载指标和事件。但是，您可以使用永久性历史记录服务器 (PHS) 将工作负载应用历史记录（事件日志）保留在 Cloud Storage 中。
如需将 PHS 与批量工作负载搭配使用，请执行以下操作：
Dataproc Serverless for Spark 日志
默认情况下，Dataproc Serverless for Spark 中的日志记录功能处于启用状态，并且工作负载日志会在工作负载完成后保留。Dataproc Serverless for Spark 在 Cloud Logging 中收集工作负载日志。您可以在日志浏览器中的 Cloud Dataproc Batch 资源下访问工作负载 spark、agent、output 和 container 日志。
Dataproc Serverless for Spark 批处理示例：
如需了解详情，请参阅 Dataproc 日志。
Dataproc 无服务器审核日志
如需了解 Dataproc 无服务器审核日志，请参阅 Dataproc 审核日志。
工作负载指标
默认情况下，Dataproc Serverless for Spark 支持收集可用的 Spark 指标，除非您使用 Spark 指标集合属性停用或替换一个或多个 Spark 指标的集合。
您可以通过 Metrics Explorer 或 Google Cloud 控制台的批次详情页面查看工作负载指标。
批量指标
借助 Dataproc batch 资源指标，您可以深入了解批处理资源，例如批处理执行程序的数量。批量指标的前缀为 dataproc.googleapis.com/batch。
Spark 指标
可用的 Spark 指标包括 Spark 驱动程序和执行器指标，以及系统指标。可用的 Spark 指标带有 custom.googleapis.com/ 前缀。
设置指标提醒
您可以创建 Dataproc 指标提醒来接收工作负载问题通知。
创建图表
您可以使用 Google Cloud 控制台中的 Metrics Explorer 创建图表以直观呈现工作负载指标。例如，您可以创建一个图表以显示 disk:bytes_used，然后按 batch_id 进行过滤。
Cloud Monitoring
Monitoring 使用工作负载元数据和指标提供有关 Dataproc Serverless for Spark 工作负载的健康状况和性能的数据洞见。工作负载指标包括 Spark 指标、批处理指标和操作指标。
您可以使用 Google Cloud 控制台中的 Cloud Monitoring 来探索指标、添加图表、创建信息中心和创建提醒。
创建信息中心
您可以创建信息中心，以使用多个项目和不同 Google Cloud 产品的指标来监控工作负载。如需了解详情，请参阅创建和管理自定义信息中心。
高级问题排查（预览版）
本部分介绍 Google Cloud 控制台中提供的高级问题排查功能（预览版）。这些功能包括 Gemini 辅助的 Dataproc Serverless 问题排查，它是 BigQuery 中的 Gemini 产品的一部分。
使用预览版功能
如需注册获取高级问题排查功能的预览版，请填写并提交 BigQuery 中的 Gemini 正式发布前注册表单。表单获得批准后，表单中列出的项目就可以使用预览版功能了。
预览价格
参与预览版不会产生额外费用。以下预览版功能正式发布后，将需要支付费用：
我们会向您在预览版注册表单中提供的电子邮件地址发送 Google Analytics（分析）费用提前通知。
功能要求
注册：你必须注册才能使用该功能。
权限：您必须拥有
dataproc.batches.analyze权限。如果您具有预定义的
roles/dataproc.admin、roles/dataproc.editor或roles/dataproc.viewer角色，则表示您拥有所需的权限。您无需执行任何其他操作。如果您使用自定义角色来访问 Dataproc 服务，该自定义角色必须具有
dataproc.batches.analyze权限。您可以使用 gcloud CLI 添加该权限，如以下命令所示，该命令会在项目级别添加该权限：
gcloud iam roles update CUSTOM_ROLE_ID --project=PROJECT_ID \ --add-permissions="dataproc.batches.analyze"
为 Dataproc Serverless 启用 Gemini 辅助的问题排查：使用 Google Cloud 控制台、gcloud CLI 或 Dataproc API 提交每个周期性 Spark 批量工作负载时，您可以为 Dataproc Serverless 启用 Gemini 辅助的问题排查。对周期性批量工作负载启用此功能后，Dataproc 会将工作负载日志的副本存储 30 天，并使用保存的日志数据通过 Gemini 协助排查工作负载问题。如需了解 Spark 工作负载日志内容，请参阅 Dataproc Serverless for Spark 日志。
控制台
请执行以下步骤，为每个周期性 Spark 批处理工作负载启用 Gemini 辅助的问题排查：
在 Google Cloud 控制台中，前往 Dataproc 批次页面。
如需创建批量工作负载，请点击创建。
在容器部分，填写同类群组名称，该同类群组会将该批次标识为一系列周期性工作负载中的一个。Gemini 辅助分析会应用于使用此同类群组名称提交的第二个及后续工作负载。例如，指定
TPCH-Query1作为运行每日 TPC-H 查询的计划工作负载的同类群组名称。根据需要填写创建批次页面的其他部分，然后点击提交。如需了解详情，请参阅提交批量工作负载。
gcloud
在终端窗口或 Cloud Shell 中本地运行以下 gcloud CLI gcloud dataproc batches submit 命令，以对每个周期性 Spark 批处理工作负载启用 Gemini 辅助的问题排查：
gcloud dataproc batches submit COMMAND \
--region=REGION \
--cohort=COHORT \
other arguments ...
请替换以下内容：
- COMMAND：Spark 工作负载类型，例如
Spark、PySpark、Spark-Sql或Spark-R。 - REGION：将运行工作负载的区域。
- COHORT：同类群组名称，用于将批次标识为一系列周期性工作负载中的一个。Gemini 辅助分析会应用于使用此同类群组名称提交的第二个及后续工作负载。例如，指定
TPCH Query 1作为运行每日 TPC-H 查询的计划工作负载的同类群组名称。
API
在 batches.create 请求中添加 RuntimeConfig.cohort 名称，以对每个周期性 Spark 批处理工作负载启用 Gemini 辅助的问题排查。Gemini 辅助分析会应用于使用此同类群组名称提交的第二个及后续工作负载。例如，指定 TPCH-Query1 作为运行每日 TPC-H 查询的计划工作负载的同类群组名称。
示例：
...
runtimeConfig:
cohort: TPCH-Query1
...
Gemini 辅助的 Dataproc Serverless 问题排查
您可以在 Google Cloud 控制台的批次详情和批次列表页面上找到以下由 Gemini 辅助的问题排查预览功能。
调查标签页：批次详情页面上的“调查”标签页提供了“运行状况概览（预览）”部分，其中包含以下由 Gemini 辅助的问题排查面板：
- 对哪些内容进行了自动调优？如果您对一个或多个工作负载启用了自动调节功能，此面板会显示对正在运行、已完成和失败的工作负载应用的最新自动调节更改。
- 目前发生了什么？以及我可以做些什么？ 点击向 Gemini 提问，请求获取相关建议，帮助修复失败的工作负载或改进成功但运行缓慢的工作负载。
如果您点击向 Gemini 提问，Google Cloud 专用 Gemini 会针对工作负载日志、Spark 指标和 Spark 事件中的任何错误、异常或亮点生成摘要。Google Cloud 专用 Gemini 还可以显示一系列建议步骤，您可以采取以下措施来修复失败的工作负载，或提高成功但运行缓慢的工作负载的性能。
Gemini 辅助的问题排查列：在预览版中，Google Cloud 控制台中的 Dataproc 批次列表页面包含
What was Autotuned、What is happening now?和What can I do about it?列。
仅当已完成的批次处于
Failed、Cancelled或Succeeded状态时，才会显示向 Gemini 提问按钮并启用。如果您点击向 Gemini 提问，Google Cloud 专用 Gemini 会根据工作负载日志、Spark 指标和 Spark 事件中的任何错误、异常或重要信息生成摘要。Google Cloud 专用 Gemini 还可以显示一系列建议步骤，您可以采取以下措施来修复失败的工作负载，或提高成功但运行缓慢的工作负载的性能。
批量指标亮点
在预览版中，Google Cloud 控制台中的批处理详情页面包含一些图表，用于显示重要的批处理工作负载指标值。批量处理完成后，指标图表会填充值。
下表列出了 Google Cloud 控制台的批处理详情页面上显示的 Spark 工作负载指标，并介绍了指标值如何帮您深入了解工作负载状态和性能。
| 指标 | 会显示什么内容？ |
|---|---|
| 执行器级别的指标 | |
| JVM GC 时间与运行时的比率 | 此指标显示每个执行器的 JVM GC（垃圾回收）时间与运行时的比率。比率高可能表明在特定执行器上运行的任务中存在内存泄漏或低效的数据结构，从而导致对象流失率高。 |
| 溢出的磁盘字节数 | 此指标显示溢出到不同执行程序的磁盘字节总数。如果执行程序显示溢出的磁盘字节数过高，这可能表示数据倾斜。如果该指标随时间而增加，则可能表示存在内存压力或内存泄漏的阶段。 |
| 读取和写入的字节数 | 此指标显示每个执行器写入的字节数与读取的字节数。如果读取或写入的字节数存在较大差异，则可能表示复制联接导致特定执行程序上数据放大的情况。 |
| 读取和写入记录 | 此指标显示每个执行器的读取和写入记录。如果读取大量记录，但写入的记录数较少，则可能表示特定执行器的处理逻辑存在瓶颈，导致在等待期间读取记录。如果执行器的读写操作始终滞后，则可能表明这些节点上有资源争用或特定于执行器的代码效率低下。 |
| Shuffle 写入时间与运行时间的比率 | 该指标显示的是与总运行时相比，执行器在 Shuffle 运行时中花费的时间。如果对于某些执行程序，此值很高，这可能表明存在数据倾斜或数据序列化效率低下。 您可以在 Spark 界面中找出 Shuffle 写入时间较长的阶段。查找这些阶段中完成时间超过平均时间的离群任务。检查 Shuffle 写入时间较长的执行器是否也显示高磁盘 I/O 活动。执行更高效的序列化和额外的分区步骤可能会有所帮助。与记录读取相比，非常大的记录写入量可能表示由于联接效率低下或转换不正确而导致意外的数据重复。 |
| 应用级别的指标 | |
| 阶段进程 | 此指标显示失败、等待和正在运行阶段的阶段数量。大量失败或等待的阶段可能表明数据存在偏差。使用 Spark 界面中的阶段标签页检查数据分区，并调试阶段失败的原因。 |
| 批处理 Spark 执行器 | 此指标显示了可能需要的执行器数量与运行的执行器数量的对比情况。如果必需的执行程序和正在运行的执行程序之间存在较大差异，则可能表明存在自动扩缩问题。 |
| 虚拟机级指标 | |
| 使用的内存 | 此指标显示正在使用的虚拟机内存所占的百分比。如果主服务器百分比较高，则可能表示驱动程序面临内存压力。对于其他虚拟机节点，较高百分比可能表示执行程序正在耗尽内存，而这可能会导致磁盘泄漏和工作负载运行时速度变慢。使用 Spark 界面分析执行程序，以检查是否存在较长的 GC 时间和严重的任务失败。此外，还可调试 Spark 代码以进行大型数据集缓存和不必要的变量广播。 |
作业日志
在预览版中，Google Cloud 控制台中的批处理详情页面会列出作业（批量工作负载）日志。这些日志包含从工作负载输出和 Spark 日志中过滤掉的警告和错误。您可以选择日志严重性，添加过滤条件，然后点击在日志浏览器中查看图标，在日志浏览器中打开所选的批量日志。
示例：在 Google Cloud 控制台的批次详情页面上，从严重级别选择器中选择 Errors 后，系统就会打开日志浏览器。
Spark 界面（预览版）
如果您在 Spark 界面预览功能中注册了项目，则可以在 Google Cloud 控制台中查看 Spark 界面，而无需创建 Dataproc PHS（永久性历史记录服务器）集群。Spark 界面从批处理工作负载收集 Spark 执行详细信息。 如需了解详情，请参阅作为 Spark 界面预览版本的一部分分发给已注册客户的用户指南。