监控和排查 Dataproc Serverless Interactive 会话问题

您可以监控 Dataproc Serverless Spark 交互式会话 使用下面几部分中介绍的信息和工具。

Spark 界面

Spark 界面会从 Dataproc Serverless for Spark 交互式会话收集 Apache Spark 执行详细信息。Spark 界面功能是免费的， 默认处于启用状态Spark 界面功能收集的数据会保留 90 天。

注意：Spark 界面还会收集和显示 Dataproc Serverless 批量工作负载的执行详情。如需了解详情，请参阅监控和排查 Dataproc Serverless 批量工作负载问题。

限制

Spark 界面不支持以下 Dataproc Serverless 工作负载：

• CMEK（客户管理的加密密钥）
• Assured Workloads

必需的 Identity and Access Management 权限和角色

如需将 Spark 界面功能与交互式会话搭配使用，需要以下权限：

• 数据收集权限：dataproc.sessions.sparkApplicationWrite。这个 必须向运行交互式会话的服务账号授予相应权限。 它包含在 Dataproc Worker 角色，该角色会被自动授予给 Compute Engine 默认服务账号 Dataproc Serverless 默认使用的但是，如果您指定 自定义服务账号 （针对您的课程） 或会话运行时模板 您必须将此 dataproc.sessions.sparkApplicationWrite 权限添加到该服务账号 （通常通过向服务账号授予 Dataproc Worker 角色）。

• Spark 界面访问权限：dataproc.sessions.sparkApplicationRead。这个 向用户授予访问 Spark 界面的权限， Google Cloud 控制台。Dataproc Viewer、Dataproc Editor 和 Dataproc Administrator 角色包含此权限。如需在 Google Cloud 控制台中打开 Spark 界面，您必须拥有以下权限之一： 或者拥有拥有此权限的自定义角色。

打开 Spark 界面

Google Cloud 控制台中提供了 Spark 会话的 Spark 界面页面。

1. 前往 Dataproc Interactive 会话

2. 点击某个交互式会话 ID 以打开交互式会话详细信息页面。
3. 点击顶部菜单中的查看 Spark 界面。

查看 Spark 界面链接是否已停用？如果未授予必要权限，或者您在交互式会话详情页面上清除启用 Spark 界面复选框，或者在创建会话或创建会话运行时模板时将 spark.dataproc.appContext.enabled 属性设为 false（默认值：true），查看 Spark 界面按钮将处于停用状态。