监控和排查交互式会话问题

本文档介绍了如何使用 Spark 界面监控和排查 Serverless for Apache Spark 交互式会话的问题。

Spark 界面

Spark 界面会从 Serverless for Apache Spark 交互式会话中收集 Apache Spark 执行详情。Spark 界面功能可免费使用，并且默认处于启用状态。Spark 界面功能收集的数据会保留 90 天。

所需的 Identity and Access Management 权限和角色

如需在交互式会话中使用 Spark 界面功能，需要以下权限：

  • 数据收集权限：dataproc.sessions.sparkApplicationWrite。必须向运行互动会话的服务账号授予此权限。它包含在 Dataproc Worker 角色中，该角色会自动授予 Serverless for Apache Spark 默认使用的 Compute Engine 默认服务账号。不过，如果您为会话或会话运行时模板指定了自定义服务账号，则必须向该服务账号添加 dataproc.sessions.sparkApplicationWrite 权限（通常是通过向该服务账号授予 Dataproc Worker 角色来实现）。

  • Spark 界面访问权限：dataproc.sessions.sparkApplicationRead。必须向用户授予此权限，才能在Google Cloud 控制台中访问 Spark 界面。Dataproc Viewer、Dataproc Editor 和 Dataproc Administrator 角色拥有此权限。如需在 Google Cloud 控制台中打开 Spark 界面，您必须拥有以下角色之一，或者拥有包含此权限的自定义角色。

打开 Spark 界面

Spark 界面页面可在 Google Cloud 控制台中找到。

  1. 前往“Dataproc 交互式会话”

  2. 点击交互式会话 ID 以打开交互式会话详情页面。
  3. 点击顶部菜单中的 View Spark UI。

查看 Spark 界面 链接是否处于停用状态？如果未授予必需的权限，或者在创建会话或创建会话运行时模板时，您在交互式会话详情页面上清除启用 Spark 界面复选框或将 spark.dataproc.appContext.enabled 属性设置为 false（默认值：true），查看 Spark 界面按钮将被停用。