监控和排查 Dataproc Serverless Interactive 会话问题

本文档介绍了如何使用 Spark 界面监控和排查 Dataproc Serverless for Spark Interactive 会话问题。

Spark 界面

Spark 界面会从 Dataproc Serverless 收集 Apache Spark 执行详情，以便在 Spark 交互式会话中使用。Spark 界面功能可免费使用，默认处于启用状态。Spark 界面功能收集的数据会保留 90 天。

所需的 Identity and Access Management 权限和角色

如需将 Spark 界面功能与 Interactive 会话搭配使用，需要以下权限：

  • 数据收集权限：dataproc.sessions.sparkApplicationWrite。必须向运行 Interactive 会话的服务账号授予此权限。该权限包含在 Dataproc Worker 角色中，该角色会自动授予 Dataproc Serverless 默认使用的 Compute Engine 默认服务账号。不过，如果您为会话或会话运行时模板指定了自定义服务账号，则必须向该服务账号添加此 dataproc.sessions.sparkApplicationWrite 权限（通常，通过向服务账号授予 Dataproc Worker 角色）。

  • Spark 界面访问权限：dataproc.sessions.sparkApplicationRead。必须向用户授予此权限，才能访问 Google Cloud 控制台中的 Spark 界面。Dataproc Viewer、Dataproc Editor 和 Dataproc Administrator 角色包含此权限。如需在 Google Cloud 控制台中打开 Spark 界面，您必须拥有其中一个角色，或者拥有包含此权限的自定义角色。

打开 Spark 界面

Google Cloud 控制台提供了 Spark 界面页面，供用户查看 Spark 会话。

  1. 前往 Dataproc Interactive 会话

  2. 点击一个交互式会话 ID 以打开交互式会话详细信息页面。
  3. 点击顶部菜单中的查看 Spark 界面。

“查看 Spark 界面”链接是否已停用？如果未授予必要权限，或者您在交互式会话详情页面上清除启用 Spark 界面复选框，或者在创建会话或创建会话运行时模板时将 spark.dataproc.appContext.enabled 属性设为 false（默认值：true），查看 Spark 界面按钮将处于停用状态。

限制

Spark 界面不支持以下 Dataproc Serverless 工作负载：