監控及排解互動式工作階段的問題

本文說明如何使用 Spark UI 監控及排解 Serverless for Apache Spark 互動式工作階段的問題。

Spark UI

Spark UI 會從 Serverless for Apache Spark 互動式工作階段收集 Apache Spark 執行詳細資料。Spark UI 功能預設為啟用，且不會產生費用。Spark UI 功能收集的資料會保留 90 天。

所需的 Identity and Access Management 權限和角色

如要透過互動式工作階段使用 Spark UI 功能，必須具備下列權限：

  • 資料收集權限：dataproc.sessions.sparkApplicationWrite。必須將這項權限授予執行互動式工作階段的服務帳戶。這項權限包含在 Dataproc Worker 角色中，系統會自動將這個角色授予 Serverless for Apache Spark 預設使用的 Compute Engine 預設服務帳戶。不過，如果您為工作階段或工作階段執行階段範本指定自訂服務帳戶，則必須將這項 dataproc.sessions.sparkApplicationWrite 權限新增至該服務帳戶 (通常是授予服務帳戶 Dataproc Worker 角色)。

  • Spark UI 存取權限：dataproc.sessions.sparkApplicationRead。必須授予使用者這項權限，才能在Google Cloud 控制台中存取 Spark UI。Dataproc Viewer、Dataproc Editor 和 Dataproc Administrator角色都具備這項權限。如要在 Google Cloud 控制台中開啟 Spark UI，您必須具備下列其中一個角色，或是包含這項權限的自訂角色。

開啟 Spark UI

您可以在 Google Cloud 控制台中查看 Spark UI 頁面。

  1. 前往 Dataproc 互動工作階段

  2. 按一下「互動式工作階段 ID」，開啟「互動式工作階段詳細資料」頁面。
  3. 按一下頂端選單中的「View Spark UI」(查看 Spark UI)。

「查看 Spark UI」連結是否已停用？如果未授予必要權限，或是在互動式工作階段詳細資料頁面中取消勾選「啟用 Spark UI」核取方塊，或在建立工作階段或建立工作階段執行階段範本時，將 spark.dataproc.appContext.enabled 屬性設為 false (預設值為 true)，「查看 Spark UI」按鈕就會停用。