インタラクティブ セッションのモニタリングとトラブルシューティング

このドキュメントでは、Spark UI を使用して Serverless for Apache Spark のインタラクティブ セッションをモニタリングし、トラブルシューティングを行う方法について説明します。

Spark UI

Spark UI は、Apache Spark 用サーバーレスのインタラクティブ セッションから Apache Spark の実行の詳細を収集します。Spark UI 機能はデフォルトで有効になっており、料金は発生しません。Spark UI 機能によって収集されたデータは 90 日間保持されます。

必要な Identity and Access Management の権限とロール

インタラクティブ セッションで Spark UI 機能を使用するには、次の権限が必要です。

  • データ収集権限: dataproc.sessions.sparkApplicationWrite。この権限は、インタラクティブ セッションを実行するサービス アカウントに付与する必要があります。これは Dataproc Worker ロールに含まれており、Serverless for Apache Spark がデフォルトで使用する Compute Engine のデフォルト サービス アカウントに自動的に付与されます。ただし、セッションまたはセッション ランタイム テンプレートカスタム サービス アカウントを指定する場合は、そのサービス アカウントに dataproc.sessions.sparkApplicationWrite 権限を追加する必要があります(通常は、サービス アカウントに Dataproc Worker ロールを付与します)。

  • Spark UI アクセス権限: dataproc.sessions.sparkApplicationRead。Google Cloud コンソールの Spark UI にアクセスするには、この権限をユーザーに付与する必要があります。この権限は、Dataproc ViewerDataproc EditorDataproc Administrator のロールに含まれています。 Google Cloud コンソールで Spark UI を開くには、次のいずれかのロールを付与されているか、この権限を含むカスタムロールが必要です。

Spark UI を開く

Spark UI ページは Google Cloud コンソールで利用できます。

  1. Dataproc インタラクティブ セッションに移動

  2. [インタラクティブ セッション ID] をクリックして、[インタラクティブ セッションの詳細] ページを開きます。
  3. 上部のメニューで [View Spark UI] をクリックします。

[View Spark UI] リンクが無効になっていますか?必要な権限が付与されていない場合、またはインタラクティブ セッションの詳細ページで [Spark UI を有効にする] チェックボックスをオフにするか、セッションを作成するときに spark.dataproc.appContext.enabled プロパティを false(デフォルト: true)に設定するか、セッション ランタイム テンプレートを作成すると、[Spark UI を表示] ボタンが無効になります。