Interaktive Sitzungen überwachen und Fehler beheben

In diesem Dokument wird beschrieben, wie Sie interaktive Sitzungen von Serverless for Apache Spark mit der Spark-UI überwachen und Fehler beheben.

Spark-UI

In der Spark-UI werden Ausführungsdetails zu Apache Spark aus interaktiven Serverless for Apache Spark-Sitzungen erfasst. Für die Spark-UI-Funktion, die standardmäßig aktiviert ist, fallen keine Gebühren an. Von der Spark UI-Funktion erfasste Daten werden 90 Tage lang aufbewahrt.

Erforderliche IAM-Berechtigungen und -Rollen (Identity and Access Management)

Die folgenden Berechtigungen sind erforderlich, um die Spark-UI-Funktion mit interaktiven Sitzungen zu verwenden:

  • Berechtigung zur Datenerhebung: dataproc.sessions.sparkApplicationWrite. Diese Berechtigung muss dem Dienstkonto gewährt werden, mit dem interaktive Sitzungen ausgeführt werden. Sie ist in der Rolle Dataproc Worker enthalten, die automatisch dem Compute Engine-Standarddienstkonto zugewiesen wird, das standardmäßig von Serverless for Apache Spark verwendet wird. Wenn Sie jedoch ein benutzerdefiniertes Dienstkonto für Ihre Sitzung oder Sitzungslaufzeitvorlage angeben, müssen Sie diesem Dienstkonto die Berechtigung dataproc.sessions.sparkApplicationWrite hinzufügen (in der Regel, indem Sie dem Dienstkonto die Dataproc-Rolle Worker zuweisen).

  • Berechtigung für den Zugriff auf die Spark-UI: dataproc.sessions.sparkApplicationRead. Diese Berechtigung muss einem Nutzer gewährt werden, damit er in derGoogle Cloud -Konsole auf die Spark-UI zugreifen kann. Sie ist in den Rollen Dataproc Viewer, Dataproc Editor und Dataproc Administrator enthalten. Wenn Sie die Spark-UI in der Google Cloud -Konsole öffnen möchten, benötigen Sie eine dieser Rollen oder eine benutzerdefinierte Rolle mit dieser Berechtigung.

Spark-UI öffnen

Die Seite „Spark UI“ ist in der Google Cloud Console verfügbar.

  1. Zu interaktiven Dataproc-Sitzungen

  2. Klicken Sie auf eine ID der interaktiven Sitzung, um die Seite Details zur interaktiven Sitzung zu öffnen.
  3. Klicken Sie im oberen Menü auf Spark-Benutzeroberfläche ansehen.

Ist der Link Spark-UI ansehen deaktiviert? Wenn eine erforderliche Berechtigung nicht erteilt wird oder Sie das Kästchen Spark-UI aktivieren auf der Detailseite der interaktiven Sitzung deaktivieren oder die Eigenschaft spark.dataproc.appContext.enabled auf false (Standard: true) festlegen, wenn Sie eine Sitzung erstellen oder eine Sitzungs-Laufzeitvorlage erstellen, wird die Schaltfläche Spark-UI ansehen deaktiviert.