Interaktive Dataproc Serverless-Sitzungen überwachen und Fehler beheben

In diesem Dokument wird beschrieben, wie Sie Dataproc Serverless für interaktive Spark-Sitzungen über die Spark-Benutzeroberfläche überwachen und Fehler beheben.

Spark-UI

Die Spark-UI erfasst Apache Spark-Ausführungsdetails aus Dataproc Serverless für interaktive Spark-Sitzungen. Die Spark-UI ist kostenlos und standardmäßig aktiviert. Von der Spark-UI-Funktion erfasste Daten werden 90 Tage lang aufbewahrt.

Erforderliche Identity and Access Management-Berechtigungen und -Rollen

Die folgenden Berechtigungen sind erforderlich, um die Spark-UI-Funktion mit interaktiven Sitzungen zu verwenden:

  • Berechtigung zur Datenerhebung: dataproc.sessions.sparkApplicationWrite. Diese Berechtigung muss dem Dienstkonto gewährt werden, das interaktive Sitzungen ausführt. Sie ist in der Rolle Dataproc Worker enthalten, die automatisch dem Compute Engine-Standarddienstkonto zugewiesen wird, das standardmäßig von Dataproc Serverless verwendet wird. Wenn Sie jedoch ein benutzerdefiniertes Dienstkonto für Ihre Sitzung oder Sitzungslaufzeitvorlage angeben, müssen Sie diesem Dienstkonto diese dataproc.sessions.sparkApplicationWrite-Berechtigung hinzufügen. Normalerweise geschieht dies, indem Sie dem Dienstkonto die Dataproc-Rolle Worker zuweisen.

  • Zugriffsberechtigung für die Spark-Benutzeroberfläche: dataproc.sessions.sparkApplicationRead. Diese Berechtigung muss einem Nutzer gewährt werden, damit er auf die Spark-Benutzeroberfläche in der Google Cloud Console zugreifen kann. Sie ist in den Rollen Dataproc Viewer, Dataproc Editor und Dataproc Administrator enthalten. Wenn Sie die Spark-Benutzeroberfläche in der Google Cloud Console öffnen möchten, benötigen Sie eine dieser Rollen oder eine benutzerdefinierte Rolle, die diese Berechtigung enthält.

Spark-UI öffnen

Die Spark-Benutzeroberfläche ist in der Google Cloud Console für Spark-Sitzungen verfügbar.

  1. Zu interaktiven Dataproc-Sitzungen

  2. Klicken Sie auf eine Interaktive Sitzungs-ID, um die Seite Details zur interaktiven Sitzung zu öffnen.
  3. Klicken Sie im Menü oben auf Spark-Benutzeroberfläche anzeigen.

Ist der Link Spark-UI ansehen deaktiviert? Wenn eine erforderliche Berechtigung nicht gewährt wird, das Kästchen Spark-UI aktivieren auf der Seite mit den Details zur interaktiven Sitzung nicht angeklickt ist oder Sie beim Erstellen einer Sitzung oder Erstellen einer Sitzungslaufzeitvorlage die Eigenschaft spark.dataproc.appContext.enabled auf false (Standard: true) festlegen, ist die Schaltfläche Spark-UI anzeigen deaktiviert.

Beschränkungen

Die Spark-UI unterstützt die folgenden serverlosen Dataproc-Arbeitslasten nicht: