Surveiller et résoudre les problèmes liés aux sessions interactives Dataproc sans serveur

Ce document explique comment surveiller et résoudre les problèmes liés aux sessions interactives Dataproc sans serveur pour Spark à l'aide de l'interface utilisateur Spark.

UI Spark

L'UI Spark collecte les détails d'exécution Apache Spark à partir de Dataproc sans serveur pour les sessions interactives Spark. La fonctionnalité d'UI Spark, qui est activée par défaut, est gratuite. Les données collectées par la fonctionnalité d'interface utilisateur Spark sont conservées pendant 90 jours.

Autorisations et rôles Identity and Access Management requis

Vous devez disposer des autorisations suivantes pour utiliser la fonctionnalité d'UI Spark avec des sessions interactives:

  • Autorisation de collecte des données: dataproc.sessions.sparkApplicationWrite. Cette autorisation doit être accordée au compte de service qui exécute des sessions interactives. Il est inclus dans le rôle Dataproc Worker, qui est automatiquement accordé au compte de service Compute Engine par défaut utilisé par défaut par Dataproc sans serveur. Toutefois, si vous spécifiez un compte de service personnalisé pour votre session ou votre modèle d'exécution de session, vous devez ajouter cette autorisation dataproc.sessions.sparkApplicationWrite à ce compte de service (généralement, en attribuant au compte de service le rôle Worker Dataproc).

  • Autorisation d'accès à l'UI Spark: dataproc.sessions.sparkApplicationRead. Cette autorisation doit être accordée à un utilisateur pour qu'il puisse accéder à l'interface utilisateur Spark dans la console Google Cloud. Elle est incluse dans les rôles Dataproc Viewer, Dataproc Editor et Dataproc Administrator. Pour ouvrir l'interface utilisateur Spark dans la console Google Cloud, vous devez disposer de l'un de ces rôles ou d'un rôle personnalisé incluant cette autorisation.

Ouvrir l'UI Spark

La page de l'interface utilisateur Spark est disponible dans la console Google Cloud pour les sessions Spark.

  1. Accéder aux sessions interactives Dataproc

  2. Cliquez sur un ID de session interactive pour ouvrir la page Détails de la session interactive.
  3. Cliquez sur Afficher l'UI Spark dans le menu du haut.

Le lien Afficher l'UI Spark est-il désactivé ? Si une autorisation requise n'est pas accordée, ou si vous décochez la case Activer l'UI Spark sur la page d'informations de la session interactive ou définissez la propriété spark.dataproc.appContext.enabled sur false (valeur par défaut: true) lorsque vous créez une session ou créez un modèle d'exécution de session, le bouton Afficher l'UI Spark est désactivé.

Limites

L'UI Spark n'est pas compatible avec les charges de travail Dataproc sans serveur suivantes: