Supervisa y soluciona problemas de las sesiones interactivas de Dataproc Serverless

En este documento, se describe cómo supervisar y solucionar problemas de las sesiones interactivas de Dataproc Serverless para Spark con la IU de Spark.

IU de Spark

La IU de Spark recopila detalles de ejecución de Apache Spark de Dataproc Serverless para sesiones interactivas de Spark. No se cobra por la función de la IU de Spark, que está habilitada de forma predeterminada. Los datos recopilados por la función de la IU de Spark se retienen durante 90 días.

Permisos y roles necesarios de Identity and Access Management

Se requieren los siguientes permisos para usar la función de la IU de Spark con sesiones interactivas:

  • Permiso de recopilación de datos: dataproc.sessions.sparkApplicationWrite. Este permiso se debe otorgar a la cuenta de servicio que ejecuta sesiones interactivas. Se incluye en el rol Dataproc Worker, que se otorga automáticamente a la cuenta de servicio predeterminada de Compute Engine que usa Dataproc sin servidores de forma predeterminada. Sin embargo, si especificas una cuenta de servicio personalizada para tu sesión o plantilla de entorno de ejecución de la sesión, debes agregar este permiso dataproc.sessions.sparkApplicationWrite a esa cuenta de servicio (por lo general, otorgando a la cuenta de servicio el rol Worker de Dataproc).

  • Permiso de acceso a la IU de Spark: dataproc.sessions.sparkApplicationRead. Se debe otorgar este permiso a un usuario para que acceda a la IU de Spark en la consola de Google Cloud. Se incluye en los roles Dataproc Viewer, Dataproc Editor y Dataproc Administrator. Para abrir la IU de Spark en la consola de Google Cloud, debes tener uno de estos roles o un rol personalizado que incluya este permiso.

Abre la IU de Spark.

La página de la IU de Spark está disponible en la consola de Google Cloud para las sesiones de Spark.

  1. Ir a Sesiones interactivas de Dataproc

  2. Haz clic en un ID de sesión interactiva para abrir la página Detalles de la sesión interactiva.
  3. Haz clic en Ver IU de Spark en el menú de la parte superior.

¿El vínculo Ver IU de Spark está inhabilitado? Si no se otorga un permiso obligatorio, si borras la casilla de verificación Habilitar la IU de Spark en la página de detalles de la sesión interactiva o si configuras la propiedad spark.dataproc.appContext.enabled en false (valor predeterminado: true) cuando creas una sesión o creas una plantilla de entorno de ejecución de la sesión, se inhabilitará el botón Ver IU de Spark.

Limitaciones

La IU de Spark no admite las siguientes cargas de trabajo de Dataproc sin servidores: