Supervisa y soluciona problemas de las sesiones interactivas de Dataproc Serverless

Puedes supervisar y solucionar problemas de las sesiones interactivas de Dataproc Serverless para Spark con la información y las herramientas que se analizan en las siguientes secciones.

IU de Spark

La IU de Spark recopila detalles de ejecución de Apache Spark de las sesiones interactivas de Dataproc Serverless para Spark. No se aplican cargos por la función de IU de Spark, que es habilitado de forma predeterminada. Los datos recopilados por la función de IU de Spark se conservan durante 90 días.

Limitaciones

La IU de Spark no es compatible con las siguientes cargas de trabajo de Dataproc Serverless:

Permisos y roles necesarios de Identity and Access Management

Se requieren los siguientes permisos para usar la función de IU de Spark con sesiones:

  • Permiso de recopilación de datos: dataproc.sessions.sparkApplicationWrite. Este permiso se debe otorgar a la cuenta de servicio que ejecuta sesiones interactivas. Se incluye en el Dataproc Worker que se otorga automáticamente a la cuenta de servicio predeterminada de Compute Engine que Dataproc Serverless usa de forma predeterminada. Sin embargo, si especificas un cuenta de servicio personalizada para tu sesión o una plantilla de entorno de ejecución de sesión, debes agregar este permiso dataproc.sessions.sparkApplicationWrite a esa cuenta de servicio (por lo general, se otorga a la cuenta de servicio el rol de Worker de Dataproc).

  • Permiso de acceso a la IU de Spark: dataproc.sessions.sparkApplicationRead. Se debe otorgar este permiso a un usuario para que acceda a la IU de Spark en la consola de Google Cloud. Se incluye en los roles Dataproc Viewer, Dataproc Editor y Dataproc Administrator. Para abrir la IU de Spark en la consola de Google Cloud, debes tener uno de estos roles o un rol personalizado que incluya este permiso.

Abre la IU de Spark.

La página de la IU de Spark está disponible en la consola de Google Cloud para las sesiones de Spark.

  1. Ir a Sesiones interactivas de Dataproc

  2. Haz clic en un ID de sesión interactiva para abrir la página Detalles de la sesión interactiva.
  3. Haz clic en Ver IU de Spark en el menú superior.

¿El vínculo Ver IU de Spark está inhabilitado? Si no se otorga un permiso requerido, o si borras la casilla de verificación Habilitar la IU de Spark en la página de detalles de la sesión interactiva o configuras la propiedad spark.dataproc.appContext.enabled en false (valor predeterminado: true) cuando creas una sesión o creas una plantilla de entorno de ejecución de la sesión, se inhabilitará el botón Ver IU de Spark.