Monitorizar y solucionar problemas de sesiones interactivas

En este documento se describe cómo monitorizar y solucionar problemas de sesiones interactivas de Serverless para Apache Spark mediante la interfaz de usuario de Spark.

Interfaz de Spark

La interfaz de usuario de Spark recoge los detalles de ejecución de Apache Spark de las sesiones interactivas de Serverless para Apache Spark. La función de interfaz de usuario de Spark es gratuita y está habilitada de forma predeterminada. Los datos recogidos por la función de interfaz de usuario de Spark se conservan durante 90 días.

Permisos y roles de Gestión de Identidades y Accesos necesarios

Para usar la función de interfaz de usuario de Spark con sesiones interactivas, se necesitan los siguientes permisos:

  • Permiso de recogida de datos: dataproc.sessions.sparkApplicationWrite. Este permiso debe concederse a la cuenta de servicio que ejecuta las sesiones interactivas. Se incluye en el rol Dataproc Worker que se asigna automáticamente a la cuenta de servicio predeterminada de Compute Engine que usa Serverless para Apache Spark de forma predeterminada. Sin embargo, si especifica una cuenta de servicio personalizada para su sesión o plantilla de tiempo de ejecución de sesión, debe añadir el permiso dataproc.sessions.sparkApplicationWrite a esa cuenta de servicio (normalmente, asignando a la cuenta de servicio el rol Worker de Dataproc).

  • Permiso de acceso a la interfaz de usuario de Spark: dataproc.sessions.sparkApplicationRead. Este permiso se debe conceder a un usuario para que pueda acceder a la interfaz de usuario de Spark en laGoogle Cloud consola. Se incluye en los roles Dataproc Viewer, Dataproc Editor y Dataproc Administrator. Para abrir la interfaz de usuario de Spark en la consola Google Cloud , debes tener uno de estos roles o un rol personalizado que incluya este permiso.

Abrir la interfaz de usuario de Spark

La página de la interfaz de usuario de Spark está disponible en la Google Cloud consola.

  1. Ir a Sesiones interactivas de Dataproc

  2. Haz clic en un ID de sesión interactiva para abrir la página Detalles de la sesión interactiva.
  3. En el menú superior, haz clic en Ver interfaz de usuario de Spark.

¿El enlace Ver interfaz de Spark está inhabilitado? Si no se concede un permiso obligatorio o si desmarcas la casilla Habilitar interfaz de Spark en la página de detalles de la sesión interactiva o asignas el valor false a la propiedad spark.dataproc.appContext.enabled (el valor predeterminado es true) al crear una sesión o crear una plantilla de tiempo de ejecución de sesión, el botón Ver interfaz de Spark estará inhabilitado.