Monitorare e risolvere i problemi relativi alle sessioni interattive Dataproc Serverless

Questo documento descrive come monitorare e risolvere i problemi di Dataproc Serverless per le sessioni interattive di Spark utilizzando l'interfaccia utente di Spark.

UI Spark

L'interfaccia utente di Spark raccoglie i dettagli di esecuzione di Apache Spark da Dataproc Serverless per le sessioni interattive di Spark. La funzionalità UI di Spark, attivata per impostazione predefinita, non prevede costi. I dati raccolti dalla funzionalità dell'interfaccia utente di Spark vengono conservati per 90 giorni.

Nota: l'interfaccia utente di Spark raccoglie e mostra anche i dettagli di esecuzione dei carichi di lavoro batch Dataproc Serverless. Per ulteriori informazioni, consulta Monitorare e risolvere i problemi relativi ai carichi di lavoro batch Dataproc Serverless.

Limitazioni

L'interfaccia utente di Spark non supporta i seguenti carichi di lavoro Dataproc Serverless:

• Chiavi di crittografia gestite dal cliente (CMEK)
• Assured Workloads

Autorizzazioni e ruoli di Identity and Access Management richiesti

Per utilizzare la funzionalità UI di Spark con sessioni interattive, sono necessarie le seguenti autorizzazioni:

• Autorizzazione di raccolta dei dati: dataproc.sessions.sparkApplicationWrite. Questa autorizzazione deve essere concessa all'account di servizio che esegue le sessioni interattive. È incluso nel ruolo Dataproc Worker, che viene concesso automaticamente all'account di servizio predefinito di Compute Engine utilizzato per impostazione predefinita da Dataproc Serverless. Tuttavia, se specifichi un account di servizio personalizzato per la sessione o per il modello di runtime della sessione, devi aggiungere questa autorizzazione dataproc.sessions.sparkApplicationWrite all'account di servizio (in genere, concedendo all'account di servizio il ruolo Worker di Dataproc).

• Autorizzazione di accesso a UI Spark: dataproc.sessions.sparkApplicationRead. Questa permission deve essere concessa a un utente per accedere all'interfaccia utente di Spark nella console Google Cloud. È inclusa nei ruoli Dataproc Viewer, Dataproc Editor e Dataproc Administrator. Per aprire l'interfaccia utente di Spark nella console Google Cloud, devi disporre di uno di questi ruoli o di un ruolo personalizzato che includa questa autorizzazione.

Apri l'interfaccia utente Spark

La pagina dell'interfaccia utente di Spark è disponibile nella console Google Cloud per le sessioni Spark.

1. Vai a Sessioni interattive di Dataproc

2. Fai clic su un ID sessione interattiva per aprire la pagina Dettagli sessione interattiva.
3. Fai clic su Visualizza interfaccia utente di Spark nel menu in alto.

Il link Visualizza UI Spark è disattivato? Se una autorizzazione richiesta non è stata concessa, o se deselezioni la casella di controllo Attiva l'interfaccia utente di Spark nella pagina dei dettagli della sessione interattiva o imposti la proprietà spark.dataproc.appContext.enabled su false (valore predefinito: true) quando crei una sessione o crei un modello di runtime della sessione, il pulsante Visualizza l'interfaccia utente di Spark verrà disattivato.