Monitorar e solucionar problemas de sessões interativas do Dataproc sem servidor

Este documento descreve como monitorar e resolver problemas do Dataproc Serverless para sessões interativas do Spark usando a interface do Spark.

Interface do Spark

A interface do Spark coleta detalhes de execução do Apache Spark do Dataproc Serverless para sessões interativas do Spark. Não há cobrança pelo recurso da interface do Spark, que é ativado por padrão. Os dados coletados pelo recurso Spark UI são mantidos por 90 dias.

Permissões e papéis obrigatórios do Identity and Access Management

As seguintes permissões são necessárias para usar o recurso da interface do Spark com sessões interativas:

  • Permissão de coleta de dados: dataproc.sessions.sparkApplicationWrite. Essa permissão precisa ser concedida à conta de serviço que executa sessões interativas. Ele está incluído no papel Dataproc Worker, que é concedido automaticamente à conta de serviço padrão do Compute Engine que o Dataproc Serverless usa por padrão. No entanto, se você especificar uma conta de serviço personalizada para sua sessão ou modelo de execução de sessão, é necessário adicionar essa permissão dataproc.sessions.sparkApplicationWrite à conta de serviço (normalmente, concedendo à conta de serviço o papel Worker do Dataproc).

  • Permissão de acesso à interface do Spark: dataproc.sessions.sparkApplicationRead. Essa permissão precisa ser concedida a um usuário para acessar a interface do Spark no console do Google Cloud. Ela está incluída nos papéis Dataproc Viewer, Dataproc Editor e Dataproc Administrator. Para abrir a interface do Spark no console do Google Cloud, você precisa ter uma dessas funções ou uma função personalizada que inclua essa permissão.

Abrir a interface do Spark

A página da interface do Spark está disponível no console do Google Cloud para sessões do Spark.

  1. Acessar as sessões interativas do Dataproc

  2. Clique em um ID da sessão interativa para abrir a página Detalhes da sessão interativa.
  3. Clique em Visualizar a interface do Spark no menu superior.

O link View Spark UI está desativado? Se uma permissão necessária não for concedida, ou se você limpar a caixa de seleção Ativar a interface do Spark na página de detalhes da sessão interativa ou definir a propriedade spark.dataproc.appContext.enabled como false (padrão: true) ao criar uma sessão ou criar um modelo de execução de sessão, o botão Visualizar a interface do Spark será desativado.

Limitações

A interface do Spark não oferece suporte aos seguintes workloads do Dataproc sem servidor: