Monitorize e resolva problemas de sessões interativas

Este documento descreve como monitorizar e resolver problemas de sessões interativas do Serverless for Apache Spark através da IU do Spark.

IU do Spark

A IU do Spark recolhe detalhes de execução do Apache Spark de sessões interativas do Serverless para Apache Spark. Não existe qualquer custo para a funcionalidade da IU do Spark, que está ativada por predefinição. Os dados recolhidos pela funcionalidade da IU do Spark são retidos durante 90 dias.

Autorizações e funções da gestão de identidade e de acesso necessárias

São necessárias as seguintes autorizações para usar a funcionalidade da IU do Spark com sessões interativas:

  • Autorização de recolha de dados: dataproc.sessions.sparkApplicationWrite. Esta autorização tem de ser concedida à conta de serviço que executa sessões interativas. Está incluída na função Dataproc Worker, que é concedida automaticamente à conta de serviço predefinida do Compute Engine que o Serverless para Apache Spark usa por predefinição. No entanto, se especificar uma conta de serviço personalizada para a sua sessão ou modelo de tempo de execução da sessão, tem de adicionar esta autorização dataproc.sessions.sparkApplicationWrite a essa conta de serviço (normalmente, concedendo à conta de serviço a função Worker do Dataproc).

  • Autorização de acesso à IU do Spark: dataproc.sessions.sparkApplicationRead. Esta autorização tem de ser concedida a um utilizador para aceder à IU do Spark naGoogle Cloud consola. Está incluída nas funções Dataproc Viewer, Dataproc Editor e Dataproc Administrator. Para abrir a IU do Spark na Google Cloud consola, tem de ter uma das seguintes funções ou uma função personalizada que inclua esta autorização.

Abra a IU do Spark

A página da IU do Spark está disponível na Google Cloud consola.

  1. Aceda às sessões interativas do Dataproc

  2. Clique num ID da sessão interativa para abrir a página Detalhes da sessão interativa.
  3. Clique em Ver IU do Spark no menu superior.

O link Ver IU do Spark está desativado? Se uma autorização necessária não for concedida, ou se desmarcar a caixa de verificação Ativar IU do Spark na página de detalhes da sessão interativa ou definir a propriedade spark.dataproc.appContext.enabled como false (predefinição: true) quando criar uma sessão ou criar um modelo de tempo de execução da sessão, o botão Ver IU do Spark é desativado.