Monitorar e solucionar problemas de sessões interativas do Dataproc sem servidor

É possível monitorar e resolver problemas de sessões interativas do Dataproc Serverless para Spark usando as informações e ferramentas discutidas nas próximas seções.

Interface do Spark

A interface do Spark coleta detalhes de execução do Apache Spark do Dataproc Serverless para sessões interativas do Spark. Não há custo financeiro para o recurso da interface do Spark, que é ativada por padrão. Os dados coletados pelo recurso Spark UI são armazenados por 90 dias.

Observação: a interface do Spark também coleta e exibe detalhes de execução dos Cargas de trabalho em lote do Dataproc sem servidor. Consulte Monitorar e resolver problemas de cargas de trabalho em lote sem servidor do Dataproc para mais informações.

Limitações

A interface do Spark não oferece suporte aos seguintes workloads do Dataproc sem servidor:

• CMEK (chaves de criptografia gerenciadas pelo cliente)
• Assured Workloads

Permissões e papéis de gerenciamento de identidade e acesso obrigatórios

As permissões a seguir são necessárias para usar o recurso da interface do Spark com sessões interativas:

• Permissão de coleta de dados: dataproc.sessions.sparkApplicationWrite. Essa permissão precisa ser concedida à conta de serviço que executa sessões interativas. Ele está incluído no papel Dataproc Worker, que é concedido automaticamente à conta de serviço padrão do Compute Engine que o Dataproc Serverless usa por padrão. No entanto, se você especificar uma conta de serviço personalizada para sua sessão ou modelo de execução de sessão, é necessário adicionar essa permissão dataproc.sessions.sparkApplicationWrite à conta de serviço (normalmente, concedendo à conta de serviço o papel Worker do Dataproc).

• Permissão de acesso à interface do Spark: dataproc.sessions.sparkApplicationRead. Isso deve ser concedida a um usuário para acessar a UI do Spark no console do Google Cloud. Ela está incluída nos papéis Dataproc Viewer, Dataproc Editor e Dataproc Administrator. Para abrir a UI do Spark no console do Google Cloud, você precisa ter um dos esses papéis ou ter um papel personalizado que inclua essa permissão.

Abrir a interface do Spark

A página da interface do Spark está disponível no console do Google Cloud para sessões Spark.

1. Acessar as sessões interativas do Dataproc

2. Clique em um ID da sessão interativa para abrir a página Detalhes da sessão interativa.
3. Clique em Visualizar a interface do Spark no menu superior.

O link Visualizar interface do Spark está desativado? Se um a permissão necessária não foi concedida, ou se você desmarcar a caixa de seleção Ativar interface Spark na página de detalhes da sessão interativa ou definir a propriedade spark.dataproc.appContext.enabled como false (padrão: true) quando você criar uma sessão ou criar um modelo de ambiente de execução da sessão, o botão Visualizar interface do Spark será desativado.