É possível monitorar e resolver problemas de sessões interativas do Dataproc Serverless para Spark usando as informações e ferramentas discutidas nas próximas seções.
Interface do Spark
A interface do Spark coleta detalhes de execução do Apache Spark do Dataproc Serverless para sessões interativas do Spark. Não há custo financeiro para o recurso da interface do Spark, que é ativada por padrão. Os dados coletados pelo recurso Spark UI são armazenados por 90 dias.
Limitações
A interface do Spark não oferece suporte aos seguintes workloads do Dataproc sem servidor:
Permissões e papéis de gerenciamento de identidade e acesso obrigatórios
As permissões a seguir são necessárias para usar o recurso da interface do Spark com sessões interativas:
Permissão de coleta de dados:
dataproc.sessions.sparkApplicationWrite
. Essa permissão precisa ser concedida à conta de serviço que executa sessões interativas. Ele está incluído no papelDataproc Worker
, que é concedido automaticamente à conta de serviço padrão do Compute Engine que o Dataproc Serverless usa por padrão. No entanto, se você especificar uma conta de serviço personalizada para sua sessão ou modelo de execução de sessão, é necessário adicionar essa permissãodataproc.sessions.sparkApplicationWrite
à conta de serviço (normalmente, concedendo à conta de serviço o papelWorker
do Dataproc).Permissão de acesso à interface do Spark:
dataproc.sessions.sparkApplicationRead
. Isso deve ser concedida a um usuário para acessar a UI do Spark no console do Google Cloud. Ela está incluída nos papéisDataproc Viewer
,Dataproc Editor
eDataproc Administrator
. Para abrir a UI do Spark no console do Google Cloud, você precisa ter um dos esses papéis ou ter um papel personalizado que inclua essa permissão.
Abrir a interface do Spark
A página da interface do Spark está disponível no console do Google Cloud para sessões Spark.
- Clique em um ID da sessão interativa para abrir a página Detalhes da sessão interativa.
- Clique em Visualizar a interface do Spark no menu superior.
O link Visualizar interface do Spark está desativado? Se um
a permissão necessária não foi concedida,
ou se você desmarcar a caixa de seleção Ativar interface Spark na página de detalhes da sessão interativa ou definir
a propriedade spark.dataproc.appContext.enabled
como false
(padrão: true
) quando você
criar uma sessão ou
criar um modelo de ambiente de execução da sessão,
o botão Visualizar interface do Spark será desativado.