Diagnosticar o Dataproc em clusters do GKE

O Dataproc oferece um comando gcloud CLI dataproc clusters diagnose para ajudar você a resolver problemas de clusters e jobs do Dataproc no GKE. Esse comando coleta e arquiva arquivos de configuração, registros e saídas relacionados ao cluster em um arquivo. Em seguida, ele faz upload do arquivo para o bucket de preparação do Cloud Storage especificado ao criar o cluster do Dataproc no GKE.

Diagnosticar arquivo

As tabelas a seguir listam métricas e outras informações incluídas no arquivo de comando dataproc clusters diagnose.

Informações do sistema

Item Local do arquivo
Métricas de nós do GKE em que os pods virtuais do Dataproc no GKE são executados:
  • Uso da CPU
  • Uso da memória
 /system/NODE_NAME.json
Métricas de rede e status do sistema de arquivos de pods em execução:
  • Uso da CPU
  • Uso da memória
  • Status de rede
  • Status do sistema de arquivos
 /system/POD_NAME.json

Informações de configuração

Item Local do arquivo
Configmap do cluster /conf/configmap
Implantação do Kubernetes /conf/deployment
Controle de acesso baseado em papéis (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Registros

Item Local do arquivo
Registro do agente /logs/agent.log
Registro do mecanismo do Spark /logs/sparkengine.log
Driver do Spark em execução e registros de jobs concluídos nas últimas 24 horas /logs/DRIVER_ID

Informações do job e do pod

Item Local do arquivo
Objeto JobAttempt /jobattempts
Objeto de pod do Kubernetes /pods

A seguir