Diagnosticar o Dataproc em clusters do GKE

O Dataproc fornece um comando gcloud CLI dataproc clusters diagnose para ajudar você a solucionar problemas de jobs e clusters do Dataproc no GKE. Esse comando reúne e arquiva os arquivos de configuração, registros e saídas relacionados ao cluster em um arquivo e, em seguida, faz upload do arquivo para o bucket de preparo do Cloud Storage especificado quando você criou o Dataproc no cluster do GKE.

Diagnosticar arquivo arquivado

As tabelas a seguir listam métricas e outras informações incluídas no arquivo do comando dataproc clusters diagnose.

Informações do sistema

Item Arquivar local
Métricas de nó do GKE em que o Dataproc virtual nos pods do GKE são executados:
  • Uso da CPU
  • Uso da memória
 /system/NODE_NAME.json
Métricas de rede e status do sistema de arquivos dos pods em execução:
  • Uso da CPU
  • Uso da memória
  • Status de rede
  • Status do sistema de arquivos
 /system/POD_NAME.json

Informações de configuração

Item Arquivar local
Configmap do cluster /conf/configmap
Implantação do Kubernetes /conf/deployment
Controle de acesso baseado em função (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Registros

Item Arquivar local
Registro do agente /logs/agent.log
Registro do mecanismo do Spark /logs/sparkengine.log
Registros de jobs concluídos e em execução do driver Spark nas últimas 24 horas /logs/DRIVER_ID

Informações do job e do pod

Item Arquivar local
Objeto JobAttempt /jobattempts
Objeto do pod do Kubernetes /pods

Para mais informações