Diagnostique clusters do Dataproc no GKE

O Dataproc fornece um comando gcloud CLI dataproc clusters diagnose para ajudar a resolver problemas de clusters e tarefas do Dataproc no GKE. Este comando recolhe e arquiva ficheiros de configuração, registos e resultados relacionados com o cluster num ficheiro de arquivo. Em seguida, carrega o arquivo para o contentor de preparação do Cloud Storage que especificou quando criou o cluster do Dataproc no GKE.

Diagnostique o ficheiro de arquivo

As tabelas seguintes apresentam métricas e outras informações incluídas no ficheiro de arquivo de comandos dataproc clusters diagnose.

Informações sobre o sistema

Item Localização do arquivo
Métricas de nós do GKE onde os pods do Dataproc virtual no GKE são executados:
  • Utilização da CPU
  • Utilização de memória
 /system/NODE_NAME.json
Métricas de rede e estado do sistema de ficheiros dos pods em execução:
  • Utilização da CPU
  • Utilização de memória
  • Estado da rede
  • Estado do sistema de ficheiros
 /system/POD_NAME.json

Informações de configuração

Item Localização do arquivo
Cluster configmap /conf/configmap
Implementação do Kubernetes /conf/deployment
Controlo de acesso baseado em funções (CABF)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Registos

Item Localização do arquivo
Registo do agente /logs/agent.log
Registo do motor do Spark /logs/sparkengine.log
Registo de trabalhos concluídos e de execução do controlador do Spark nas últimas 24 horas /logs/DRIVER_ID

Informações sobre o trabalho e o pod

Item Localização do arquivo
Objeto JobAttempt /jobattempts
Objeto Pod do Kubernetes /pods

O que se segue?