Diagnosticar o Dataproc em clusters do GKE

O Dataproc fornece um comando gcloud CLI dataproc clusters diagnose para ajudar a resolver problemas do Dataproc no cluster e no job do GKE. Esse comando coleta e arquiva arquivos de configuração, registros e saídas relacionados ao cluster em um arquivo de arquivamento. Em seguida, ele faz upload do arquivo para o bucket de preparação do Cloud Storage especificado ao criar o cluster do Dataproc no GKE.

Diagnosticar arquivo

As tabelas a seguir listam métricas e outras informações incluídas no arquivo de comando dataproc clusters diagnose.

Informações do sistema

Item Local do arquivo
Métricas do nó do GKE em que os pods virtuais do Dataproc no GKE são executados:
  • Uso da CPU
  • Uso da memória
 /system/NODE_NAME.json
Métricas de rede e status do sistema de arquivos dos pods em execução:
  • Uso da CPU
  • Uso da memória
  • Status de rede
  • Status do sistema de arquivos
 /system/POD_NAME.json

Informações de configuração

Item Local do arquivo
Configmap do cluster /conf/configmap
Implantação do Kubernetes /conf/deployment
Controle de acesso baseado em função (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Registros

Item Local do arquivo
Registro do agente /logs/agent.log
Registro do mecanismo Spark /logs/sparkengine.log
Registros de jobs em execução e concluídos do driver do Spark nas últimas 24 horas /logs/DRIVER_ID

Informações do job e do pod

Item Local do arquivo
Objeto JobAttempt /jobattempts
Objeto de pod do Kubernetes /pods

Para mais informações