Diagnosticar clústeres de Dataproc en GKE

Dataproc proporciona el comando gcloud CLI dataproc clusters diagnose para ayudarte a solucionar problemas de clústeres y tareas de Dataproc en GKE. Este comando recoge y archiva los archivos de configuración, los registros y los resultados relacionados con el clúster en un archivo y, a continuación, sube el archivo al segmento de almacenamiento provisional de Cloud Storage que especificaste al crear tu clúster de Dataproc en GKE.

Diagnosticar archivo

En las siguientes tablas se muestran las métricas y otra información incluida en el archivo del comando dataproc clusters diagnose.

Información del sistema

Elemento Ubicación del archivo
Métricas de nodos de GKE donde se ejecutan los pods de Dataproc virtual en GKE:
  • Uso de CPU
  • Uso de memoria
 /system/NODE_NAME.json
Métricas de red y estado del sistema de archivos de los pods en ejecución:
  • Uso de CPU
  • Uso de memoria
  • Estado de la red
  • Estado del sistema de archivos
 /system/POD_NAME.json

Información de configuración

Elemento Ubicación del archivo
Configmap de clúster /conf/configmap
Despliegue de Kubernetes /conf/deployment
Control de acceso basado en roles (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Registros

Elemento Ubicación del archivo
Registro del agente /logs/agent.log
Registro del motor de Spark /logs/sparkengine.log
Registros de trabajos completados y en ejecución de controladores de Spark de las últimas 24 horas /logs/DRIVER_ID

Información de la tarea y del pod

Elemento Ubicación del archivo
Objeto JobAttempt /jobattempts
Objeto Pod de Kubernetes /pods

Siguientes pasos