Diagnostica Dataproc en clústeres de GKE

Dataproc proporciona un comando gcloud CLI dataproc clusters diagnose para ayudarte a solucionar problemas relacionados con los trabajos y clústeres de Dataproc en GKE. Este comando recopila y archiva en un archivo los registros, los resultados y los archivos de configuración relacionados con el clúster, y, luego, sube el archivo al bucket de Cloud Storage de etapa de pruebas que especificaste cuando creaste tu clúster de Dataproc en GKE.

Diagnostica el archivo

En las siguientes tablas, se enumeran las métricas y otra información que se incluye en el archivo de dataproc clusters diagnose del comando.

Información del sistema

Elemento Ubicación del archivo
Métricas de nodos de GKE en las que se ejecutan los Pods de Dataproc virtual en GKE:
  • Uso de CPU
  • Uso de memoria
 /system/NODE_NAME.json
Métricas de red y estado del sistema de archivos de los Pods en ejecución:
  • Uso de CPU
  • Uso de memoria
  • Estado de la red
  • Estado del sistema de archivos
 /system/POD_NAME.json

Información de configuración

Elemento Ubicación del archivo
Configmap del clúster /conf/configmap
Implementación de Kubernetes /conf/deployment
Control de acceso basado en roles (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Registros

Elemento Ubicación del archivo
Registro del agente /logs/agent.log
Registro del motor de Spark /logs/sparkengine.log
Registros de trabajos completados y del controlador de Spark durante las últimas 24 horas /logs/DRIVER_ID

Información del trabajo y del pod

Elemento Ubicación del archivo
Objeto JobAttempt /jobattempts
Objeto Pod de Kubernetes /pods

¿Qué sigue?