Dataproc proporciona un comando gcloud CLI dataproc clusters diagnose para ayudarte a solucionar problemas de trabajos y clústeres de Dataproc en GKE. Con este comando, se recopilan y archivan los archivos de configuración, los registros y los resultados relacionados con el clúster en un archivo. Luego, se sube el archivo al bucket de etapa de pruebas de Cloud Storage que especificaste cuando creaste tu clúster de Dataproc on GKE.
Diagnosticar archivo comprimido
En las siguientes tablas, se enumeran las métricas y otra información incluida en el archivo de comando dataproc clusters diagnose
.
Elemento |
Ubicación del archivo |
Métricas de nodo de GKE
en las que se ejecutan los pods virtuales de Dataproc on GKE: |
- Uso de CPU
- Uso de memoria
|
/system/NODE_NAME.json
|
Métricas de red y estado del sistema de archivos de los Pods en ejecución: |
- Uso de CPU
- Uso de memoria
- Estado de la red
- Estado del sistema de archivos
|
/system/POD_NAME.json
|
Elemento |
Ubicación del archivo |
ConfigMap del clúster |
/conf/configmap
|
Implementación de Kubernetes |
/conf/deployment |
Control de acceso basado en roles (RBAC) |
/conf/role
/conf/rolebind
/conf/serviceaccount
|
Registros
Elemento |
Ubicación del archivo |
Registro del agente |
/logs/agent.log |
Registro del motor de Spark |
/logs/sparkengine.log |
El controlador de Spark está en ejecución y los registros de trabajos completados durante las últimas 24 horas |
/logs/DRIVER_ID |
Elemento |
Ubicación del archivo |
Objeto JobIntent |
/jobattempts |
Objeto de Pod de Kubernetes |
/pods |