Diagnostica los clústeres de Cloud Dataproc

Ver información sobre el registro y la configuración puede ser útil para solucionar problemas de un clúster o trabajo. Desafortunadamente, hay muchos archivos de registro y configuración, y recopilar cada uno para su investigación puede llevar mucho tiempo. Para solucionar este problema, los clústeres de Cloud Dataproc admiten un comando de diagnose especial a través del SDK de Cloud. Este comando recopila y archiva registros importantes del sistema, de Spark/Hadoop y de Cloud Dataproc, y luego sube el archivo al depósito de Cloud Storage adjunto a tu clúster.

Cómo usar el comando de diagnóstico

Puedes usar el comando de diagnose del SDK de Cloud en tus clústeres de Cloud Dataproc (consulta Cloud Dataproc y SDK de Cloud).

Una vez que se instala y configura el SDK de Cloud, puedes ejecutar el comando de diagnose en tu clúster, como se muestra a continuación (reemplaza cluster-name con el nombre de tu clúster).

gcloud dataproc clusters diagnose cluster-name

El comando genera el nombre y la ubicación del archivo que contiene tus datos.

...
Saving archive to cloud
Copying file:///tmp/tmp.FgWEq3f2DJ/diagnostic.tar ...
Uploading   ...23db9-762e-4593-8a5a-f4abd75527e6/diagnostic.tar ...
Diagnostic results saved in:
gs://bucket-name/.../cluster-uuid/.../job-id/diagnostic.tar
    ...
En este ejemplo, bucket-name es el depósito de Cloud Storage adjunto a tu clúster, cluster-uuid es el ID único (UUID) de tu clúster y job-id es el UUID que pertenece a la tarea del sistema que ejecutó el comando de diagnóstico.

Cuando creas un clúster de Cloud Dataproc, Cloud Dataproc crea automáticamente un depósito de Cloud Storage y lo adjunta a tu clúster. El comando de diagnóstico genera el archivo de este depósito. Para determinar el nombre del depósito creado por Cloud Dataproc, usa el comando clusters describe del SDK de Cloud. El depósito asociado a tu clúster se muestra junto a configurationBucket.

gcloud dataproc clusters describe cluster-name
  clusterName: cluster-name
  clusterUuid: daa40b3f-5ff5-4e89-9bf1-bcbfec6e0eac
  configuration:
  configurationBucket: dataproc-edc9d85f-12f9-4905-ba4c-eaa8dfac5824-us
  ...

Cómo compartir los datos recopilados por el diagnóstico

Puedes compartir el archivo generado por el comando de diagnose de dos maneras:

  1. Descarga el archivo desde Cloud Storage y luego compártelo.
  2. Cambia los permisos en el archivo para permitir que otros proyectos o usuarios de Google Cloud Platform tengan acceso al archivo.

Por ejemplo, el siguiente comando agrega permisos de lectura al archivo de diagnóstico en un test-project:

gsutil -m acl ch -g test-project:R path-to-archive

Elementos incluidos en el resultado del comando de diagnóstico

El comando de diagnose incluye los siguientes registros, resultados y archivos de configuración de tu clúster en un archivo. El archivo se coloca en el depósito de Cloud Storage asociado con tu clúster de Cloud Dataproc, como se explicó anteriormente.

Información de estado y daemon

Comando ejecutado Ubicación en archivo
yarn node -list -all /system/yarn-nodes.log
hdfs dfsadmin -report -live -decommissioning /system/hdfs-nodes.log
service --status-all /system/service.log
df -h /system/df.log
ps aux /system/ps.log
free -m /system/free.log
netstat -anp /system/netstat.log
sysctl -a /system/sysctl.log
uptime /system/uptime.log
cat /proc/sys/fs/file-nr /system/fs-file-nr.log
ping -c 1 /system/cluster-ping.log

Archivos de registro

Elementos incluidos Ubicación en archivo
Todos los registros en /var/log con los siguientes prefijos en su nombre de archivo:
gcs
google
gcdp
hadoop
hdfs
hive
spark
syslog
yarn
Los archivos se colocan en la carpeta logs y mantienen sus nombres originales.
Registros de inicio del nodo de Cloud Dataproc para cada nodo (principal y trabajador) en tu clúster. Los archivos se colocan en la carpeta node_startup, que contiene subcarpetas separadas para cada máquina en el clúster.

Archivos de configuración

Elementos incluidos Ubicación en archivo
Todos los archivos en /etc/hadoop/conf/ Los archivos se colocan en la carpeta hadoop_conf y mantienen sus nombres originales.
¿Te ha resultado útil esta página? Enviar comentarios:

Enviar comentarios sobre...

Documentación de Cloud Dataproc
Si necesitas ayuda, visita nuestra página de asistencia.