Diagnostiquer Dataproc sur des clusters GKE

Dataproc fournit une commande gcloud CLI dataproc clusters diagnose pour vous aider à résoudre les problèmes liés aux clusters et aux tâches Dataproc sur GKE. Cette commande rassemble et archive les fichiers de configuration, les journaux et les résultats liés au cluster dans un fichier d'archive. Elle importe ensuite l'archive dans le bucket de préproduction Cloud Storage que vous avez spécifié lorsque vous avez créé votre cluster Dataproc sur GKE.

Diagnostiquer le fichier archive

Les tableaux suivants listent les métriques et autres informations incluses dans le fichier d'archive de la commande dataproc clusters diagnose.

Informations système

Élément Emplacement de l'archive
Métriques des nœuds GKE sur lesquels les pods Dataproc virtuel sur GKE s'exécutent :
  • Utilisation du processeur
  • Utilisation de la mémoire
 /system/NODE_NAME.json
Métriques réseau et état du système de fichiers des pods en cours d'exécution :
  • Utilisation du processeur
  • Utilisation de la mémoire
  • État du réseau
  • État du système de fichiers
 /system/POD_NAME.json

Informations de configuration

Élément Emplacement de l'archive
Configmap du cluster /conf/configmap
Déploiement Kubernetes /conf/deployment
Contrôle d'accès basé sur les rôles (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Journaux

Élément Emplacement de l'archive
Journal de l'agent /logs/agent.log
Journal du moteur Spark /logs/sparkengine.log
Journaux des jobs Spark en cours d'exécution et terminés au cours des dernières 24 heures /logs/DRIVER_ID

Informations sur le job et le pod

Élément Emplacement de l'archive
Objet JobAttempt /jobattempts
Objet Pod Kubernetes /pods

Étapes suivantes