Diagnostiquer Dataproc sur des clusters GKE

Dataproc fournit une commande gcloud CLI dataproc clusters diagnose pour vous aider à résoudre les problèmes liés aux tâches et aux clusters Dataproc sur GKE. Cette commande rassemble et archive les fichiers de configuration, les journaux et les sorties associés au cluster dans un fichier d'archive. Elle importe ensuite l'archive dans le bucket de préproduction Cloud Storage que vous avez spécifié lors de la création de votre cluster Dataproc sur GKE.

Analyser le fichier d'archive

Les tableaux suivants répertorient les métriques et d'autres informations incluses dans le fichier d'archive de la commande dataproc clusters diagnose.

Informations système

Élément Archiver l'emplacement
Métriques des nœuds GKE dans lesquels les pods Dataproc virtuels sur GKE s'exécutent:
  • Utilisation du processeur
  • Utilisation de la mémoire
 /system/NODE_NAME.json
Métriques réseau et état du système de fichiers des pods en cours d'exécution:
  • Utilisation du processeur
  • Utilisation de la mémoire
  • État du réseau
  • État du système de fichiers
 /system/POD_NAME.json

Informations de configuration

Élément Archiver l'emplacement
Configmap de cluster /conf/configmap
Déploiement Kubernetes /conf/deployment
Contrôle des accès basé sur le rôle (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Journaux

Élément Archiver l'emplacement
Journal de l'agent /logs/agent.log
Journal du moteur Spark /logs/sparkengine.log
Pilote Spark en cours d'exécution et journaux des jobs terminés au cours des dernières 24 heures /logs/DRIVER_ID

Informations sur le job et le pod

Élément Archiver l'emplacement
Objet JobTentative /jobattempts
Objet Pod Kubernetes /pods

Pour en savoir plus