Diagnostiquer Dataproc sur des clusters GKE

Dataproc fournit la commande gcloud CLI dataproc clusters diagnose pour vous aider à résoudre les problèmes liés à Dataproc sur les clusters et les tâches GKE. Cette commande rassemble et archive les fichiers de configuration, les journaux et les sorties liés au cluster dans un fichier d'archive, puis importe l'archive dans le bucket de préproduction Cloud Storage que vous avez spécifié lorsque vous avez créé votre cluster Dataproc sur GKE.

Analyser le fichier d'archive

Les tableaux suivants répertorient les métriques et d'autres informations incluses dans le fichier d'archive de la commande dataproc clusters diagnose.

Informations système

Élément Emplacement de l'archive
Métriques de nœud GKE sur lesquelles s'exécute Dataproc virtuel dans les pods GKE:
  • Utilisation du processeur
  • Utilisation de la mémoire
 /system/NODE_NAME.json
Métriques réseau et état du système de fichiers des pods en cours d'exécution:
  • Utilisation du processeur
  • Utilisation de la mémoire
  • État du réseau
  • État du système de fichiers
 /system/POD_NAME.json

Informations de configuration

Élément Emplacement de l'archive
Fichier de configuration du cluster /conf/configmap
Déploiement Kubernetes /conf/deployment
Contrôle des accès basé sur les rôles (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Journaux

Élément Emplacement de l'archive
Journal de l'agent /logs/agent.log
Journal du moteur Spark /logs/sparkengine.log
Journaux de jobs en cours d'exécution et terminés du pilote Spark au cours des dernières 24 heures /logs/DRIVER_ID

Informations sur le job et le pod

Élément Emplacement de l'archive
Objet JobAttempt /jobattempts
Objet Pod Kubernetes /pods

Pour en savoir plus