Cette page répertorie les messages d'erreur Dataproc, ainsi que leurs causes et solutions courantes.
Pour obtenir des conseils supplémentaires, consultez
- Surveillez et dépannez Dataproc
- Diagnostiquer des clusters Dataproc
- Questions fréquentes sur Dataproc
Messages d'erreur liés à la création de clusters
L'opération a expiré: seuls 0 des deux gestionnaires de nœuds/nœuds de données minimum requis sont en cours d'exécution.
Cause: Le nœud maître ne peut pas créer le cluster, car il ne peut pas communiquer avec les nœuds de calcul.
Solution :
- Vérifiez les avertissements des règles de pare-feu.
- Assurez-vous que les règles de pare-feu appropriées sont en place (consultez la section Présentation des règles de pare-feu Dataproc par défaut).
- Effectuez un test de connectivité dans la console Google Cloud pour déterminer ce qui bloque la communication entre le nœud maître et le nœud de calcul.
Autorisation "compute.subnetworks.use" requise pour "projects/{projectId}/regions/{region}/subnetworks/{subnetwork}"
Cause: cette erreur peut se produire lorsque vous essayez de configurer un cluster Dataproc à l'aide d'un réseau VPC dans un autre projet et que le compte de service de l'agent de service Dataproc ne dispose pas des autorisations nécessaires. sur le projet VPC partagé qui héberge le réseau.
Solution: suivez la procédure décrite dans la section Créer un cluster utilisant un réseau VPC dans un autre projet.
La zone "projects/zones/{zone}" ne dispose pas de suffisamment de ressources pour répondre à la requête "(resource type:compute)"
Cause: La zone utilisée pour créer le cluster ne dispose pas de ressources suffisantes.
Solution :
- Créez le cluster dans une zone différente.
- Utilisez la fonctionnalité de sélection de zone automatique de Dataproc.
Erreurs de dépassement de quota
Quota de CPUS/CPUS_ALL_REGIONS insuffisant
Quota insuffisant pour "DISKS_TOTAL_GB"
Quota insuffisant pour "IN_USE_ADDRESSES"Cause: votre requête de processeur, de disque ou d'adresse IP dépasse votre quota disponible.
Solution: demandez des quotas supplémentaires depuis la console Google Cloud.
Échec de l'action d'initialisation
Cause: l'installation de l'action d'initialisation fournie lors de la création du cluster a échoué.
Solution :
- Consultez les consignes et remarques concernant les actions d'initialisation.
- Examinez les journaux de sortie. Le message d'erreur doit fournir un lien vers les journaux dans Cloud Storage.
Échec de l'initialisation du nœud {cluster-name}: {component}
Cause: L'initialisation d'un composant Dataproc a échoué.
Solution: voir:
Échec de la création du cluster: espace d'adressage IP épuisé
Cause: l'espace d'adressage IP requis pour provisionner les nœuds de cluster demandés n'est pas disponible.
Solution :
- Créez un cluster sur un autre sous-réseau ou réseau.
- Réduisez l'utilisation du réseau pour libérer de l'espace d'adressage IP.
- Attendez que l'espace d'adresses IP soit suffisant sur le réseau.