Pour procéder au scaling d'un cluster Dataproc sur GKE, mettez à jour la configuration de l'autoscaler. du ou des pools de nœuds associés aux rôles de pilote Spark ou d'exécuteur Spark. Vous spécifiez les pools de nœuds Dataproc sur GKE et les rôles associés lorsque vous créez un cluster Dataproc sur GKE.
Définir l'autoscaling du pool de nœuds
Vous pouvez définir des limites pour l'autoscaling des pools de nœuds Dataproc sur GKE lorsque vous Créez un cluster virtuel Dataproc sur GKE. Si elles ne sont pas spécifiées, les pools de nœuds Dataproc sur GKE sont mis à l'échelle automatiquement avec des valeurs par défaut (dans la version GA de Dataproc sur GKE, les valeurs par défaut sont définies sur minimum = 1 et maximum = 10, qui sont susceptibles d'être modifiées). Pour obtenir des valeurs minimale et maximale d'autoscaling du pool de nœuds, définissez-les lorsque vous créer votre cluster virtuel Dataproc sur GKE ;
Mettre à jour l'autoscaling du pool de nœuds
Utilisez la commande gcloud container node-pools update GKE suivante pour modifier la configuration d'autoscaling d'un pool de nœuds Dataproc sur GKE.
gcloud container node-pools update NODE_POOL_NAME \ --cluster=GKE_CLUSTER_NAME \ --region=region \ --enable-autoscaling \ --min-nodes=min nodes (must be <= max-nodes) \ --max-nodes=max nodes (must be >= min-nodes) \
Fonctionnement de l'autoscaling Spark
- Lorsqu'une tâche est envoyée, le pod du pilote est planifié pour s'exécuter sur le pool de nœuds associé au rôle de pilote Spark.
- Le pod du pilote appelle le planificateur GKE pour créer des pods d'exécuteur.
- Les pods d'exécuteur sont programmés sur le pool de nœuds associé au Rôle d'exécuteur Spark.
- Si les pools de nœuds ont la capacité nécessaire pour les pods, ceux-ci commencent à s'exécuter immédiatement. Si la capacité est insuffisante, l'autoscaler de cluster GKE effectue un scaling à la hausse le pool de nœuds pour fournir les ressources demandées, jusqu'à la limite spécifiée par l'utilisateur limite. Lorsque les pools de nœuds disposent d'une capacité excédentaire, l'autoscaler de cluster GKE réduit le pool de nœuds à la limite spécifiée par l'utilisateur.