Dataproc sans serveur pour l'autoscaling Spark

Lorsque vous envoyez votre charge de travail Spark, Dataproc sans serveur pour Spark peut faire évoluer les ressources de la charge de travail de manière dynamique, telles que le nombre d'exécuteurs, pour l'exécuter efficacement. L'autoscaling sans serveur Dataproc est le comportement par défaut. Il utilise l'allocation dynamique des ressources Spark pour déterminer si, comment et quand faire évoluer votre charge de travail.

Propriétés de l'allocation dynamique Spark

Le tableau suivant répertorie les propriétés d'allocation dynamique Spark que vous pouvez définir lorsque vous envoyez une charge de travail par lot pour contrôler l'autoscaling (consultez la section Définir des propriétés Spark).

Propriété Description
spark.dynamicAllocation.enabled Utiliser l'allocation dynamique des ressources, qui augmente ou réduit le nombre d'exécuteurs en fonction de la charge de travail. Le paramètre par défaut est true (allocation de ressources dynamique activée). Définir la valeur sur false désactive l'autoscaling pour la charge de travail. Valeur par défaut : "true".
spark.dynamicAllocation.initialExecutors Nombre initial d'exécuteurs alloués à la charge de travail. Une fois la charge de travail démarrée, l'autoscaling peut modifier le nombre d'exécuteurs actifs. La valeur minimale est 2. La valeur maximale est 100. La valeur par défaut est 2.
spark.dynamicAllocation.minExecutors Nombre minimal d'exécuteurs pour effectuer le scaling à la baisse de la charge de travail. La valeur minimale est de 2. La valeur par défaut est 2.
spark.dynamicAllocation.maxExecutors Nombre maximal d'exécuteurs pour effectuer le scaling à la hausse de la charge de travail. La valeur maximale est de 1000. Valeur par défaut: 1000.
:

Métriques de surveillance

Les charges de travail par lot Spark génèrent des métriques basées sur l'allocation dynamique des ressources Spark. Vous pouvez utiliser ces métriques pour surveiller les charges de travail par lot Spark. Cliquez sur un ID de lot sur la page Dataproc Lots de la console pour ouvrir la page Détails du lot, qui affiche un graphique de métriques sur la charge de travail par lot sous l'onglet Monitoring.