Escala clústeres de Dataproc en GKE

Para escalar un clúster de Dataproc on GKE, actualiza la configuración del escalador automático de los grupos de nodos asociados con las funciones del controlador o ejecutor de Spark. Cuando creas un clúster de Dataproc on GKE, debes especificar los grupos de nodos y sus funciones asociadas de Dataproc on GKE.

Configurar el ajuste de escala automático del grupo de nodos

Puedes configurar los límites del ajuste de escala automático del grupo de nodos de Dataproc on GKE cuando creas un clúster virtual de Dataproc on GKE. Si no se especifica, los grupos de nodos de Dataproc on GKE tienen ajuste de escala automático con valores predeterminados (en la versión de DG de Dataproc on GKE, la configuración predeterminada se establece como mínimo = 1 y máximo = 10, que están sujetos a cambios). Para obtener valores específicos mínimos y máximos del ajuste de escala automático del grupo de nodos, configúralos cuando crees tu clúster virtual de Dataproc on GKE.

Actualizar el ajuste de escala automático del grupo de nodos

Usa el siguiente comando gcloud container node-pools update de GKE para cambiar la configuración de ajuste de escala automático de un grupo de nodos de Dataproc on GKE.

gcloud container node-pools update NODE_POOL_NAME \
    --cluster=GKE_CLUSTER_NAME \
    --region=region \
    --enable-autoscaling \
    --min-nodes=min nodes (must be <= max-nodes) \
    --max-nodes=max nodes (must be >= min-nodes) \

Cómo funciona el ajuste de escala automático de Spark

  1. Cuando se envía un trabajo, el Pod del controlador está programado para ejecutarse en el grupo de nodos asociado con la función del controlador de Spark.
  2. El pod del controlador llama al programador de GKE para crear pods ejecutor.
  3. Los Pods del ejecutor se programan en el grupo de nodos asociado con la función de ejecutor de Spark.
  4. Si los grupos de nodos tienen capacidad para los Pods, estos comienzan a ejecutarse de inmediato. Si la capacidad es insuficiente, el escalador automático del clúster de GKE escala verticalmente el grupo de nodos para proporcionar los recursos solicitados, hasta el límite especificado por el usuario. Cuando los grupos de nodos tienen un exceso de capacidad, el escalador automático del clúster de GKE reduce la escala del grupo de nodos hasta el límite especificado por el usuario.