Escalar clústeres de Dataproc en GKE

Para escalar un clúster de Dataproc en GKE, actualiza la configuración del autoescalador de los grupos de nodos asociados a los roles de controlador o ejecutor de Spark. Puedes especificar grupos de nodos de Dataproc en GKE y sus roles asociados cuando creas un clúster de Dataproc en GKE.

Configurar el escalado automático de grupos de nodos

Puedes definir los límites del autoescalado de grupos de nodos de Dataproc en GKE al crear un clúster virtual de Dataproc en GKE. Si no se especifica, los grupos de nodos de Dataproc en GKE se escalan automáticamente con valores predeterminados (en la versión GA de Dataproc en GKE, los valores predeterminados se definen como mínimo = 1 y máximo = 10, que están sujetos a cambios). Para obtener valores específicos de autoescalado mínimo y máximo de grupos de nodos, defínelos al crear tu clúster virtual de Dataproc en GKE.

Actualizar el autoescalado de un grupo de nodos

Usa el siguiente comando de GKE gcloud container node-pools update para cambiar la configuración del autoescalado de un grupo de nodos de Dataproc en GKE.

gcloud container node-pools update NODE_POOL_NAME \
    --cluster=GKE_CLUSTER_NAME \
    --region=region \
    --enable-autoscaling \
    --min-nodes=min nodes (must be <= max-nodes) \
    --max-nodes=max nodes (must be >= min-nodes) \

Cómo funciona el escalado automático de Spark

  1. Cuando se envía un trabajo, el pod del controlador se programa para que se ejecute en el grupo de nodos asociado al rol de controlador de Spark.
  2. El pod del controlador llama al programador de GKE para crear pods de ejecutor.
  3. Los pods de ejecutor se programan en el grupo de nodos asociado al rol de ejecutor de Spark.
  4. Si los grupos de nodos tienen capacidad para los pods, estos empezarán a ejecutarse inmediatamente. Si no hay capacidad suficiente, el escalador automático de clústeres de GKE aumenta el tamaño del grupo de nodos para proporcionar los recursos solicitados, hasta el límite especificado por el usuario. Cuando los grupos de nodos tienen un exceso de capacidad, el escalador automático de clústeres de GKE reduce el grupo de nodos hasta el límite especificado por el usuario.