Dimensione clusters do Dataproc no GKE

Para dimensionar um cluster do Dataproc no GKE, atualize a configuração do dimensionamento automático dos node pools associados às funções de controlador do Spark ou executor do Spark. Pode especificar os conjuntos de nós e as respetivas funções associadas do Dataproc no GKE quando cria um cluster do Dataproc no GKE.

Defina a escala automática do node pool

Pode definir os limites para o dimensionamento automático do conjunto de nós do Dataproc no GKE quando cria um cluster virtual do Dataproc no GKE. Se não for especificado, os conjuntos de nós do Dataproc no GKE são dimensionados automaticamente com os valores predefinidos (na versão GA do Dataproc no GKE, os predefinições são definidas como mínimo = 1 e máximo = 10, que estão sujeitos a alterações). Para obter valores de escalamento automático do conjunto de nós mínimos e máximos específicos, defina-os quando criar o cluster virtual do Dataproc no GKE.

Atualize a escala automática do node pool

Use o seguinte comando do GKE gcloud container node-pools update para alterar a configuração da escalabilidade automática de um conjunto de nós do Dataproc no GKE.

gcloud container node-pools update NODE_POOL_NAME \
    --cluster=GKE_CLUSTER_NAME \
    --region=region \
    --enable-autoscaling \
    --min-nodes=min nodes (must be <= max-nodes) \
    --max-nodes=max nodes (must be >= min-nodes) \

Como funciona o dimensionamento automático do Spark

  1. Quando um trabalho é enviado, o pod do controlador é agendado para ser executado no conjunto de nós associado à função de controlador do Spark.
  2. O pod do controlador chama o programador do GKE para criar pods do executor.
  3. Os pods do executor são agendados no conjunto de nós associado à função de executor do Spark.
  4. Se os conjuntos de nós tiverem capacidade para os pods, os pods começam a ser executados imediatamente. Se a capacidade for insuficiente, o escalador automático do cluster do GKE aumenta a escala do conjunto de nós para fornecer os recursos pedidos, até ao limite especificado pelo utilizador. Quando os conjuntos de nós têm capacidade excessiva, o escalador automático do cluster do GKE reduz a escala do conjunto de nós até ao limite especificado pelo utilizador.