Escalonamento automático do servidor sem servidor para o Spark

Quando você envia a carga de trabalho do Spark, o Dataproc sem servidor para o Spark escalona dinamicamente os recursos dela, como o número de executores, para executar a carga de trabalho com eficiência. O escalonamento automático sem servidor do Dataproc é o comportamento padrão e usa a alocação de recursos dinâmicos do Spark para determinar se, como e quando escalonar a carga de trabalho.

Propriedades de alocação dinâmica do Spark

Na tabela a seguir, listamos as propriedades de Alocação dinâmica do Spark que podem ser definidas ao enviar uma carga de trabalho em lote para controlar o escalonamento automático. Veja como definir as propriedades do Spark.

Propriedade Descrição
spark.dynamicAllocation.enabled Indica se é preciso usar a alocação de recursos dinâmicos, que aumenta e diminui o número de executores com base na carga de trabalho. A configuração padrão é true (alocação dinâmica de recursos ativada). Definir o valor como false desativa o escalonamento automático da carga de trabalho. Padrão: verdadeiro.
spark.dynamicAllocation.initialExecutors O número inicial de executores alocados para a carga de trabalho. Depois que a carga de trabalho for iniciada, o escalonamento automático poderá mudar o número de executores ativos. O valor mínimo é 2. O valor máximo é 100. Padrão: 2.
spark.dynamicAllocation.minExecutors O número mínimo de executores para reduzir a carga de trabalho. O valor mínimo é 2. Padrão: 2.
spark.dynamicAllocation.maxExecutors O número máximo de executores para escalonar a carga de trabalho. O valor máximo é 1000. Padrão: 1.000.
:

Como monitorar métricas

As cargas de trabalho em lote do Spark geram métricas com base na alocação de recursos dinâmicos do Spark. Essas métricas podem ser usadas para monitorar cargas de trabalho em lote do Spark. Clique em um ID do lote na página Lotes do Dataproc no console para abrir a página Detalhes em lote, que exibe um gráfico de métricas da carga de trabalho em lote na guia Monitoring.