Serverloses Dataproc für Spark-Autoscaling

Wenn Sie Ihre Spark-Arbeitslast einreichen, kann Dataproc Serverless für Arbeitslastressourcen wie die Anzahl der Executors dynamisch skalieren, um Ihre Arbeitslast effizient auszuführen. Das serverlose Autoscaling von Dataproc ist das Standardverhalten. Es bestimmt mithilfe der dynamischen Ressourcenzuweisung von Spark, ob, wie und wann Ihre Arbeitslast skaliert wird.

Spark-Attribute für die dynamische Zuordnung

In der folgenden Tabelle sind die dynamischen Spark-Zuweisungen aufgeführt, die Sie beim Senden einer Batch-Arbeitslast zum Steuern des Autoscalings festlegen können (siehe Spark-Properties festlegen).

Attribut Beschreibung
spark.dynamicAllocation.enabled Gibt an, ob die dynamische Ressourcenzuweisung verwendet werden soll, die die Anzahl der Executors je nach Arbeitslast hoch- oder herunterskaliert. Die Standardeinstellung ist true (dynamische Ressourcenzuweisung aktiviert). Wenn Sie den Wert auf false festlegen, wird Autoscaling für die Arbeitslast deaktiviert. Standardeinstellung: true.
spark.dynamicAllocation.initialExecutors Die anfängliche Anzahl von Executors, die der Arbeitslast zugewiesen sind. Nach Beginn der Arbeitslast kann das Autoscaling die Anzahl der aktiven Executors ändern. Der Mindestwert beträgt 2, der Höchstwert 100. Standard: 2.
spark.dynamicAllocation.minExecutors Die Mindestanzahl der Executors, auf die die Arbeitslast herunterskaliert werden soll. Der Mindestwert beträgt 2. Standard: 2.
spark.dynamicAllocation.maxExecutors Die maximale Anzahl von Executors, um die Arbeitslast zu skalieren. Der Höchstwert beträgt 1000. Standardeinstellung: 1.000.
:

Messwert-Monitoring

Spark-Batcharbeitslasten generieren Messwerte basierend auf der dynamischen Spark-Ressourcenzuweisung. Mit diesen Messwerten können Sie Spark-Batch-Arbeitslasten überwachen. Klicken Sie in der Console auf die Dataproc-Batches-Seite, um die Batch-Details zu öffnen. Dort wird ein Messwertdiagramm für die Batcharbeitslast auf dem Tab Monitoring angezeigt.