Dataproc Serverless for Spark の自動スケーリング

Spark ワークロードを送信すると、Dataproc Serverless for Spark はエグゼキュータの数などのワークロード リソースを動的にスケーリングして、ワークロードを効率的に実行できます。Dataproc サーバーレスの自動スケーリングはデフォルトの動作であり、Spark の動的リソース割り当てを使用して、ワークロードをスケーリングするかどうか、またその方法とタイミングを決定します。

Spark の動的割り当てのプロパティ

次の表は、バッチ ワークロードを送信して自動スケーリングを制御する際に設定できる Spark の動的割り当てプロパティの一覧です(Spark プロパティの設定方法をご覧ください)。

プロパティ 説明
spark.dynamicAllocation.enabled 動的リソース割り当てを使用するかどうか。ワークロードに応じてエグゼキュータの数をスケールアップまたはスケールダウンします。 デフォルトの設定は true(動的リソース割り当てが有効)です。この値を false に設定すると、ワークロードの自動スケーリングが無効になります。デフォルト値は true です。
spark.dynamicAllocation.initialExecutors ワークロードに割り当てられるエグゼキュータの初期数。ワークロードが開始されると、自動スケーリングによってアクティブなエグゼキュータの数が変化することがあります。最小値は 2 で、最大値は 100 です。デフォルト値 は 2 です。
spark.dynamicAllocation.minExecutors ワークロードをスケールダウンするエグゼキュータの最小数。 最小値は 2 です。デフォルト値 は 2 です。
spark.dynamicAllocation.maxExecutors ワークロードをスケールアップするエグゼキュータの最大数。 最大値は 1000 です。デフォルト値は 1000 です。
:

モニタリング指標

Spark バッチ ワークロードは、Spark の動的リソース割り当てに基づいて指標を生成します。これらの指標を使用して、Spark バッチ ワークロードをモニタリングできます。コンソールで Dataproc の [バッチ] ページでバッチ ID をクリックし、バッチの [詳細] ページを開きます。[モニタリング] タブに、バッチ ワークロードの指標のグラフが表示されます。