Dataproc Serverless の料金
Dataproc Serverless for Spark の料金はデータ コンピューティングの数に基づきます。 ユニット（DCU）、使用されているアクセラレータの数、シャッフル ストレージの量 分析できますDCU、アクセラレータ、シャッフル ストレージは秒単位で課金され、 最低課金時間は DCU とシャッフル ストレージの場合は 1 分、最低課金時間は 5 分 アクセラレータの料金です
Dataproc vCPU ごとに 0.6 DCU としてカウントされます。RAM の課金方法が異なる サイズの違いも考慮する必要がありますvCPU あたり 8G GB 未満の RAM は、 0.1 DCU で、vCPU あたり 8 GB を超える RAM は 0.2 DCU としてカウントされます。 Spark のドライバとエグゼキュータで使用されるメモリとシステムメモリ使用量がカウントされる DCU の使用に計上されます
デフォルトでは、Dataproc Serverless for Spark のバッチ ワークロードとインタラクティブ ワークロード ワークロードの実行中に最低 12 個の DCU（ドライバ）を消費 4 個の vCPU と 16 GB の RAM を使用し、4 個の DCU と 2 つのエグゼキュータをそれぞれ使用 4 個の vCPU と 16 GB の RAM を使用し、4 個の DCU を消費します。この数は 設定によって、vCPU の数と vCPU あたりのメモリ容量を Spark プロパティ。 Compute Engine VM または Persistent Disk の追加料金は発生しません。
データ コンピューティング ユニット（DCU）の料金
以下に示す DCU レートは 1 時間あたりの料金です。日割りで計算され、
最小課金時間は 1 分です
Spark インタラクティブ ワークロード用の Dataproc Serverless は、プレミアムとして課金されます。
シャッフル ストレージの料金
下記のシャッフル ストレージ料金は月額料金です。日割りで計算され、 秒単位で課金され、最小課金時間は Standard Shuffle Storage に対して 1 分 最低 5 分間の課金で、プレミアム シャッフル ストレージを利用できます。プレミアム シャッフル ストレージは Premium Compute Unit でのみ使用できます。
アクセラレータの料金
以下に示すアクセラレータの料金は 1 時間あたりの料金です。日割りで計算され、
最小課金時間は 5 分です。
料金の例
Dataproc Serverless for Spark バッチ ワークロードが 12 個の DCU で実行される場合
（spark.driver.cores=4、spark.executor.cores=4、spark.executor.instances=2）
24 時間保存でき、25 GB のシャッフル ストレージを消費します。
料金の計算は次のとおりです。
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
注:
- この例では、1 か月を 30 日と仮定しています。バッチワークロードの期間は 1 つなので 月間シャッフルストレージレートを 30 で割ります
Dataproc Serverless for Spark バッチ ワークロードが 12 個の DCU と 2 個の DCU で実行される場合
L4 GPU（spark.driver.cores=4、spark.executor.cores=4、
spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium,
spark.dataproc.executor.compute.tier=premium,
spark.dataproc.executor.disk.tier=premium,
spark.dataproc.executor.resource.accelerator.type=l4）を 24 時間
25GB のシャッフルストレージを消費し
内容は次のとおりです。
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
注:
- この例では、1 か月を 30 日と仮定しています。バッチワークロードの期間は 1 つなので 月間シャッフルストレージレートを 30 で割ります
Dataproc Serverless for Spark インタラクティブ ワークロードが 12 個の DCU で実行される場合
（spark.driver.cores=4、spark.executor.cores=4、spark.executor.instances=2）
24 時間保存でき、25 GB のシャッフル ストレージを消費します。
価格は次のように計算されます。
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
注:
- この例では、1 か月を 30 日と仮定しています。バッチワークロードの期間は 1 つなので 月間シャッフルストレージレートを 30 で割ります
料金の見積もりの例
バッチ ワークロードが完了すると、Dataproc Serverless for Spark は、
UsageMetrics、
これには、DCU、アクセラレータ、シャッフルの合計の近似値が含まれます。
使用したストレージ リソースを管理できます。ワークロードを実行した後
gcloud dataproc batches describe BATCH_ID を実行します。
コマンドを実行してワークロードの使用状況の指標を表示し、実行費用の見積もりに役立てることができる
表示されます。
例:
Dataproc Serverless for Spark は、エフェメラル クラスタでワークロードを実行します。
1 つのマスターと 2 つのワーカーで構成されます。各ノードは 4 個の DCU を使用します（デフォルトは 1 個につき 4 個の DCU）。
コア - spark.dataproc.driver.disk.size を参照）
400 GB のシャッフル ストレージ
（デフォルトはコアあたり 100 GB です。「
spark.driver.cores）。
ワークロードの実行時間は 60 秒です。また、各ワーカーには合計で 1 つの GPU があり、
クラスタ全体で 2 つ必要です。
ユーザーが gcloud dataproc batches describe BATCH_ID --region REGION を実行する
使用状況の指標を取得できます。コマンド出力には、次のスニペットが含まれます。
（milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000、milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 =
120000、shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000）:
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
他の Google Cloud リソースの使用
Dataproc Serverless for Spark ワークロードでは、必要に応じて 各リソースには独自の料金が適用され、次のリソースが含まれますが、これらに限定されません。
次のステップ
- Dataproc Serverless のドキュメントを読む。
- Dataproc Serverless を使ってみる。
- 料金計算ツールを試す。