2025 年 5 月発表: Dataproc Serverless が Apache Spark 用 Google Cloud Serverless に
Apache Spark 向けの Google Cloud サーバーレス
インフラストラクチャ管理の時間を削減し、コーディングに集中しましょう。
Apache Spark ジョブを、カスタマイズ可能な NoOps プラットフォームで より簡単に、Gemini アシスタンスでよりスマートに、Lightning Engine のパフォーマンスでより高速に実行できます。
Apache Spark は Apache Software Foundation の商標です。
機能
業界トップクラスのパフォーマンス
次世代のベクトル化エンジンである Lightning Engine でジョブを強化しましょう。自動的に、サーバーレス Spark ワークロードのパフォーマンスが4.3 倍以上高速化され、TCO が削減されます。
インテリジェントな自動スケーリングによる NoOps
インテリジェントな自動スケーリングでクラスタ管理を不要に。リソースはジョブのニーズに完全に一致するように自動的にスケールアップ、スケールダウンされるため、アイドル時間の料金が発生せず、最大限のパフォーマンスと費用対効果を確保できます。
AI を活用した開発
ワークフロー全体を加速します。BigQuery Studio の Gemini Code Assist を使用して PySpark、Scala、Java コードを記述およびデバッグし、事前構成された ML ランタイムで GPU で高速化された環境を開始します。
Spark と SQL の統合エクスペリエンス
コンテキストの切り替えをなくしましょう。BigQuery Studio などの単一環境でワークロードを開発、実行し、強力な SQL と柔軟な PySpark を同じノートブックでシームレスにブレンドできます。
2 つのパフォーマンス階層
| 2 つのパフォーマンス階層 | 標準的なバッチ処理から、最も要求の厳しいパフォーマンス重視のジョブまで、特定のニーズに合ったティアをご用意。 |
|---|---|
| 階層 | 最適な用途 |
標準 | 費用対効果に優れたバッチ処理、データ変換、汎用 Spark ジョブに最適。
|
プレミアム | 最も要求の厳しいワークロード向けに、Lightning Engine、AI/ML アクセラレーション、インタラクティブ機能で最大限のパフォーマンスを提供します。
|
2 つのパフォーマンス階層
標準的なバッチ処理から、最も要求の厳しいパフォーマンス重視のジョブまで、特定のニーズに合ったティアをご用意。
標準
費用対効果に優れたバッチ処理、データ変換、汎用 Spark ジョブに最適。
- 汎用 Spark ETL
- スケジュール済みのデータ パイプライン
- コスト重視のバッチジョブ
プレミアム
最も要求の厳しいワークロード向けに、Lightning Engine、AI/ML アクセラレーション、インタラクティブ機能で最大限のパフォーマンスを提供します。
- Lightning Engine でパフォーマンス重視のジョブを 4.3 倍高速化
- インタラクティブなデータ サイエンスと分析
- GPU で高速化された AI と ML
- 複雑な大規模データ処理
一般的な使用例
インタラクティブなデータ サイエンス
インタラクティブなデータ サイエンス
データ サイエンティストがデータを探索し、Spark ML モデルを迅速に反復処理できるようにします。単一の BigQuery Studio ノートブックで SQL と Spark を統合し、インフラストラクチャを管理することなく、SQL によるデータ探索から PySpark によるモデル構築にシームレスに移行できます。
チュートリアル、クイックスタート、ラボ
インタラクティブなデータ サイエンス
インタラクティブなデータ サイエンス
データ サイエンティストがデータを探索し、Spark ML モデルを迅速に反復処理できるようにします。単一の BigQuery Studio ノートブックで SQL と Spark を統合し、インフラストラクチャを管理することなく、SQL によるデータ探索から PySpark によるモデル構築にシームレスに移行できます。
料金
| 透明性の高い価値に基づく料金設定 | Apache Spark 向け Serverless の料金は、コンピューティング（DCU）、GPU、シャッフル ストレージの使用量に基づき、秒単位で課金されます。 | |
|---|---|---|
| サービスと用途 | サブスクリプション タイプ | 価格（米ドル） |
データ コンピューティング単位（DCU） | 標準 | 目安 $0.06 1 時間あたり |
プレミアム | 目安 $0.089 1 時間あたり | |
シャッフル ストレージ | 標準 | 目安 $0.04 GB 単位/月 |
プレミアム | 目安 $0.1 GB 単位/月 | |
アクセラレータの料金 | a100 40 GB | 目安 $3.52069 1 時間あたり |
a100 80 GB | 目安 $4.713696 1 時間あたり | |
L4 | 目安 $0.672048 1 時間あたり | |
Apache Spark 用 Google Cloud Serverless の料金の詳細を表示します。
透明性の高い価値に基づく料金設定
Apache Spark 向け Serverless の料金は、コンピューティング（DCU）、GPU、シャッフル ストレージの使用量に基づき、秒単位で課金されます。
データ コンピューティング単位（DCU）
標準
Starting at
$0.06
1 時間あたり
プレミアム
Starting at
$0.089
1 時間あたり
シャッフル ストレージ
標準
Starting at
$0.04
GB 単位/月
プレミアム
Starting at
$0.1
GB 単位/月
アクセラレータの料金
a100 40 GB
Starting at
$3.52069
1 時間あたり
a100 80 GB
Starting at
$4.713696
1 時間あたり
L4
Starting at
$0.672048
1 時間あたり
Apache Spark 用 Google Cloud Serverless の料金の詳細を表示します。
ビジネスケース
Apache Spark 向け Google Cloud Serverless のビジネスケースを構築する
代替ソリューションと比較した Google Cloud Dataproc とサーバーレス Spark の経済的メリット
Apache Spark 向け Serverless が、オンプレミス ソリューションや他のクラウド ソリューションと比較して、TCO の大幅な削減とビジネス価値の向上をどのように実現するかをご覧ください。
このレポートの表示内容:
Dataproc と Apache Spark 向け Serverless が、他のクラウドベースの Spark 代替ソリューションと比較して、18%～60% の費用削減を実現できる仕組みをご確認ください。
Apache Spark 向け Google Cloud Serverless が、他のサーバーレス Spark サービスよりも 21%～55% 優れた費用対効果を実現できる仕組みをご確認ください。
Dataproc と Apache Spark 向け Google Cloud Serverless が Spark のデプロイを簡素化し、運用の複雑さを軽減する仕組みについて説明します。
よくある質問
Apache Spark 向け Serverless と Dataproc のどちらを選択すべきですか？
コードだけに集中し、インフラストラクチャ管理を一切不要にしたい場合は、Apache Spark 向け Serverless を選択します。これは新しい Spark パイプライン、インタラクティブな分析、需要が予測できないジョブに最適で、速度とシンプルさが優先されます。
PyTorch や XGBoost などの独自のライブラリをインストールする必要がありますか？
プレミアム ティアは AI/ML 向けに設計されており、PyTorch、XGBoost、scikit-learn などの一般的なライブラリが組み込まれた事前構成済みの ML ランタイムが付属しています。これにより、複雑な設定が不要になり、データ サイエンス ワークロードを数分で開始できます。
最適なパフォーマンスを得るにはどうすればよいですか？料金体系はどのようになっていますか？
最高のパフォーマンスを実現するには、Lightning Engine を搭載したプレミアム ティアを選択できます。料金は「使用した分だけ支払う」モデルに基づいており、ジョブの実行時間に対してのみ秒単位で課金されます。アイドル状態のクラスタの費用がなくなるため、費用対効果が非常に高くなります。
