サーバーレス Managed Service for Apache Spark の新機能

※この投稿は米国時間 2026 年 6 月 4 日に、Google Cloud blog に投稿されたものの抄訳です。

データ準備、リアルタイムのインタラクティブ クエリ、AI モデルのトレーニングなど、Apache Spark の用途はさまざまですが、大規模での実行は負担が大きく、そのうえさらに基盤となるインフラストラクチャの管理もするとなれば大変な労力が必要になります。

昨年末、Google はサーバーレス Managed Service for Apache Spark ランタイム バージョン 3.0 の一般提供（GA）を発表しました。速度、シンプルさ、信頼性に重点を置いたバージョンです。それ以来、データ サイエンス分野のお客様によるご利用が、前年比でほぼ倍増しました。これは、Google Cloud を使用すると、Apache Spark ワークロードをより簡単、スマート、迅速に実行できるという Google の信念を裏付けるものです。

このブログ記事では、特徴量エンジニアリング、GPU によるモデルのトレーニングやチューニングの高速化、セマンティック検索、RAG、AI エージェントや AI アプリケーションの構築などの幅広いワークフローに Google Cloud のサーバーレス Apache Spark サービスがどのように適しているのか、その重要な機能をいくつか取り上げて詳しく説明します。

セットアップ不要のオンボーディング

クラウド サービス導入における最大の障壁は、多くの場合、「感動の瞬間」までの時間、つまりプロジェクトの作成から最初のワークロード実行までの時間が長いことです。以前は、サーバーレス Spark を使用する場合でも、1 つのジョブを送信する前に、IAM ロール、VPC ネットワーキング、ファイアウォール ルールを手動で構成する必要がありました。

サーバーレス Spark 3.0 ランタイム バージョンでは、セットアップ不要のオンボーディングにより、サーバーレス Spark で最初のワークロードを起動させるまでの時間が大幅に短縮されます。これは、次の手順を自動化することで実現されます。

• 権限: 必要な IAM のロールと権限が、適切なサービス アカウントに自動的にプロビジョニングされます。

• ネットワーキング: サブネットでプライベート Google アクセスが自動的に有効になり、システム ファイアウォール ポリシーが自動的に構成されます。

• API 管理: API の有効化がより効率的になりました。以前のように複数の異なる API を手動で有効にする必要はなく、Managed Service for Apache Spark API を有効にするだけで済みます。

SLA の影響を受けやすいワークロードの高速起動

インタラクティブなデータ サイエンスのパイプラインや、SLA の影響を受けやすいバッチ パイプラインでは、レイテンシが特に重要です。従来、サーバーレス Spark の起動には数分かかることがありました。3.0 ランタイムでは、標準ティアとプレミアム ティアの両方で起動時間が 75% 短縮されました。これは、コードや構成の変更なしで自動的に実現し、追加費用も必要ありません。

この大幅な改善により、サーバーレス Spark は、SLA の影響を受けやすい、より広範囲のワークロードに適したものとなります。起動時間については、今後も継続して最適化を目指していきます。

「サーバーレス Spark を使用することで、きめ細かいマシン管理の必要性がなくなり、迅速にメリットを得ることができました。これにより、モデル開発が迅速化され、データ処

GPU の入手可能性の向上

サーバーレス 3.0 ランタイム バージョンでは Dynamic Workload Scheduler（DWS）の Flex Start モードがサポートされることで、サーバーレス Spark は、GPU が利用できない場合に、構成可能な期間中、お客様のリクエストをキューに入れることができます。この機能は、リージョン内で頻繁に不足する NVIDIA A100 や L4 などの需要の高いアクセラレータの入手可能性に関する課題を解決します。DWS で必要な GPU 容量が利用可能になるまでワークロードを一時停止することで、レイテンシの影響を受けやすい AI / ML ワークロードの入手可能性と信頼性を大幅に高めることができます。

トップクラスの Apache Spark 4.x サポート

サーバーレス Spark 3.0 ランタイム バージョンは、現在、そして今後の Apache Spark 4.x のイノベーションをサポートします。たとえば Spark Connect は、分離されたクライアント サーバー アーキテクチャをサポートし、あらゆるクライアントからのリモート接続を可能にします。

マルチゾーン サポートの強化

サーバーレス Spark 3.0 ランタイムでは、グローバルなエンタープライズ ワークロードをゾーンの停止やハードウェアの在庫切れから保護するために、デフォルトでマルチゾーン サポートが強化されています。現在、単一リージョン内の複数のゾーンにわたって実行ノードを自動的に割り当て、入手可能性を確保できるようになっています。

重要な点として、リージョン内のノード間のクロスゾーン ネットワーク トラフィックは課金されません。そのため、従来のようなマルチゾーンの追加料金なしで高可用性を実現できます。この点も、グローバルな Apache Spark ワークロードを Google Cloud に移行することで実現できるメリットの一つです。

今後の展望

上述に加えて、履歴ベースの自動チューニングや目標ベースの自動スケーリングなど、使いやすさの限界を押し広げるイノベーションを継続していきます。

ご利用にあたって

これらの機能は、バッチ ワークロードまたはインタラクティブ セッションで runtime_version: 3.0 を指定することで、今すぐご利用いただけます。サーバーレス Spark で最初のワークロードを実行するには、次の簡単な手順を行ってください。

1. Managed Service for Apache Spark API を有効にします。

2. プロジェクト オーナーでない場合は、プロジェクトに対するサーバーレス Managed Service for Apache Spark 編集者（roles/dataproc.serverlessEditor）ロールの付与をプロジェクト管理者に依頼してください。

これで、サーバーレス 3.0 ランタイム バージョンでワークロードの実行を開始できます。詳細については、更新されたドキュメントをご覧ください。サーバーレス Managed Service for Apache Spark には、Google Cloud コンソールからアクセスしてください。

- ソフトウェア エンジニアリング マネージャー、Vinay Londhe

- シニア プロダクト マネージャー、Bhooshan Mogal