Managed Service for Apache Spark クラスタの新機能

※この投稿は米国時間 2026 年 6 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud は、お客様が大規模な分析ワークロードやデータ サイエンス ワークロードを最大限の効率で実行できるようにすることを目指しています。これにより、大規模なデータ パイプライン、ML、ETL のタスクを処理できます。

最近、Dataproc サービスが Managed Service for Apache Spark に変更されたことを発表いたしました。これは、Agentic Data Cloud との緊密なインテグレーションを反映したものです。

現代のデータチームのアーキテクチャに対する多様なニーズに対応するため、このサービスはサーバーレスとマネージド クラスタの 2 つの異なるデプロイモードで提供されます。サーバーレス デプロイモードでは、エフェメラルなジョブやアドホック ジョブ向けにインフラストラクチャ管理が完全に抽象化されます。一方、マネージド クラスタ デプロイモードは、インフラストラクチャのきめ細かいカスタマイズ、永続的な環境、長時間実行されるステートフル処理、またはカスタムの Compute Engine ハードウェア構成とのネイティブなインテグレーションを必要とするチーム向けに設計されています。

マネージド クラスタでのデプロイに関しては、3 つの主要な柱に焦点を当てて、エクスペリエンスをゼロから再構築しました。具体的には、実行速度を向上させて Spark を高速化し、リソースの入手可能性を最大化して運用オーバーヘッドを削減することで Spark の実行をより簡単にし、開発と運用のライフサイクルに AI を直接組み込むことで Spark をよりスマートにしています。

このブログ投稿では、Managed Spark クラスタ デプロイモードについて Google Cloud Next ‘26 で発表した内容を紹介します。このモードでは、ネイティブ実行エンジン、よりスマートなスケーリング ポリシー、Gemini を活用した拡張機能により、パフォーマンスと費用を微調整できる柔軟性が向上しています。サーバーレス デプロイモードの最新情報については、こちらのブログ記事をご覧ください。

ネイティブ実行エンジン Lightning Engine で高速化

Managed Spark クラスタの最大のアップデートは、Lightning Engine でしょう。Lightning Engine は、Spark DataFrame / Dataset API や負荷の高い Spark SQL クエリのパフォーマンスを大幅に向上させます。また、Velox と Gluten をベースに構築されたネイティブの C++ ベクトル化実行エンジンと、専用の内部機能強化を備え、クエリプランを SIMD（単一命令複数データ）ベクトル化向けに最適化されたネイティブ命令にコンパイルすることで、JVM 実行のボトルネックを回避します。

このネイティブ実行エンジンは、以下を実現します。

• 標準のオープンソース Spark と比較して最大 4.9 倍高速なパフォーマンス

• 他の主要な高速 Spark と比較して最大 2 倍の費用対効果

重要な点として、こうしたパフォーマンス向上を利用するために、既存の Spark アプリケーションのコードを変更する必要はありません。ジョブがより高速で完了することが、Compute Engine の合計ランタイム時間と全体的な費用の削減にそのままつながります。

マネージド クラスタで Lightning Engine を有効にするには、クラスタの作成時に Lightning Engine オプションを指定するだけです。

より簡単に: フレキシブル VM でリソースの入手可能性を最大化

特定のマシンタイプがローカルで一時的に不足し、クラスタの作成や自動スケーリングが滞ることがあります。こうした容量の制約に対するクラスタの復元力を大幅に向上させるために、Managed Spark クラスタ向けのフレキシブル VM の一般提供が開始されました。

フレキシブル VM では、マスターノード、プライマリ ワーカーノード、セカンダリ ワーカーノードに最大 10 個のランク付けされたマシンタイプを定義できます。Managed Service for Apache Spark は、この設定と、リージョン内のゾーン自動配置を組み合わせ、リージョン全体を動的にスキャンしたうえで、利用可能な最適なハードウェア レイアウトを使用して容量リクエストを満たします。これにより、パイプラインを予測どおりにスピンアップできるようになり、リソースの可用性エラーが大幅に削減され、需要がピークに達する期間に費用対効果の高い Spot VM 容量を最大限に活用できるようになります。

より簡単に: ゼロスケール クラスタとスケジュール設定による停止

永続的な環境と開発環境の財務管理を強化するため、Google は最近、特に要望の多かった 2 つの FinOps 機能（ゼロスケール クラスタとスケジュール設定によるクラスタの停止）の一般提供を発表しました。

• ゼロスケール クラスタ: セカンダリ ワーカー（Spot VM）のみを使用する環境をプロビジョニングできるようになりました。処理がアクティブでないとき、クラスタはワーカーノードを完全にゼロまで自動的にスケールダウンし、メタデータを保持するためにマスターノードのみをオンラインのままにします。

• スケジュール設定によるクラスタの停止: この機能を使用すると、特定のアイドル時間制限または正確な将来のタイムスタンプに基づいて、クラスタの自動シャットダウン ポリシーを構成できます。

これらの機能はネイティブに統合されているため、環境を削除して再構築しなければならないという運用上の負担が軽減されます。また、夜間や週末に生じるアイドル状態のコンピューティング オーバーヘッドに対する支払いを停止できます。

よりスマートに: Managed Service for Apache Spark MCP サーバー

生成 AI とデータ エンジニアリングのギャップを埋めるために、Google は Managed Service for Apache Spark 向け Model Context Protocol（MCP）サーバーをリリースしました。このオープン スタンダードなインテグレーションにより、LLM と AI アシスタントは、自然言語を使用して安全かつ動的に Managed Spark クラスタとやり取りできます。

MCP サーバーを利用することで、AI エージェントは既存の IAM 権限でデータ プラットフォームに安全に接続できます。そのため、エージェントはクラスタの作成、ジョブの送信、自動スケーリング ポリシーの調整などのクラスタベースの処理を、AI アプリケーションから直接実行できます。

よりスマートに: Data Agent Kit で AI 導入を加速

Google Cloud Data Agent Kit は、データ サイエンティスト、エンジニア、デベロッパーが、任意の開発環境内でデータ ワークロードのライフサイクル全体を直接管理できる拡張機能です。Managed Spark クラスタでこの拡張機能のネイティブ サポートをロールアウトしたため、コード生成とデータ ラングリングのための専用のデータ エージェントをシームレスに構築、デプロイできるようになりました。

デベロッパーは、Google のスタンドアロンのエージェント型開発プラットフォーム Antigravity 2.0 を使用するか、Data Agent Kit の拡張機能やプラグインを使用して、これらのエージェント機能を VS Code、Claude Code、Codex など任意の IDE に取り込むことができます。この効率化されたワークフローと、マネージド クラスタに備わる処理能力を組み合わせることで、これらのインテリジェント エージェントは、ペタバイト規模のデータレイク上で直接、複雑なワークフローを安全に実行できます。具体的には、デベロッパーは Data Agent Kit を使用して、次のことができます。

• パイプラインの構築とオーケストレーション: 自然言語を使用してマルチノードのデータ パイプラインを作成し、包括的なコード ドキュメントを生成できます。

• リアルタイムでデバッグを実行: Gemini Cloud Assist を活用して、エグゼキュータのログを精査し、ジョブ失敗の根本原因を特定して、実行可能な修正案を検討できます。

• Spark リソースに簡単に接続: 手動によるネットワーク構成やローカルでの Spark インストールなしで、サーバーレス Spark ランタイムやマネージド クラスタに即座に接続できます。

• Git と CI / CD の管理を合理化: 任意の IDE から直接コードを commit、マージ、デプロイし、自動でのテストとデプロイのパイプラインをスムーズにトリガーできます。

よりスマートに: 次世代の Lakehouse

Google は最近、Managed Service for Apache Spark や BigQuery などのエンジン間で読み取り / 書き込みの相互運用を可能にする Lakehouse をリリースしました。統合されたサーバーレスのメタデータ レイヤとして Lakehouse ランタイム カタログが活用されることで、データサイロが解消され、複雑な変換レイヤが不要になります。このエージェント ファーストのアプローチにより、組織は Google Cloud Storage からオープン フォーマットを直接処理したり、新たに導入されたクロスクラウド Lakehouse を使用してリモートの AWS データセットをクエリしたりできます。その際には、セキュリティとガバナンスのための信頼できる唯一の情報源が維持されます。

Managed Spark クラスタをご利用のお客様には、このインテグレーションにより、いくつかの強力な新機能が提供されます。データチームは、最適化された Lightning Engine を使用して、最も要求の厳しい ETL やデータ サイエンスのワークロードを最大 4.9 倍高速化できます。

次世代ランタイム: Spark 4.1 を搭載したクラスタ イメージ 3.0

オープンソース エコシステムにペースを合わせ、Google はクラスタ イメージ 3.0 をプレビュー版としてリリースしました。これは Apache Spark 4.1 で構築され、デフォルトの Java ランタイムが Java 21 にアップグレードされています。Spark 4.1 では、構造化ストリーミングのリアルタイム モードなど、一連の主要なオープンソース機能が導入されています。これにより、1 秒未満のレイテンシで継続的に処理されるリアルタイム ストリーミングを Spark 環境でサポートできるようになります。

使ってみる

これらのアップデートは公開済みであり、Managed Spark クラスタで今すぐご利用いただけます。新機能を有効にするには、Google Cloud コンソールを操作するか、gcloud CLI を使用します。

新しいマネージド クラスタをスピンアップし、Lightning Engine のパフォーマンスをネイティブに引き出すには、ターミナルで次のコマンドを実行します。

別の方法として、コンソールで Managed Service for Apache Spark のページに移動します。[クラスタを作成] をクリックして、クラスタ構成で [Lightning Engine を有効にする] を選択すると、Spark ジョブ向けに Lightning Engine が自動的に有効になります。

Managed Service for Apache Spark クラスタとして、皆様がどのような環境を構築、実行するのか、ご報告をお待ちしております。

- Google Cloud、シニア プロダクト マネージャー、Qiqi Wu