Cloud Storage Rapid: AI と分析のための超高速化されたオブジェクト ストレージ

※この投稿は米国時間 2026 年 5 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud Next ’26 において、Google は AI や分析などのデータ集約型ワークロード向けのオブジェクト ストレージ機能ファミリーである Cloud Storage Rapid を発表しました。Cloud Storage Rapid は登場時点で、高パフォーマンスのゾーン オブジェクト ストレージ サービスである Rapid Bucket（旧称: Rapid Storage）と、オンデマンドで読み取りを高速化し、既存のバケットのワークロードのコンピューティングとデータをコロケーションする Rapid Cache（旧称: Anywhere Cache）で構成されています。

組織が AI を中核に据えて構築を進めるなか、Google は次世代の要請に応えるために Cloud Storage Rapid を開発しました。チームは、数兆個のパラメータを持つモデルをトレーニングし、グローバル規模で推論をデプロイし、膨大な量のエンタープライズ データについて推論する自律エージェントを構築しています。GPU や TPU といったアクセラレータが注目を浴びがちですが、それらには極めて重要な依存関係があります。それがストレージです。

ストレージは、トレーニング中にアクセラレータにデータを供給するエンジンであり、リアルタイム推論を応答性の高いものにする高速アクセスレイヤです。しかし、モデルの規模が大きくなるにつれて、ストレージのパフォーマンスがボトルネックになる可能性があります。AI / ML クラスタがデータの読み取りを待機したり、チェックポイントの書き込みを停止したりするたびに、有用な作業を行っていない高価なコンピューティング サイクルに対して料金を支払うことになります。

これまで、AI / ML の実務担当者は、ニッチなゾーン ストレージ システムの専門的なパフォーマンスと、Google Cloud Storage のようなグローバル オブジェクト ストアの信頼性とスケーラビリティのどちらかを選択する必要がありました。多くのデベロッパーは、Cloud Storage のシンプルさ、スケーラビリティ、信頼性、費用対効果を高く評価していますが、AI 時代の進展に伴い、より負荷の高いワークロードを Cloud Storage に投入し、何千もの GPU や TPU を使用してトレーニングや推論のワークロードを実行しています。従来のオブジェクト ストレージでは対応できないパフォーマンスの転換点に達しているのです。Rapid ファミリーは、コンピューティング ワークロードを高パフォーマンスのゾーン ストレージと直接コロケーションするための複数のオプションを提供します。これにより、アクセラレータをブロックする可能性のある I/O ボトルネックを最小限に抑え、GPU と TPU をフル稼働させて生産性を維持できます。このブログ投稿では、Cloud Storage Rapid の機能について詳しく見ていきましょう。

Rapid Bucket

Rapid Bucket（一般提供）は、Cloud Storage が大規模な生成 AI、分析、その他の高パフォーマンス ワークロードの進化する需要に対応できるよう支援します。これは、Gemini や YouTube を支える Google の分散ストレージ システムである Colossus を活用することで可能になっており、専用のオブジェクト ストレージ ゾーン バケットにおいて、膨大な読み取り / 書き込みパフォーマンスと超低レイテンシを実現します。

超高速パフォーマンスブロック型ストレージのミリ秒未満のレイテンシ、並列ファイル システムのスループット、オブジェクト ストレージのスケーラビリティと使いやすさを兼ね備えた Rapid Bucket は、お客様がよくご存じの Cloud Storage と同じ環境で高パフォーマンスを提供します。

主な機能は次のとおりです。

• 超低レイテンシ: 最大 2,000 万の秒間クエリ数とミリ秒未満のレイテンシを実現します。

• 優れたスケーラビリティ: Rapid Bucket は、単一の Rapid ゾーンバケットから 15 TB/秒以上の合計読み取りスループットを実現します。

• 新しいセマンティクス: ネイティブな追加、無制限のリーダー（書き込み中も可能）、ベクトル化された読み取りなどの新機能により、パフォーマンスを向上できます。

AI と分析向けに最適化Rapid Bucket は、AI / ML データ準備、トレーニング、チェックポイント処理、バッチおよびストリーミング分析処理、分散データベース アーキテクチャの最適化など、さまざまな要求の厳しいシナリオで使用できます。

主な利点は次のとおりです。

• アクセラレータ使用率の最適化: Rapid Bucket を使用すると、マルチモーダル トレーニング実行で GPU ブロック時間が 50% 削減され、データ読み込みが最大 2.5 倍高速化されることが確認されました。

• 高速なチェックポイント処理: Rapid Bucket を使用すると、従来のオブジェクト ストレージと比較して、最大でチェックポイントの復元が 5 倍、書き込みが 3.2 倍高速化されます。これにより、ワークロードの中断からの復旧が迅速になり、アクセラレータ時間の無駄が最小限に抑えられ、全体的な効率が向上します。

Rapid Bucket によりチェックポイントの復元が最大 5 倍高速化

Rapid Bucket により、チェックポイントの書き込みが最大 3.2 倍高速化

Rapid Bucket の使用を開始するには、こちらをご覧ください。

Rapid Cache

Cloud Next ‘25 で最初に発表された Rapid Cache は、データ準備、トレーニング、推論用のバースト性の高いモデルの読み込みなど、AI / ML ワークロードの帯域幅を高速化し、コードを変更することなく、既存のバケットに対して 2.5 TB/秒の合計読み取りスループットを実現します。推論ワークロードの場合、Rapid Cache を使用すると、モデルの読み込みが最大 2.1 倍（114%）高速化され、TCO が 47% 削減されることが確認されています。

マルチリージョン バケットと組み合わせることで、単一のバケット名前空間を維持しながら、地理的なリージョン間に分散された GPU と TPU に柔軟にアクセスできます。これにより、バケット間のデータ移動を手動でオーケストレートする必要がなくなり、ゾーン内にコロケーションされた高パフォーマンスのメリットを享受できます。

新機能: 書き込み時の Rapid Cache 取り込み世界最大規模の最先端 AI / ML ラボのお客様から、チェックポイントの復元ワークロードや、トレーニングにフィードするデータ準備パイプラインなど、書き込み直後の読み取りを高速化する方法を探しているという声が寄せられました。以前は、データをキャッシュに保存するには、まず読み取りを行って取り込みをトリガーする必要があり、その際は、標準のパフォーマンスでバケットから直接提供されていました。

Rapid Cache の新しい書き込み時の取り込み機能は、Cloud Storage バケットへの書き込みと同時に Rapid Cache にデータを書き込むことで、この問題を解決します。このプロアクティブなアプローチにより、最初のキャッシュミスのペナルティが排除され、ワークロードは最初の読み取りで即座にキャッシュ ヒットの恩恵を受けることができます。これにより、チェックポイントの復元時間が最大 2.2 倍高速化され、トレーニング クラスタが中断からより迅速に復元できるようになります。

書き込み時の取り込みを有効にするには、既存の Rapid Cache の取り込み基準を変更するだけです。

Rapid Cache のシンプルさとパフォーマンスは、爆発的な導入につながっています。一般提供開始からわずか 1 年で、お客様は数千の Rapid Cache をデプロイし、デプロイされたキャッシュは 20 倍に増加しました。実際、Rapid Cache は Cloud Storage のグローバル外向きトラフィックの最大 20% を処理しています。最先端の AI / ML を利用するお客様は、ワークロードを Rapid Cache にデプロイしています。その一例が Anthropic です。同社は Rapid Cache を使用して、単一のゾーンに TPU とデータを配置し、最大 2.5 TB/秒の動的にスケーラブルな読み取りスループットを提供することで、クラウド ワークロードの復元力を向上させています。

事例紹介: Thinking Machines LabThinking Machines Lab は、AI の研究とプロダクト開発を行う企業です。その使命は、適応性とカスタマイズ性に優れた AI システムを構築し、誰もが独自のニーズや目標に合わせて AI を活用できる知識やツールにアクセスできる未来を築くことです。

Next ‘26 では、Thinking Machines Lab のテクニカル スタッフである James Sun 氏が、セッション「Cloud Storage Rapid: AI と分析のための高速オブジェクト ストレージ」に登壇し、Thinking Machines Lab が大規模な高パフォーマンス ストレージのために実行する、データを大量に消費する AI / ML ワークロードのニーズについて発表しました。

Thinking Machines Lab は、Dataflow、Kafka、Spark でのデータ処理、マルチモデル トレーニング、オープンソース モデルのファインチューニング用の柔軟な API である Tinker のサービングなど、さまざまなワークフローを実行しています。Sun 氏の説明によると、Thinking Machines Lab のワークロードは Google Cloud Storage で実行されています。このようなデータ集約型の AI / ML ワークロードを大規模に実行すると、インフラストラクチャに大きな課題が生じます。

1 つ目の課題は、ハブ アンド スポーク型のデータ アーキテクチャの管理です。このアーキテクチャでは、データ処理ハブは 1 つのプライマリ リージョンに配置され、トレーニング GPU は複数のリージョンに分散されます。これまで、手動によるデータの移動とライフサイクル管理は、運用上の大きな懸念点となっていました。さらに、Thinking Machines Lab のワークロード（データ準備や事前トレーニングのワークフローなど）は、マルチモーダル データセットを準備するために大規模な Spark ワークロードに依存しており、コールドからホットに瞬時に急増することがよくあります。以前は、このような急増により、データ処理と読み込みが停滞し、重要なトレーニング サイクルが中断されるという、破壊的な 429 エラーが発生していました。

これらのボトルネックを最小限に抑えるため、Thinking Machines Lab は AI / ML パイプライン全体に Rapid Cache を統合し、良好な結果を得ました。

「Rapid Cacheは、当社の AI / ML データ インフラストラクチャの中核的な基盤となっており、データの準備から、事前トレーニング、実際のトレーニング、モデルの読み込みに至るまで、重要なワークフローを支えています。重要な帯域幅のシールドおよびブースターとして機能し、迅速なイノベーションに必要なオンデマンドの高帯域幅と一貫した安定性を提供してくれるため、当社はフリート全体でデータ集約型のワークロードを妥協することなくスケールできます。」- Thinking Machines Lab、テクニカル スタッフ、James Sun 氏

要約すると、Cloud Storage と Rapid Cache によって、Thinking Machines Lab は次のメリットを得ています。

• 簡単、即時、スケーラブル、オンデマンドの帯域幅: チームは現在、1.8 TB/秒を超える安定した読み取りスループットのピークを達成しています。

• 安定性の向上: Rapid Cache により、テールエンドのレイテンシと 429 エラーが大幅に削減され、マルチモーダル トレーニングに必要な一貫したパフォーマンスが提供されます。

• フリート全体のスケーラビリティ: マルチリージョン バケットと組み合わせることで、データ集約型ワークロードをフリート全体にわたってスケールできるようになりました。手動でデータを移動する手間をかけずに、急速に拡大するコンピューティング規模の需要に対応しながら、ゾーンでコロケーションされたストレージによる高パフォーマンスのメリットを享受できます。

• 運用効率: 階層型名前空間（HNS）の使用により、ディレクトリ名の高速変更をサポートし、クラスタをスケールアウトする際に QPS をより迅速にランプアップできるようになり、データ準備のための大規模な Spark ワークロードが最適化されました。Rapid Cache の「書き込み時の取り込み」機能により、チェックポイントの復元時にキャッシュ ヒットが即座に発生します。

ビジネスを加速させる最適なプロダクトをお選びください

データ準備、大規模なトレーニング、低レイテンシの推論のいずれを実行する場合でも、Cloud Storage Rapid は、Cloud Storage の特徴である信頼性とスケーラビリティとともに、高いパフォーマンスを提供します。

• Rapid Bucket は、Cloud Storage のスループットと秒間クエリ数が最も高く、分析、AI トレーニング、チェックポイント処理、モデル提供などの読み取り / 書き込みのユースケースでレイテンシが最も低くなります。これにより、ストレージのボトルネックを減らし、コンピューティングの利用率を高めることができます。

• Rapid Cache は、コードを変更することなく、既存のバケットで読み取り帯域幅の向上とテールレイテンシの安定化を実現します。主なユースケースには、AI トレーニング、チェックポイントの復元、サービング、マルチリージョン バケットによるアクセラレータのオプションなどがあります。

Cloud Storage Rapid ファミリーの利用を今すぐ開始しましょう。

- シニア プロダクト マネージャー、Marco Abela

- シニア プロダクト マネージャー、Luigi Pontes