Google Cloud Managed Lustre で AI ワークロードを加速
Asad Khan
Senior Director, Product Management
Kirill Tropin
Group Product Manager
※この投稿は米国時間 2025 年 7 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。
このたび、AI / ML ワークロードで画期的なパフォーマンスをより簡単に実現できるようになりました。Google Cloud Managed Lustre が一般提供され、4 つの異なるパフォーマンス ティアで利用できるようになりました。各ティアでは容量 1 TiB あたり 125 MB/秒、250 MB/秒、500 MB/秒、1,000 MB/秒のスループットが提供され、ストレージ容量は最大 8 PB にスケールアップできます。Managed Lustre ソリューションは DDN の EXAScaler を活用しており、DDN が数十年にわたって培ってきた高パフォーマンス ストレージ界をリードする技術と、Google Cloud のクラウド インフラストラクチャに関する専門知識を組み合わせています。
Managed Lustre は、高スループットと低レイテンシを実現する POSIX 準拠の並列ファイル システムです。こうした特性は以下の用途に不可欠です。
-
高スループットの推論: 大規模なデータセットで準リアルタイムの推論を必要とするアプリケーションの場合、Lustre は高い並列スループットとミリ秒未満の読み取りレイテンシを実現します。
-
大規模なモデルのトレーニング: ペタバイト規模のデータセットに迅速にアクセスできるようにすることで、ディープ ラーニング モデルのトレーニング サイクルを加速します。Lustre の並列アーキテクチャにより、GPU と TPU にデータが十分に供給され、アイドル時間が最小限に抑えられます。
-
大規模モデルのチェックポイント設定と再開: トレーニング中に大規模モデルの状態をより迅速に保存および復元し、グッドプットを向上させて、より効率的なテストを可能にします。
-
データの前処理と特徴量エンジニアリング: 元データを処理し、特徴を抽出して、トレーニング用データセットの準備作業を行うことで、データ パイプラインに費やす時間を短縮します。
-
科学シミュレーションと研究: AI / ML 以外にも、Lustre は、膨大なデータセットと高並行アクセスが重要な、計算流体力学、ゲノム配列決定、気候モデリングなど従来からある HPC の用途で優れた性能を発揮します。
Lustre は、多くの AI / ML トレーニングおよび推論タスクに特有の、高度に並列化されたランダム I/O に対応するように設計されています。複数クライアント間の並列処理機能により、コンピューティング リソースがデータ不足になることはありません。
パフォーマンス ティアと料金
Managed Lustre は、容量を重視する場合でも、最高のスループット密度を重視する場合でも、ワークロードの多様なニーズを満たすように設計された柔軟な料金とパフォーマンスのティアを提供します。
詳しくは、Managed Lustre の料金ページをご覧ください。
総スループットに関係なく、すべてのティアでミリ秒未満の読み取りレイテンシと高い単一ストリーム スループットが実現され、多数の小さなファイルへの並列アクセスに最適です。
共同でイノベーションを推進: DDN とのパートナーシップ
Google Cloud の Managed Lustre は DDN の EXAScaler を活用しており、高性能コンピューティングと弾力性に優れたクラウド インフラストラクチャの業界リーダー 2 社の提携のもとに生まれました。このパートナーシップは、クラウドでの大規模な AI および HPC ワークロードのデプロイと管理を簡素化するという共通の取り組みの現れであり、以下の要素によって実現されたものです。
-
信頼できるリーダー: DDN の数十年にわたる高性能な Lustre に関する専門知識と、Google Cloud のグローバル インフラストラクチャおよび AI エコシステムを組み合わせることで、ストレージのボトルネックを解消し、お客様が AI と HPC における最も複雑な課題を解決するのに役立つ基盤機能を提供しています。
-
フルマネージドのサポート対象ソリューション: Google のフルマネージド サービスのメリットを享受できます。Google と DDN の両方から包括的なサポートを受けられるため、シームレスな運用と安心感が得られます。
-
グローバルな可用性とエコシステム統合: Managed Lustre は、複数の Google Cloud リージョンでグローバルにアクセス可能になり、Google Kubernetes Engine(GKE)や TPU を含む、より広範な Google Cloud エコシステムと統合されます。
これらのメリットは、Google の最大規模のパートナーである NVIDIA の関心を引き、NVIDIA はこれを NVIDIA AI プラットフォームの一部として組み込むことを楽しみにしています。
「今日の企業は、妥協のないスピード、シームレスなスケーラビリティ、大規模での高い費用対効果を実現するために、高速コンピューティングと高性能ストレージ ソリューションを組み合わせた AI インフラストラクチャを求めています。Google と DDN が Google Cloud Managed Lustre で提携することで、これらのニーズを満たすのに最適なソリューションが実現します。DDN のエンタープライズ グレードのデータ プラットフォームと Google のグローバル クラウド機能を統合することで、さまざまな組織が大量のデータに簡単にアクセスし、Google Cloud 上の NVIDIA AI プラットフォーム(または NVIDIA アクセラレーテッド コンピューティング プラットフォーム)で AI の可能性を最大限に引き出すことができます。これにより、インサイトを得るまでの時間を短縮し、GPU の使用率を最大化して、総所有コストを削減できます。」 - NVIDIA アクセラレーテッド コンピューティング プロダクト担当ディレクター、Dave Salvator 氏
今すぐ使用を開始する
AI / ML と HPC のワークロードを強化しませんか?Managed Lustre の使用を開始するのは簡単です。
-
ニーズに最適なパフォーマンス ティアとサイズを選択して、Managed Lustre インスタンスをプロビジョニングします。
-
コンピューティング インスタンスと GKE クラスタを新しい高パフォーマンス ファイル システムに接続します。
詳しい手順とドキュメントについては、Managed Lustre のドキュメントをご覧ください。必要に応じて、Google Cloud セールス スペシャリストにお問い合わせください。
対談を見る
Google Cloud と DDN の戦略的パートナーシップ、および Managed Lustre の独自の機能について詳しく知る機会をお見逃しなく。DDN の公式プレスリリースはこちらでご覧いただけます。
ストレージ担当 VP 兼 GM の Sameet Agarwal と DDN の CTO である Sven Oehme 氏の対談は、こちらからご覧いただけます。
-プロダクト管理担当シニア ディレクター、Asad Khan
-グループ プロダクト マネージャー、Kirill Tropin