Google Cloud の最新のストレージ ソリューションで AI ワークロードの可能性を引き出す

※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。

データ集約型 AI ワークロードに特有のストレージとアクセスの需要への対応を続けている企業は、高機能で費用対効果に優れ、管理が容易なストレージ ソリューションを提供するクラウドに注目しています。

適切なアプリケーションに適切なクラウド ストレージ ソリューションを提供するべく、このたび Google は次の 3 つの新しいソリューションをリリースいたします。

• Parallelstore（並列ファイル システム）: GPU / TPU を使用する要求の厳しい AI および HPC アプリケーション向け

• Cloud Storage FUSE: ファイル システム セマンティクスを必要とする AI アプリケーション向け

• Google Cloud NetApp Volumes: クラウドで実行されるエンタープライズ アプリケーション向け

Parallelstore

AI モデルをトレーニングする Google Cloud のお客様は、多くの場合、必要なパフォーマンスを得るために GPU / TPU を利用します。しかし、現実を直視すると、こうしたリソースは限られており、インフラストラクチャ アセットを最大限に活用する必要があります。現在限定公開プレビュー版である Google Cloud Parallelstore を使用すれば、AI / ML および HPC ワークロードに高性能の並列ファイル ストレージ ソリューションを提供することができ、ストレージ I/O の待機中に貴重な GPU リソースを無駄にせずにすみます。

Parallelstore は、AI / ML のトレーニング フェーズの最適化に必要なデータで GPU を飽和状態に保つことで、アイドル状態の GPU に関連する費用を大幅に削減し、さらには排除することができます。

次世代型 Intel DAOS アーキテクチャにより、Parallelstore 環境内のすべてのコンピューティング ノードがストレージに平等にアクセスできるため、VM は必要なデータに即座にアクセスできます。競合する Luster Scratch サービスと比較して最大 6.3 倍の読み取りスループット パフォーマンスを備えた Parallelstore は、極めて高いパフォーマンス（IOPS およびスループット）と超低レイテンシを必要とするクラウドベースのアプリケーションに最適です。

前処理、モデル開発、トレーニング、チェックポイントの各段階にわたるデータ移行を目指す企業に対し、Parallelstore は、I/O パターン、ファイルサイズ、レイテンシ、スループットの限界を押し上げる必要がある際に役立つ高パフォーマンスな優位性のあるソリューションを提供します。高パフォーマンスな AI / ML ワークロードであっても、不要なストレージの無駄を排除するように Parallelstore を構成できるため、ワークロードの要件を処理できないソリューションで失敗することはありません。

詳細については、Parallelstore のウェブページをご覧ください。

Cloud Storage FUSE

Cloud Storage FUSE があれば、Cloud Storage バケットをローカル ファイル システムとしてマウントしてアクセスできます。Cloud Storage FUSE を使用すると、Cloud Storage のスケール、手頃な価格、パフォーマンス、シンプルさを維持しながら、トレーニング データ、モデル、チェックポイントの保存とアクセスにファイル システム セマンティクスを必要とする AI アプリケーションをスムーズに利用できます。

現在、ファーストパーティの Google Cloud サービスとして一般提供されている Cloud Storage FUSE は、次の 4 つの主なメリットを提供することに重点を置いています。

• 互換性: Cloud Storage FUSE を使用すると、ローカル ファイル システムとしてマウントされたファイルとして Cloud Storage バケット内のオブジェクトにアクセスできるため、クラウド固有の API を呼び出すためにアプリケーションをリファクタリングする必要がなくなります。

• 信頼性: ファーストパーティ プロダクトである Cloud Storage FUSE は、公式の Go Cloud Storage クライアント ライブラリと統合されており、ViT DINO および ResNet ML モデルを使用して、とりわけ PyTorch と TensorFlow に対して大規模かつ長期間の検証が行われています。

• パフォーマンス: Cloud Storage FUSE を使用すると、開発者は Cloud Storage バケットをローカル ファイル システムとして扱うことができるため、ソースから GPU や TPU へのデータ移動によって生じるレイテンシがなく、読み取り負荷の高い ML ワークロードによって発生するリソースのアイドル時間の多くを排除できます。世界的なアドテック企業である OpenX は、Cloud Storage FUSE と Google Kubernetes Engine（GKE）を併用することで、Pod の起動時間を 40% 削減しました。それまで OpenX は、独自のソリューションを使用して Pod の起動時に Cloud Storage からデータファイルをフェッチしていました。

• 移植性: ユーザーは、事前構築された Google ML イメージを使用した Linux パッケージとして、Vertex AI プラットフォームの一部として、または Cloud Storage Fuse CSI ドライバを介した GKE とのターンキー のインテグレーションの一部として、Cloud Storage FUSE を独自の環境にデプロイできます。

詳細については、新しいファーストパーティ Cloud Storage FUSE プロダクトに関するこのたびのブログ投稿をご覧ください。また、Cloud Storage FUSE プロダクト ページからドキュメントの全文をご覧いただけます。

Google Cloud NetApp Volumes

NetApp ストレージ アレイ上でアプリケーションを設計している多くの企業のお客様は、そのワークロードをクラウドに移行したいと考えています。NetApp Volumes は、要求の厳しいエンタープライズ アプリケーションやワークロード向けに特別に設計された、Google が完全に管理する高パフォーマンスのファイル ストレージ サービスを提供することで、プロセスを簡素化します。

NetApp Volumes の次の機能を活用することで、お客様は昨今の最も要求の厳しいワークロードの可能性を最大限に引き出すことができます。

• ボリュームを 100 GiB から 100 TiB に増やし、スケーラビリティを最大限に高める機能

• NetApp の長年のお客様が使い慣れている管理インターフェースを提供しながら、ハイブリッド ワークロード向けの ONTAP データ管理を実装する機能

• Windows または Linux アプリケーションをリファクタリングせずに仮想マシンとして実行できる能力と柔軟性

詳細については、NetApp Volumes リリース発表時のブログ投稿か NetApp Volumes プロダクト ページをご覧ください。

適切なストレージ オプション

AI はデータ管理の自動化にとって欠かせないものになっています。こうしたワークロードに適応したいと考えているお客様のために、Google はトレーニング モデルのニーズに合わせたオプションを用意して、そのプロセスを可能な限りシームレスにしたいと考えています。適切なストレージ ソリューションを使用すれば、運用の簡素化、イノベーションの実現、費用の削減が可能になるほか、絶えず変化するワークロードとアプリケーションのニーズに合わせてビジネスを展開できるようになります。

Google Cloud コンソールにアクセスして、今すぐ Cloud Storage FUSE または NetApp Volumes の利用を開始しましょう。Parallelstore の利用を開始する際は、Google アカウント マネージャーにお問い合わせください。