ストレージとデータ転送

Parallelstore の一般提供が始まり、次世代の AI と HPC のワークロードを推進する

2024年10月17日

Barak Epstein

Product Manager

Chinmayee Rathi

Product Manager

※この投稿は米国時間 2024 年 10 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。

多くの組織は、人工知能（AI）とハイパフォーマンスコンピューティング（HPC）アプリケーションを使用して、膨大なデータセットを処理し、複雑なシミュレーションを実行しています。また何十億ものパラメータを持つ生成モデルをトレーニングして、LLM、ゲノム解析、定量分析、リアルタイムのスポーツ分析など多様なユースケースに対応しています。このようなワークロードは、ストレージシステムのパフォーマンスに大きな負荷をかけます。何千個ものクライアントが同じ共有ファイルを同時に読み書きする場合にも、レイテンシをミリ秒以下に抑えながら、スケーリング可能な高スループットと I/O パフォーマンスが求められるのです。

このような次世代 AI と HPC のワークロードを強化するために、Google Cloud Next 2024 にて Parallelstore を発表しました。そしてこのたび、Parallelstore の一般提供開始をお知らせすることになりました。Parallelstore は Distributed Asynchronous Object Storage（DAOS）アーキテクチャを構築基盤とし、完全な分散型メタデータと Key-Value アーキテクチャを組み合わせることで、高パフォーマンスのスループットと IOPS を実現します。

ここでは、Parallelstore がどのように AI と HPC の複雑なワークロードニーズに応えるのかをお伝えします。グッドプットと GPU / TPU 使用率の最大化、Parallelstore へのプログラムによるデータ出入力、Google Kubernetes Engine と Compute Engine のリソースのプロビジョニングについて、知識を深めましょう。

グッドプットと GPU / TPU 使用率を最大化する

従来の並列ファイルシステムのパフォーマンス上の限界を打破するために、Parallelstore では分散型のメタデータ管理システムと Key-Value ストアアーキテクチャを採用しています。Parallelstore の高スループット並列データアクセスは、レイテンシと I/O ボトルネックを最小限に抑え、各コンピューティングクライアントのネットワーク帯域幅を飽和状態にします。効率的にデータを配信することで、GPU / TPU へのグッドプット（AI ワークロードのコスト最適化に欠かせない要素）を最大化できるのです。Parallelstore は、数千もの VM、GPU / TPU に継続的な読み取り / 書き込みアクセスを提供し、規模の小さなものから大規模なものまで、AI と HPC のさまざまなワークロード要件を満たします。

100 TiB のデプロイ（Parallelstore の最大デプロイ量）であれば、スループットは 115 GiB/秒まで、読み取り IOPS は 300 万回まで、書き込み IOPS は 100 万回までのスケーリングが可能で、レイテンシは 0.3 ミリ秒まで下げられます。つまり Parallelstore は、小規模ファイルにも、大量のクライアントからのランダムな分散アクセスにも適したプラットフォームであるということです。AI ユースケースの場合、小規模ファイルとメタデータオペレーションを使用した Parallelstore のパフォーマンスにより、ネイティブな ML フレームワークのデータローダと比較してトレーニング時間が最大 3.9 倍高速化し、トレーニングスループットが最大 3.7 倍向上します（Google Cloud ベンチマークによる測定）。

プログラムで Parallelstore へのデータ出入力を行う

多くの AI と HPC のワークロードで使用するデータは、準備とアーカイブのために Cloud Storage に保存されています。データを Parallelstore にインポートして処理するには、Parallelstore のインポート / エクスポート統合 API をご利用ください。データの移動を自動化できます。この API を使用すると、32 MB を超えるファイルは 20 GB/秒、32 MB 以下のファイルは 5,000 ファイル/秒の速さで、Cloud Storage の大規模なデータセットを Parallelstore に取り込むことができます。

読み込んでいます...

図 1: Parallelstore Import gCloud API

AI トレーニングジョブまたは HPC ワークロードが完了すると、結果をプログラムで Cloud Storage にエクスポートして、評価を進めたり長期保存したりすることができます。API 経由でデータ移転を自動化し、手動の介入を最小限に抑えてデータパイプラインを能率化することも可能です。

読み込んでいます...

図 2: Parallelstore Export gCloud API

CSI ドライバを使用して GKE リソースをプログラムでプロビジョニングする

Parallelstore の GKE CSI ドライバを使用すると、コンテナ化されたワークロード用の高性能ストレージを効率的に管理しやすくなります。Parallelstore ファイルシステムを永続ボリュームとして動的にプロビジョニングおよび管理できるほか、Kubernetes ワークロードにある既存の Parallelstore インスタンスにアクセスできます。これらの操作は、使い慣れた Kubernetes API を使用して GKE クラスタ内で直接実行します。これにより、別のストレージシステムを習得して管理する必要性が低減し、リソースの最適化と TCO の削減に注力できます。

読み込んでいます...

図 3: Parallelstore CSI ドライバによるストレージクラスの作成例

今後数か月で、フルマネージドの GKE Volume Populator を介して Cloud Storage からデータをプリロードできるようになります。これにより、PersistentVolumeClaim プロビジョニングのプロセス中、Cloud Storage から Parallelstore への直接的なデータのプリロードが自動で行われるようになります。これによりトレーニングデータの即時利用が可能になり、コンピューティングリソースがアイドル状態となる時間を最小限に抑えるとともに、GPU / TPU の使用率を最大まで高めることができます。

Cluster Toolkit を使用して Compute Engine リソースをプログラムでプロビジョニングする

Cluster Toolkit のサポートがあれば、Compute Engine 用の Parallelstore インスタンスをデプロイするのは簡単です。Cluster Toolkit（以前の Cloud HPC Toolkit）は、HPC と AI のワークロードをデプロイするためのオープンソースソフトウェアです。Cluster Toolkit は、ベストプラクティスに従ってクラスタ / ワークロード用のコンピューティング、ネットワーク、ストレージのリソースをプロビジョニングします。ブループリントを 4 行だけ変更して Parallelstore モジュールを組み込めば、今日から Cluster Toolkit をご利用いただけます。便利なスターターブループリントも用意しています。Cluster Toolkit に加えて、Terraform テンプレートもご利用ください。これは、Parallelstore をデプロイしてコードによるオペレーションとプロビジョニングをサポートするほか、手動によるオペレーションのオーバーヘッドを最小限に抑えます。

読み込んでいます...

resource "google_parallelstore_instance" "instance" { 
instance_id = "instance" 
location = "us-central1-a" 
description = "test instance" 
capacity_gib = 12000 
network = google_compute_network.network.name 
file_stripe_level = "FILE_STRIPE_LEVEL_MIN" 
directory_stripe_level = "DIRECTORY_STRIPE_LEVEL_MIN" 
labels = { 
test = "value" 
} 
provider = google-beta 
depends_on = [google_service_networking_connection.default] 
}

resource "google_compute_network" "network" { 
name = "network" 
auto_create_subnetworks = true 
mtu = 8896 
provider = google-beta 
}

# Create an IP address 
resource "google_compute_global_address" "private_ip_alloc" { 
name = "address" 
purpose = "VPC_PEERING" 
address_type = "INTERNAL" 
prefix_length = 24 
network = google_compute_network.network.id 
provider = google-beta 
}

# Create a private connection 
resource "google_service_networking_connection" "default" { 
network = google_compute_network.network.id 
service = "servicenetworking.googleapis.com"
reserved_peering_ranges = [google_compute_global_address.private_ip_alloc.name] 
provider = google-beta 
}

図 4: Terraform を使用して Parallelstore を構成し、管理する

現実世界への影響: Respo.vision は Parallelstore で新たな可能性を開拓する

スポーツ映像分析を牽引する Respo.Vision は、リアルタイムシステムに Parallelstore を活用し、4K 動画から 8K 動画へのアップグレードを促進しています。Parallelstore をトランスポート層として使用することで、細かいデータマーカーをキャプチャして、それにラベルを付け、コーチ、スカウト、ファンに実用的な分析情報を提供するのに役立ちます。Respo.vision は、Parallelstore を活用してコンピューティングのレイテンシを低く抑えながら、高額なインフラに投資することなく、急増する高パフォーマンス動画を処理できました。

「当社の目標は、8K 動画ストリームを 25 フレーム/秒で処理し、お客様に高品質なスポーツ分析データを提供することでした。Parallelstore は必要量を難なく処理し、0.3 ミリ秒という見事な読み取りレイテンシを実現することで、期待以上の成果を上げてくれました。当社システムへの統合も非常にスムーズで、Parallelstore の分散性によりシステムのスケーラビリティと復元力が大幅に向上しています。」 - Respo.vision、CTO、Wojtek Rosinski 氏

HPC と AI の利用は急速に拡大しています。革新的なアーキテクチャやパフォーマンスを組み合わせ、Cloud Storage、GKE、Compute Engine と統合した Parallelstore は、困難な GPU / TPU とワークロードの対応に欠かせないストレージソリューションです。Parallelstore の詳細についてはドキュメントをご確認いただき、セールスチームにお問い合わせください。