IBM Spectrum Scale が Google Cloud で利用可能に
Google Cloud Japan Team
※この投稿は米国時間 2023 年 3 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。
Google Cloud と Sycomp は、Sycomp Storage Fueled by IBM Spectrum Scale をリリースします。このリリースは、HPC、AI / ML、ビッグデータのワークロードを実績あるファイル システムで実行して持続的なデプロイを実現し、Google Cloud Storage とのインテグレーションを通じて費用を最適化したいと考えているお客様に特に役立ちます。
Sycomp Storage Fueled by IBM Spectrum Scale は、クラウド向けにパフォーマンスを最適化します。数分でデプロイでき、自動階層化をサポートして費用を削減します。また、NFS およびネイティブの Spectrum Scale クライアント経由でのデータアクセスにより、何千もの VM から同時にデータへアクセスできます。このソリューションは、お客様のプロジェクト内でデプロイする VM ベースのサービスとして Google Cloud Marketplace で提供され、Sycomp によってサポートおよび保守されます。Sycomp Storage Fueled by IBM Spectrum Scale を使用すると、以下のことが可能になります。
自動階層化テクノロジーの活用: ストレージ階層を自動管理し、パフォーマンスと費用を最適化することで、成功に必要なスピードと信頼性を実現します。
数分でデプロイ: Google Cloud Marketplace から Spectrum Scale を数分でデプロイし、NFS およびネイティブの Spectrum Scale クライアントからシームレスにデータへアクセスします。
パフォーマンスの最大化: 最大 320 GB/秒というストレージ パフォーマンスにより、要件に最も適した VM とディスクの組み合わせを選択できます。
Spectrum Scale について
Spectrum Scale は、大量のデータを安全に管理する、業界で認められた並列ファイル システムです。この高パフォーマンスで機能豊富なファイル システムは、POSIX 準拠の共有ファイル システムを必要とする HPC、AI / ML、ビッグデータなどの用途に適しています。調整可能なストレージ容量とパフォーマンスのスケーリングにより、要求の厳しいワークロードにも対応できます。
Spectrum Scale のインスタンスは Terraform を使用してデプロイできます。Terraform は Sycomp が Marketplace を通じて提供しています。クラスタをデプロイする際、以下を選択します。
データへのアクセス方法。Spectrum がデプロイした Spectrum Scale クライアントを使用するか、既存のアプリケーション VM からデータにアクセスします。
ストレージの容量とタイプ。
NSD サーバー、NFS サーバー、Spectrum Scale クライアントのインスタンスのタイプと数量。
デプロイモデル
主な考慮事項
Spectrum Scale には、お客様のパフォーマンスと容量のニーズに合わせて複数のデプロイモデルが用意されています。インスタンス タイプとノード数を指定し、Google の Persistent Disk とローカル SSD のいずれかのオプションを選択できます。
ストレージのタイプ
Persistent Disk は密度が高く、データ保護にも優れています。標準、バランス、SSD の選択肢があり、容量またはパフォーマンスに基づいて料金を最適化できます。
ローカル SSD（LSSD）は、低いレイテンシと高い IOPS を提供し、パフォーマンスに基づいて料金を最適化します。LSSD を選択すると、Spectrum Scale は VM 間のデータ レプリケーションを利用して、VM の障害、移行、偶発的な削除による損失からデータを保護します。
プロトコル
次のオプションがあります。
プロトコルに準拠する NFS。集約型（NFS および NSD サーバーを同じ VM で稼働）または独立した NFS サーバー VM でデプロイします。
クライアントごとのスループットを高める NSD ネイティブ クライアント。
ハイブリッド デプロイ
Spectrum Scale では、Spectrum Scale Active File Management（AFM）を利用して、オンプレミスのシステムと Google Cloud を双方向のデータフローで連携させることができます。
AFM を使用すると、以下のような接続ができます。
Spectrum Scale の 2 つのクラスタを直接つなぐ。
Cloud Storage を介して、オンプレミスのクラスタと、Google Cloud にデプロイした Sycomp Storage の間でデータを共有する。
AFM では、オンプレミスのクラスタと Google Cloud ベースのクラスタ間でデータをシームレスに移動できます。AFM は、単一の Google Cloud プロジェクトにデプロイします。
主な機能
ファイル システムの暗号化
IBM Security Guardium Key Lifecycle Manager（GKLM）を実行している VM の HA ペアでデータの暗号化を有効にし、暗号鍵を管理および保護することで、デプロイを強化できます。Sycomp は、GKLM サーバー VM の HA ペアのデプロイを自動化するツールを提供しています。
Cloud Storage とのインテグレーション
クラスタをデプロイしたら、Spectrum Scale AFM をクラウド オブジェクト ストレージ（COS）に対して有効化し、アプリケーション データを Cloud Storage へ自動的に階層化したり、Cloud Storage の既存データから Sycomp Storage クラスタを動的にハイドレートしたりすることが可能となります。
クラスタの拡張
既存の Sycomp Storage クラスタには、ストレージ、NFS サーバー、Spectrum Scale クライアント VM を追加できます。ストレージ容量を追加するには、NSD サーバーを追加するか、既存の NSD サーバーにディスクを追加します。NSD サーバーをクラスタに追加すると、各新規サーバーは既存の NSD サーバーのディスク構成を継承するため、ストレージ ソリューションにはベスト プラクティスが実装されます。NSD サーバー間のバランスを維持するには、この方法でストレージを追加します。NFS サーバーを追加して容量を増やすこともできます。クライアントをグループ単位で追加することにより、クライアント グループごとに名前とマシンタイプをカスタマイズできるため、デプロイをより細かく管理できます。
クラスタは 1 PiB まで拡張されています。また、250 TiB まで線形スケーリングが可能であることがテストで実証されています。
詳細については、Sycomp のアーキテクチャの概要をご覧ください。
導入方法と詳細
導入方法と詳細については、以下をご覧ください。
この投稿に協力してくれたパートナー エンジニアの Billy Kettler とプロダクト マネージャーの Sean Derrington に感謝します。
- ストレージ プロダクト管理担当 Barak Epstein
- Sycomp、シニア HPC アーキテクト Scott Fadden 氏
