コンテンツに移動
ストレージとデータ転送

NetApp Cloud Volumes ONTAP の Flash Cache により、Google Cloud でクラウドの EDA ワークフローが向上

2024年1月9日
Google Cloud Japan Team

※この投稿は米国時間 2023 年 12 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。

ストレージ システムは、技術ソリューション開発の基盤となるリソースであり、長期にわたるアプリケーション実行と情報保持のために欠かせません。

Google Cloud と NetApp は、クラウド データサービス市場でパートナー関係にあります。また、お客様のクラウドデータの移行、モダナイズ、管理に役立つ EDA ワークロードのバーストやアニメーション制作パイプラインなど、多くの革新的なソリューションに共同で取り組んできました。Google Cloud ストレージ サービスには、従来のオンプレミス ストレージ ソリューションに比べて、メンテナンス、スケーラビリティ、信頼性、費用対効果などのさまざまなメリットがあります。

このブログ記事では、NetApp Cloud Volumes ONTAP(NetApp CVO)の機能の一部を詳しく見ていきます。この機能は、Google Cloud インフラストラクチャを利用してアプリケーションのパフォーマンス上の課題に対処しつつ、クラウド コンピューティングのファイル ストレージに最適なソリューションを提供します。

インスタンスの構成タイプ

Google Cloud には、さまざまなコンピューティング インスタンスの構成タイプが用意されており、それぞれが各種ワークロードに合わせて最適化されています。インスタンス タイプは、仮想 CPU(vCPU)の数、ディスクタイプ、メモリサイズによって異なります。さまざまな構成はインスタンスの IOPS と BW の制限を示しています。

NetApp CVO は顧客管理のソフトウェア定義ストレージ サービスで、Google Cloud のファイルおよびブロック ワークロードに高度なデータ マネジメントを提供します。

NetApp は最近、CVO シングルノードおよび高可用性(HA)のデプロイに対応するために、n2-standard-48n2-standard-64 という 2 つの VM タイプをさらに導入しました。

NetApp CVO のデプロイに適切な Google Cloud VM 構成を選択すると、さまざまな方法でアプリケーションのパフォーマンスに影響を与えられます。次に例を示します。

  • vCPU コアの数が多い VM を使用すると、タスクの同時実行が可能になり、特定の種類のアプリケーションに関するパフォーマンスがシステム全体で向上します。
  • ファイル数が多く、ディレクトリ構造が深いワークロードでは、大量のシステム RAM を構成した CVO VM を使用すると、一度に大量データの保存と処理ができます。
  • CVO VM のディスク ストレージのタイプは、I/O パフォーマンスに影響を与えます。適切なタイプ(バランス PD と SSD PD など)を選択すると、ディスク パフォーマンスの上限が決まります。永続ディスクのパフォーマンスは、ディスクのサイズと VM インスタンスの vCPU 数に合わせてスケールされます。適切なインスタンス構成を選択すると、VM インスタンスに関するパフォーマンスの上限が決まります。
  • CVO VM のネットワーク帯域幅により、クラウドにある他のリソースとの通信速度が決まります。Google Cloud では VM ごとの帯域幅が考慮され、VM のマシンタイプによって最大下り(外向き)レートが決まります。

NetApp Flash Cache の紹介

NetApp は CVO 用の Flash Cache も導入しました。Flash Cache は、よく使用されるデータへのアクセスのレイテンシを低減し、ランダム読み取り中心のワークロードのパフォーマンスを向上させます。また、高パフォーマンスのローカル SSD を使用して、頻繁にアクセスされるデータをキャッシュに保存し、CVO VM が使用する永続ディスクを強化します。

Flash Cache は、最近読み取ったユーザーデータと NetApp メタデータをリアルタイムでインテリジェントにキャッシュに保存して、データアクセスを高速化します。ローカル SSD のキャッシュに保存されたデータをユーザーがリクエストすると、そのデータは NVMe ストレージから直接提供されるため、永続ディスクからデータを読み取るよりも高速になります。

https://storage.googleapis.com/gweb-cloudblog-publish/images/1_EDA_workloads.max-1200x1200.png

図 1: NetApp Cloud Volumes ONTAP の Flash Cache アーキテクチャ

ストレージの効率化

NetApp は最近、温度に敏感なストレージ効率化機能(デフォルトで有効)を導入しました。これにより、CVO で圧縮やデータ圧縮などのインライン ブロック レベルの機能を実行できます。

  • インライン圧縮。データブロックを圧縮して、必要な物理ストレージの量を削減します。
  • インライン データ圧縮。小さな I/O オペレーションとファイルを各物理ブロックにまとめます。

インライン ストレージの効率化により、ディスクに書き込む必要のあるデータの量が減少するため Google Cloud インフラストラクチャのパフォーマンス制限による影響が緩和され、CVO がより多くのアプリケーション IOPS とスループットを処理できるようになります。

パフォーマンスの比較

以前、2022 年のブログ記事でNetApp CVO FlexCache を使用した Google Cloud への EDA ワークロードのバーストについてご紹介しました。前回に引き続き、合成 EDA ワークロードのベンチマーク スイートを使用して同じテストを再実行しようと考えましたが、今回は高速書き込みと Flash Cache を有効にしました。このベンチマークは、実際のアプリケーションの動作と、データ処理のファイル システム環境をシミュレートするために開発されたものです。各ワークロードがこのベンチマークを上回るには、一連の合否基準をクリアする必要があります。

以下の結果は、CVO-HA アクティブ / アクティブ構成を使用した上位の有効 / 正常な実行のパフォーマンスを示しています。一目瞭然ですが、高速書き込みモードと Flash Cache を組み合わせると、パフォーマンスが 3 倍近く向上します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/2_EDA_workloads.max-1200x1200.png

図 2: NetApp CVO のパフォーマンス テスト

また、新しい NetApp CVO 機能のパフォーマンス上の潜在的なメリットを示すために、NetApp チームと協力して合成負荷ツールを使用し、広くデプロイされているアプリケーション ワークロードをシミュレートして、独自の I/O の組み合わせとアクセス パターンを読み込んださまざまな CVO 構成を比較しました。

次のグラフは、デフォルトの n2-standard-32、高速書き込みと Flash Cache が有効な n2-standard-32 および n2-standard-64 を対象に、CVO HA(アクティブ / アクティブ)デプロイのパフォーマンスを比較したものです。NetApp CVO の高速書き込みは、データをメモリにバッファリングしてから永続ディスクに書き込むことで、書き込みパフォーマンスを向上させる機能です。アプリケーションが書き込みの確認応答を受信してからデータがストレージに保存されるため、優れたオプションと言えます。ただし、アプリケーションがデータ損失を許容できることを確認し、アプリケーション レベルで書き込み保護を確保する必要があります。

https://storage.googleapis.com/gweb-cloudblog-publish/images/3_EDA_workloads.max-1800x1800.png

図 3: さまざまなワークロードに対する NetApp CVO のパフォーマンス テストの比較

圧縮率が高く(50% 以上)、Flash Cache のヒット率が適度(25~30%)だと仮定すると、次のことがわかります。

  • ランダム読み取り中心のワークロードを実行する場合、強固なインスタンスと Flash Cache を使用すると、デプロイのパフォーマンスが向上します。そのため、メモリを増設し、インフラストラクチャ パフォーマンスの上限を引き上げることでメリットがあります。HPC およびバッチ アプリケーションは Flash Cache の恩恵を受けられます。キャッシュ ヒット率が高くなると、システム全体のパフォーマンスが向上し、Flash Cache を使用しないデフォルトのデプロイに比べて、パフォーマンスが 3~4 倍にもなる可能性があります。
  • 書き込み中心のワークロードは高速書き込みによる恩恵があり、一般的にバックアップとアーカイブ、画像およびメディア アプリケーション(シーケンシャル アクセスの場合)、データベース(よりランダムな書き込みの場合)によって生成されます。
  • トランザクション ワークロードは通常、SAP、Oracle、SQL Server、MySQL などのトランザクション データベース アプリケーションを通じて、複数のユーザーによる大量データの読み取りおよび書き込みが同時に発生することが特徴です。この種のワークロードは、より強固なインスタンスに移行し、Flash Cache を使用することでメリットが得られます。
  • ワークロードが混在していると、ランダム性が高くなり、一般的に高スループットと低レイテンシが必要になります。特定のシナリオでは、強固なインスタンスと Flash Cache で実行するとメリットがあります。たとえば、仮想デスクトップ インフラストラクチャ(VDI)環境では通常、ワークロードが混在しています。

次のステップ

Google Cloud と NetApp CVO によるソリューションをぜひお試しください。また、Cloud Volumes ONTAP for Google Cloud の詳細と開始方法については、こちらをご覧ください。


Google Cloud の Sean Derrington、NetApp の Chad Morgenstern 氏、Jim Holl 氏、Michele Pardini 氏にご協力いただきましたことを感謝します。

ー Google Cloud、プリンシパル アーキテクト Alec Shnapir

ー Google Cloud、プリンシパル アーキテクト Guy Rinkevich

投稿先