画像で学ぶ: メディア企業がクラウドベースの NFS キャッシュを使用して高速かつ低コストでレンダリングする方法

※この投稿は米国時間 2023 年 5 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。

コンテンツ クリエイターとは、もともと個性的な存在です。したがって、コンテンツ制作会社が独特なニーズをもっても当然です。納期に遅れず予算内で仕事を仕上げるために必要なインフラストラクチャを構築するという点では、その独自性は特に顕著です。

Gunpowder は、広告代理店、視覚効果（VFX）スタジオ、メディア、個人アーティストといったあらゆる種類のクリエイターに協力し、オンプレミスおよびクラウドの両方で、アイデアを実現するためのコンピューティング、ストレージ、ネットワーキング容量の設定をサポートします。Google Cloud パートナーとして、当社は最近いくつかのクライアントとともに knfsd というオープンソースの NFS キャッシュ システムを使用し始めました。この knfsd は、クリエイティブ企業が直面する次の 2 つのハイレベルな課題の解決に役立つ可能性があります。

1. 余剰容量の活用: 長期的ソリューションとして、移行の一環として、あるいは短納期に応えるためのクラウド リソースのスケーリングなど、クリエイティブ企業はハイブリッド クラウド構成でオンプレミスのコンピューティングとストレージを補強できます。

2. 費用の抑制: メディア企業は、料金の安いクラウド上のエフェメラルなコンピューティング リソースを追求し、ストレージ支出を最小限に抑え、ネットワークの変更を低く抑えることで、ストレージとコンピューティングの両方の費用を節約できます。

この投稿では、当社が協力したいくつかのクリエイティブ企業の事例を紹介し、その背後にある仮想キャッシュ アプライアンスの仕組みと、仮想キャッシュ アプライアンスを自社のコンテンツ制作ワークフローに組み込むにはどうすればよいかについて説明します。

時間的制約をクラウドで乗り切った地球意識メディア アーティスト、Refik Anadol

今年初め、トルコの有名なメディア アーティストである Refik Anadol 氏は、世界経済フォーラム（通称「ダボス会議」）で作品を発表するよう依頼されました。Refik 氏は、およそ 1 億点のサンゴの画像を生データとして AI によって生成したアートをインスタレーションで展示し、気候変動にさらされるサンゴ礁の窮状を訴えるという構想を描きました。

クラウド ファーストの VFX スタジオ、House of Parliament における費用削減

昨年 1 年だけで、House of Parliament はスーパーボウルのコマーシャルを 9 本制作し、Taylor Swift の「Lavender Haze」のミュージック ビデオの視覚効果を全面的に担当するなど、数々のプロジェクトを手がけました。

House of Parliament は Google Cloud を 100% 利用していますが、使用するクラウドのリージョンはその日によって異なります。コンピューティングの需要は進行中のプロジェクトによって変動するため、Parliament は常に、最も安価なスポット料金でリソースを使用できるリージョンを追跡しています（Spot VM は通常のインスタンスより最大 91% 低料金です）。knfsd もこの費用の抑制に一役買っています。キャッシュ アプライアンスは us-west2（ロサンゼルス）にある knfsd のメイン ファイル システムの手前に設置され、日々の業務に使用する VM レンダーノードが接続されます。これにより、レンダリング ノードは House of Parliament のフル ストレージ アレイから離れたところにあっても問題なく機能します。実際にストレージをプロビジョニングする必要も、そこにデータをコピーする必要もありません（これらは追加の費用とワークフローの遅延の原因にもなります）。

キャッシュ ソリューションの概要 - ギークな情報

現在は、離れた場所にあるワーカーは、データを取得する際にオンプレミス データセンターまで戻るのではなく、まず必要なデータがクラウドベースの knfsd 仮想キャッシュ アプライアンスに存在するかどうかを確認します。これにより、レンダリング ワーカーからオンプレミス ファイル サーバーへの呼び出しの回数が劇的に減少し、VPN または Dedicated Interconnects の規模の縮小、スループットの向上、オンプレミス ファイル サーバーとの I/O の削減が可能になります。  

knfsd は、Linux の既存のカーネル モジュールである nfs-kernel-server（標準の Linux NFS サーバー）と cachefilesd（FS-Cache）を使用します。前者は NFS 再エクスポートをサポートし、後者はネットワーク ファイルシステムの永続的なディスク キャッシュを提供します。knfsd は、ソース NFS ファイラー（通常はオンプレミスに位置する）からの NFS エクスポートをマウントし、マウント ポイントをダウンストリームの NFS クライアント（通常は Google Cloud 上にある）に再エクスポートします。再エクスポートにより、このソリューションでは次の 2 層のキャッシュが提供されます。

• レベル 1: RAM に存在するオペレーティング システムの標準ブロック キャッシュ。

• レベル 2: FS-Cache。ネットワーク ファイルシステムからのデータをディスク上にローカルにキャッシュする Linux カーネル モジュール。

RAM（L1）にキャッシュ可能なデータ量を超えると、そのデータは FS-Cache によってディスク上にキャッシュされるため、結果的にテラバイト単位のデータをキャッシュできます。ローカル SSD を利用することにより、1 つのキャッシュ ノードで最大 9 TB のデータを瞬時に提供できます。

キャッシュ アプライアンスの利点

knfsd のような NFS のキャッシュを実装すると、あらゆる種類の利点が得られます。そのうち 6 つを見てみましょう。

1. ストレージの速度が飛躍的に向上する

上記のお客様事例で、ファイルへのアクセスを高速化するために NFS のキャッシュがどのように使用されているかを説明しました。

オンプレミスのファイラーとクラウドベースのキャッシュというパターンの場合（Refik Anadol 氏の例）、NFS のキャッシュを利用すると、パフォーマンスは 15 倍向上します。

House of Parliament のような、保守的にプロビジョニングされたファイラーとクラウドベースのキャッシュを使用したクラウドベースのユースケースの場合、NFS のキャッシュを利用すると、パフォーマンスは 150 倍向上します。

2. 定常ストレージのオーバー プロビジョニングを防ぐ

これまでコンテンツ クリエイターは、プロジェクトを遂行するためにどれだけのリソース（物理的なマシン）が必要かを綿密に計画し、コンピュートやストレージのニーズに合わせて資本的支出を行う必要がありました。たとえプロジェクトの開始時にリソースの量を適切に見積もっていたとしても、制作中のニーズは絶えず変化する可能性があります。リソース管理は、特に複数のプロジェクトのバランスを取ろうとしている場合は厄介です。

クラウドでは、このような変化する要件に合わせてコンピューティングを簡単にスケーリングできます。また、NFS のキャッシュを使用すると、ストレージのサイズとパフォーマンスも需要に応じて簡単にスケールすることができます。ストレージの増設や大規模なデータ移行は必要ありません。

3. コンピューティングの費用を節約する

NFS のキャッシュの導入でデータ スループットが向上するので、レンダリング時間が短縮し、全体的なジョブ費用が削減されます。さらに、ジョブをより低料金の Spot VM を利用可能なリモート データセンターに移動して、レイテンシを管理することもできます。これは、お客様の多くがレンダリング ジョブのチェックポインティングを統合し、Spot VM に適したフォールト トレラントのワークロードを確保していることで実現されます。 

4. ネットワーキングの費用を節約する

多くのワークロードが、さまざまなプロセスで同じファイルを繰り返し再使用します。データをクラウドに移行してクラウド上のデータに NFS のキャッシュから繰り返しアクセスすれば、VPN または Dedicated Interconnect を通じて転送されるデータの量が少なくなります。これにより、ネットワークのサイズを適正化し、より少ない接続をプロビジョニングすることができます。

5. アーティストの生産性を維持する

ストレージ システムが過負荷になると、アーティストは仕事ができません。IOPS とスループットをキャッシュにオフロードすれば、これらのシステムとその重要な利害関係者である従業員たちが思いどおりに仕事をし続けることができます。

6. 既存のパイプラインに適合する

knfsd は、ネイティブ NFS をフルに活用して、既存のワークフローとシームレスに統合します。レンダリング ノードの VM に別のソフトウェア ツールをインストールする必要はありません。読み取りについては、データセンター間でジョブを移動するときにパスやファイル名を修正する必要はありません。すべてのものに同じようにアクセスできます。新しいファイルを書き込むときは、すべてのデータが「信頼できる情報源」ファイルに直接書き戻されます。

今後の展望

多くのクリエイティブ企業が、未だにクラウドを、オンプレミスのコンピューティング リソースを補完する手段として物欲しげに見ています。しかし、彼らは、習得が難しい、エンジニアリング リソースの制約、広域ネットワークのレイテンシと帯域幅費用など懸念で、クラウドは手の届かないものと考えています。

Gunpowder Technology は、お客様が抱えるこうした技術面や人材面の障壁を取り除き、お客様がハイテクの問題を速やかに克服してクリエイティブ能力をフルに発揮することに集中できるよう支援しています。knfsd はオープンソースのリポジトリとして提供されているため、エンジニアリングの専門知識とリソースがあれば、独力でカスタム パイプラインに統合できます。

しかし、長年の経験をもつ当社に、難しい作業のサポートをお求めの場合は、info@gunpowder.tech までご連絡ください。お客様のためにソリューションをどのようにカスタマイズできるかをご説明します。

これらのユースケースに対し、皆様と協力して取り組めることを期待しています。このオープンソース NFS キャッシュ システムのデプロイと管理の方法の詳細は、こちらの単一ノードのチュートリアル、または GitHub でホストされている Terraform ベースのデプロイ スクリプトをご覧ください。ソリューションの概要説明やデモをご希望の場合は、営業チームまたは Gunpowder.tech までお問い合わせください。

- ソリューション アーキテクト Brennan Doyle
- Gunpowder Technologies、創業者 Tom Taylor 氏