より高速でスケーラブルに: Filestore でハイ パフォーマンスに対応

※この投稿は米国時間 2020 年 6 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。

COVID-19（新型コロナウイルス感染症）に打ち勝とうと、世界中の名だたる科学者や研究者が治療薬やワクチンの開発に 24 時間体制で取り組んでいます。こうして皆が一丸となって 1 つの目標を達成しようとしている今、活用される技術もまた、そのタスクに見合うものでなくてはなりません。世界的なパンデミックにより計り知れないほどの課題が山積していますが、昨今の技術力が持つ可能性もまた計り知れません。分子スクリーニングのようなジョブを処理するには、極めて高い処理能力が求められると同時に、それを支えるハイ パフォーマンス、高スループットのストレージが必要になります。

Google Cloud は、COVID-19 の治療薬研究を含む数多くの業界でハイ パフォーマンス コンピューティング（HPC）を可能にするツールを提供できることを光栄に思います。強力なテクノロジーを利用すれば、世界中の人々を助けようと取り組む科学者や研究者は、技術的な障壁に悩まされることなく、これまで以上のスピードで研究を進めることができます。HPC の最も重要な機能の 1 つがファイル ストレージです。このたび、Google は Elastifile のスケールアウト ファイル ストレージ機能を含む Google のファイル ストレージ プロダクトが進化した次世代型 Filestore High Scale のベータ版の提供を開始します。

Google は 2019 年 8 月に Elastifile の買収を完了し、その技術を Filestore に統合した結果、スケーラビリティとパフォーマンスが向上し、ワークロードのクラウドへの移行が容易になりました。新たに Filestore High Scale ティアが追加されたことで、数十万の IOPS、数十 GB/秒のスループット、数百 TB にまでスケールアウトできる共有ファイル システムを簡単にデプロイできるようになりました。Filestore を使えば、従来型アプリケーションの移行、Kubernetes を使う既存のアプリケーションのモダナイゼーション、ビッグ コンピューティング ワークロードのパフォーマンス要件を満たすためのスケーリングといった課題にも対処できるようになります。

Filestore を本番環境で使用

ハーバード大学医学大学院付属 Wagner Lab のポスドク研究員である Christoph Gorgulla 氏は、Google Cloud のスケールアウト ファイル ストレージを使用して、自身の COVID-19 の治療薬開発プログラム、VirtualFlow 仮想スクリーニング プログラムを進めています。

同氏は次のように述べています。「仮想スクリーニングを使うと、標的たんぱく質に対して数十億の低分子を計算によりスクリーニングできるので、従来の実験方法を使うよりはるかに速く新しい処置法や治療法を発見できるようになります。私たちのような研究者には、複雑極まりないファイル システム クラスタの設定方法や管理方法を学んだり、ストレージ システムの状態を絶えずモニタリングしたりするのに費やす時間はほとんどありません。私たちが必要としていたのは、vCPU 数が数十万に上る膨大な数のクライアントが同時に生成する負荷を処理できるファイル システムでした。Filestore はその設定のほとんどが自動化されているので、処理能力をオンデマンドでスケールアップできるだけでなく、シンプルなグラフィカル インターフェースでワークフローの速度も動的にモニタリングできます。VirtualFlow により、薬剤や治療法の発見に必要な時間が大幅に削減され、COVID-19 をはじめとする疾患の治療法の開発期間が短縮されることが期待されています。」

最近発行された Christoph 氏の研究内容について詳しくは、Nature の記事をご覧ください。また、COVID-19 関連の学術研究に対する Google Cloud の支援については、こちらの最新のブログ記事をご覧ください。

Filestore は電子設計自動化（EDA）、動画処理、ゲノミクス、製造、財務モデリングなどのワークロードだけでなく、高いパフォーマンスと処理容量を必要とするユースケースのサポートにも適しています。Filestore High Scale は、数万のクライアントによる同時アクセス、最大 16 GB/秒のスループットと 480K IOPS までスケーラブルなパフォーマンス、需要に基づく処理容量のスケールアップとスケールダウンに対応しており、ワークロードはこれらのメリットを享受できます。

ファイル ストレージは HPC アプリケーションに欠かせないコンポーネントであり、Filestore High Scale はこうしたニーズに対応できるように作られています。これには、クラウドのスケールアウト ファイル ストレージのパフォーマンスの予測可能性や、需要に基づくファイル システムのスケールアップとスケールダウンなどがあります。必要なパフォーマンスに関連するコストを把握できれば、ソリューションを設計し、ワークロードの需要の変化に基づいて最適化することが極めて容易になります。

Filestore High Scale では、分散型スケールアウト ファイル システムの機能性とパフォーマンスを提供できるだけでなく、フルマネージド サービスとして他の Google Cloud プロダクトと同様の管理のしやすさを実感していただけます。Cloud Console で数回クリックするだけでインスタンスを起動できるほか、gcloud や API 呼び出しを使って管理を自動化できます。さらにこうしたファイル システムを Cloud Monitoring を使ってモニタリングしたり、HPC ワークロード管理スケジュール システムに統合したりできます。

また、高度なセキュリティ要件に対応したデプロイメントへのサポートを強化するため、今回のリリースでは NFS IP ベースのアクセス制御に対するベータ版のサポートをすべての Filestore ティアに追加しています。この新しい機能は、IP 範囲ごとのルート スカッシュ構成と読み取り専用の NFS エクスポート オプションが追加され、VPC 上のクライアントのアクセス制御が可能になっています。詳細については IP ベースのアクセス制御のドキュメントをご覧ください。  

Filestore High Scale では、専用のクライアント側プラグインをデプロイして維持しなくても、NFS を使って数万ものクライアントに直接マウントできる永続ストレージを提供しています。これにより、HPC ユーザーはワークロード用にプリエンプティブル VM インスタンスを使うことで、バッチ ワークロードの Compute インスタンス コストを最大で 80% 削減できます。個々のクライアントの VM が終了することがありますが、データは Filestore に保存されているので、すぐに新しい VM を起動して処理を続けることができます。

大容量の課題への対応を Filestore High Scale に任せることで、本来のビジネス活動の管理に専念することが可能です。使用を開始するには、Filestore のドキュメントをご覧いただくか、Google Cloud Console でインスタンスを作成してください。

- By プロダクト マネージャー Tad Hunt、Allon Cohen