Compute Engine 上のファイル ストレージ

ファイル ストレージは、ネットワーク接続ストレージ(NAS)とも呼ばれ、複数のマシン間で共有できる情報を読み取り、更新するためのファイルレベルのアクセスをアプリケーションに提供します。一部のオンプレミス ファイル ストレージ ソリューションにはスケールアップ アーキテクチャがあるので、ストレージを一定量のコンピューティング リソースに追加するだけです。他のファイル ストレージ ソリューションには、必要に応じて既存のファイル システムに容量とコンピューティング(パフォーマンス)を段階的に追加できるスケールアウト アーキテクチャがあります。どちらのストレージ アーキテクチャでも、1 つまたは複数の仮想マシン(VM)でストレージにアクセスできます。

一部のファイル システムではネイティブ POSIX クライアントを使用しますが、多くのストレージ システムでは、クライアント マシンがファイル システムをマウントして、ローカルでホストされているかのようにファイルにアクセスできるようにするプロトコルを使用します。ファイル共有をエクスポートする際に最も一般的なプロトコルは、Linux の場合(場合によっては Windows も)は Network File System(NFS)、Windows の場合は Server Message Block(SMB)になります。

このソリューションでは、ファイル共有の次のオプションについて説明します。

Compute Engine 永続ディスクとローカル SSD

マネージド ファイル ストレージ ソリューション:

Cloud Marketplace でサポートされているファイラー ソリューション

すべての Google Cloud サービスのパフォーマンスと予測可能性の基盤となる 1 つの要素はネットワーク スタックであり、Google は長年にわたってこれを進化させてきました。Google は Jupiter ファブリックを使用して、お客様のワークロードに影響を与えることなく進化し続ける堅牢かつスケーラブルで安定したネットワーキング スタックを構築しました。Google は社内のネットワーク能力の向上と強化に努めており、それによるパフォーマンス向上は、お客様のファイル共有ソリューションにメリットをもたらします。Jupiter ファブリックの詳細については、その進化について説明している 2015 年の論文をご覧ください。

投資対効果を最大限に高める Google Cloud の特長の 1 つは、カスタム VM タイプを指定できることです。ファイラーのサイズを選択する際、メモリと CPU の適切な組み合わせを選択して、サブスクリプションの超過なしにファイラーを最適なパフォーマンスで動作させることができます。

また、ファイル サーバーのストレージ デバイスに、必要なストレージ帯域幅と IOP、さらにはネットワーク帯域幅が確実に提供されるように、適切な Compute Engine 永続ディスクの容量と vCPU の数を選択することが重要です。VM に対して、vCPU ごとに 2 Gbps のネットワーク スループット(最大値)が提供されます。永続ディスクの調整については、永続ディスクとローカル SSD のパフォーマンスの最適化をご覧ください。

Cloud Storage は、ペタバイト規模のデータを高レベルの冗長性と低コストで保管するのに適しています。ただし、Cloud Storage のパフォーマンス プロファイルと API は、ここで説明するファイル サーバーのものとは異なります。

ファイル サーバー オプションの概要

次の表は、永続ディスクの機能とファイラーのオプションをまとめたものです。

ファイラー ソリューション 最適なデータセット スループット マネージド サポート プロトコルのエクスポート
Filestore 1 TB~64 TB 最大 1.2 GB/秒 Google によるフルマネージド サービス NFSv3
Filestore High Scale 数十 TB~320 TB 最大 16 GB/秒 Google によるフルマネージド サービス NFSv3
NetApp Cloud Volumes 1 TB~100 TB 最大 4.5 GB/秒 Google と NetApp によるフルマネージド サービス NFSv3、NFSv4、SMB2、SMB3
Dell PowerScale 108 TiB~50 PiB TiB あたり最大 97 MB/秒 Google と Dell Technologies によるフルマネージド サービス NFSv3、NFSv4、SMB1、SMB2、SMB3、HDFS(リクエスト時)
Panzura 数十 TB~1 PB 未満 ~数 GB/秒 Panzura NFSv3、NFSv4、SMB1、SMB2、SMB3
Nasuni 数十 TB~1 PB 未満 最大 1.2 GB/秒 Nasuni と顧客管理 NFSv3、NFSv4、NFSv4.1、NFSv4.2、SMB2、SMB3
読み取り専用 PD 64 TB 未満 240~1,200 MB/秒 × 直接接続

Compute Engine 永続ディスクとローカル SSD

所有するデータが単一の VM からのアクセスで十分な規模の場合、または時間が経過してもデータが変化しない場合は、Compute Engine の永続ディスクを使用し、ファイル サーバーを一切使用しないという選択肢もあります。永続ディスクを使用する場合、Ext4 や XFS などのファイル システムでディスクをフォーマットし、読み書きモードまたは読み取り専用モードでボリュームを接続できます。つまり、最初にボリュームをインスタンスに接続して必要なデータとともに読み込んでから、そのボリュームを読み取り専用ディスクとして数百もの VM に同時に接続できます。読み取り専用の永続ディスクの使用は、すべてのユースケースに有効であるとは限りませんが、ファイル サーバーを使用した場合に比べて、複雑性が大幅に軽減されます。

永続ディスクは安定したパフォーマンスを届けます。インスタンスに接続した同じサイズのすべてのディスク(SSD 永続ディスクの場合は同じ数の vCPU)は、同じパフォーマンス特性を持ちます。本番環境で使用する前に永続ディスクをプリウォームまたはテストする必要はありません。

ボリュームのプロビジョニング後に考慮すべき I/O コストが存在しないため、永続ディスクのコストを見積もるのは簡単です。また、永続ディスクは臨機応変にサイズを変更できるので、低コストかつ低容量で利用を開始できます。容量を増やすために追加のインスタンスやディスクを起動する必要はありません。

ストレージ容量の合計が主な要件となる場合は、低コストの標準永続ディスクを使用できます。耐久性を保ちつつ最高のパフォーマンスを実現するには、SSD 永続ディスクを使用します。

データが一時的で、1 ミリ秒未満のレイテンシと高い IOPS(1 秒あたりの入出力オペレーション数)が要求される場合は、最大 9 TB のローカル SSD を利用して優れたパフォーマンスを実現できます。ローカル SSD では、インスタンスの割り当て済みネットワーク帯域幅を使い切ることなく、GB/秒の帯域幅と数百万の IOPS が提供されます。ただし、ローカル SSD を使用すると、可用性、耐久性、柔軟性に関してある程度のトレードオフがあります。

Compute Engine インスタンスに使用できるさまざまなディスクタイプの比較については、ブロック ストレージのドキュメントをご覧ください。

ファイル ストレージ ソリューションを選択する際の考慮事項

ファイル ストレージ ソリューションの選択では、管理機能、費用、パフォーマンス、スケーラビリティに関するトレードオフを見極める必要があります。明確に定義されたワークロードがあれば判断は簡単ですが、そのようなケースはまれです。ワークロードが時間とともに増加する場合や激しく変動する場合は、コストの節約より柔軟性と弾力性を優先して、拡張可能なソリューションを採用するほうが賢明です。一方、一時的でよくわかっているワークロードの場合は、目的に特化したファイル ストレージ アーキテクチャを作成できます。作成したアーキテクチャは、簡単に破棄して再構築し、瞬時にストレージのニーズを満たすことができます。

最初に決定すべき事項の 1 つは、マネージド ストレージ サービスに費用をかけるかどうか、プロダクト サポートを含むソリューションにするかサポートを含まないソリューションにするかです。

  • マネージド ファイル ストレージ サービスは、Google またはパートナーがすべてのオペレーションを行っているため、運用が最も簡単です。これらのサービスでは、他の大半の Google Cloud サービスと同様に、可用性を保証する SLA が提供されることもあります。
  • 非マネージドでサポートされているソリューションは、柔軟性が高くなります。ストレージ ソリューションの日常的な運用はユーザーの責任になりますが、問題が発生したときはパートナーに解決を依頼できます。
  • サポートされていないソリューションでは、すべての問題の解決がユーザーに任されるため、デプロイと保守に多大な労力がかかります。これらのソリューションについては、このドキュメントでは説明しません。

次に、ソリューションの耐久性と可用性の要件を決定します。ほとんどのファイル ソリューションはゾーン ソリューションであり、デフォルトではゾーンに障害が発生した場合の保護は行われません。そのため、ゾーン障害から保護する障害復旧(DR)ソリューションが必要かどうかを検討することが重要です。また、アプリケーションの耐久性と可用性に関する要件を把握することも重要です。たとえば、デプロイにおけるローカル SSD または永続ディスクの選択は、ファイル ソリューション ソフトウェアの構成と同様に、大きく影響します。高い耐久性と可用性を達成し、ゾーンまたはリージョンの障害に対する保護も行うには、どのソリューションでも慎重な計画が必要になります。

最後に、データにアクセスする必要がある場所(ゾーン、リージョン、オンプレミス データセンター)について検討します。オンプレミスからのアクセスとクラウド内からのアクセスを混在させることのできるソリューションは限られているため、データにアクセスするコンピューティング ファームの場所によってファイラー ソリューションの選択も影響を受けます。

マネージド ファイル ストレージ ソリューション

Filestore

Filestore は、Google のフルマネージド NAS ソリューションです。

Filestore のファイル共有は、Compute Engine VM に簡単にマウントできます。Filestore は Google Kubernetes Engine とも緊密に統合されているため、複数のコンテナから同じ共有データを参照できます。

Filestore には、スタンダード階層とプレミアム階層の 2 つのパフォーマンス階層が用意されています。どちらの階層でも、安定したパフォーマンスが提供され、費用が予測可能です。

詳細については、次のリンクをご覧ください。

Filestore High Scale

Filestore High Scale は、Google Cloud やハイブリッド クラウドでのエンタープライズ ストレージとデータ管理を簡素化します。Filestore High Scale は、動的にスケーラブルな分散ファイル システムを利用する厳格な整合性を維持しながら、グローバル データに対して、費用効率に優れた高パフォーマンスの並列アクセスを提供します。High Scale の場合、リファクタリングを必要とすることなく既存の NFS アプリケーションと NAS ワークフローをクラウドで実行でき、エンタープライズ データサービスのメリット(高可用性、圧縮、重複排除など)もそのまま維持されます。Google Kubernetes Engine とのクラウドベースでの統合により、コンテナ化されたワークロードのシームレスなデータの永続性、ポータビリティ、共有が可能になります。

High Scale は、ボタンを押すだけでデプロイでき、スケーラブルになります。ファイル システムのインフラストラクチャはオンデマンドで簡単に作成やスケーリングができるため、ストレージのパフォーマンスと容量は、動的なワークフロー要件に応じて常時調整できます。High Scale のクラスタが拡張すると、それに比例してメタデータと I/O パフォーマンスがスケーリングされます。こうしてスケーリングされることで、ハイパフォーマンス コンピューティング、分析、クロスサイトのデータ集約、DevOps など、幅広い種類のデータ集約型ワークフローの拡張と迅速化が可能になります。そのため、High Scale は、ライフ サイエンス(ゲノム配列など)、金融サービス、メディア、エンターテイメントといったデータ中心型の業界で使用するのに最適です。

NetApp Cloud Volumes

Google Cloud 向け NetApp Cloud Volumes Service は、Google Cloud Console に統合されているフルマネージド クラウドベースのストレージ サービスで、Google からの請求とサポートがシームレスに行われます。

このサービスを使用すると、永続的な共有ストレージを速やかにコンピューティング インスタンスにマウントできます。このストレージは、アプリケーションに低いレイテンシで高いスループットを提供するだけでなく、堅牢なデータ保護機能(スナップショットとコピー)も備えています。エンタープライズ クラスのアーキテクチャを持つこのサービスは、シーケンシャルなワークロードとランダムなワークロードの両方で高いパフォーマンスを実現します。さらに、数百数千の Compute Engine コンピューティング インスタンスのスケーリングが可能です。1 TB から 100 TB の範囲のボリュームを数秒でプロビジョニングし、スペース効率の良い自動スナップショットで保護できます。作成したボリュームをコンピューティング インスタンスにマウントするコマンドを Cloud Console で利用できるので、ユーザー エクスペリエンスがさらに向上します。

NetApp Cloud Volumes Service のアーキテクチャ。

Cloud Volumes は、電子設計自動化(EDA)、メディアとエンターテインメントなど、多くの業界で使用されているウェブ コンテンツとリッチメディア コンテンツを含む幅広いファイルベースのワークロードに必要な POSIX コンプライアンス共有を提供するため、アプリケーションを書き換える必要がありません。

Google Cloud 向けの Cloud Volumes Service には、オンデマンドで変更できる 3 つのサービスレベル(スタンダード、プレミアム、エクストリーム)があるため、ワークロードの可用性に影響を及ぼすことなく、ワークロードに適したパフォーマンスを実現できます。NetApp は、オンプレミスと Google Cloud 向け Cloud Volumes Service の間でデータを同期するのにも役立ちます。

詳細については、次のリンクをご覧ください。

Dell Technologies Cloud PowerScale for Google Cloud

Dell Technologies Cloud PowerScale for Google Cloud は、Dell EMC PowerScale ファミリーを基盤とする Google Cloud ユーザー向けの統合クラウドネイティブ ファイル サービスであり、PowerScale ノードと Isilon ノードを含む、業界最高レベルの NAS ストレージです。これは、Dell Technologies Services が管理する、PowerScale OneFS のパフォーマンスと容量、Google Cloud の柔軟性および経済性を合わせたターンキー サービスです。

PowerScale for Google Cloud は、年単位サブスクリプションと保証された予測可能な料金によるシンプルで使いやすいサービスです。お客様は Cloud Marketplace から注文し、プロビジョニングされると、Google Cloud Console から OneFS クラスタを直接構成して管理できます。Google からの請求は毎月 1 回で、Google がサポートを提供する一方、Dell Technologies のエキスパートが環境の完全なライフサイクルを提供します。

PowerScale for Google Cloud を使用すれば、Google Cloud のオンデマンド コンピューティング サービスと分析サービスにわずかミリ秒未満のレイテンシでアクセスしながら、PowerScale の価値を維持したままで、アプリケーションに変更を加えることなく、組織は専用のセキュアなPowerScale インスタンスをデプロイできます。PowerScale for Google Cloud は、マルチプロトコル アクセス、ネイティブ レプリケーション、スナップショットなど、他のエンタープライズ クラスの機能とともに、単一の名前空間で最大 50 PB のマルチプロトコル アクセスとスケールアウトを提供します。エンタープライズ レベルの稼働時間とパフォーマンスの SLA に支えられているお客様は、データセンター、設備、ユーザー、ハードウェア、エンジニアリング、統合に追加の投資をすることなく、既存のファイル ストレージ機能を拡張し、新しいファイル ストレージ機能を追加できます。

Google Cloud は、高スループットのファイルベースのワークロードに、オンデマンドかつ費用対効果の高い処理と分析のための幅広いコンピューティングと分析サービスを提供します。PowerScale for Google Cloud を組み合わせることで、企業は、ビッグデータ分析、人工知能、機械学習から、ゲノム配列、メディア、エンターテイメントまで、最も要求の厳しいファイルベースのワークロードをクラウド上で実行できるため、柔軟なクラウドの使用モデルとクラウド経済のメリットを活用できます。

Dell Technologies Cloud PowerScale for Google Cloud のアーキテクチャ。

詳細については、次のリンクをご覧ください。

Cloud Marketplace でサポートされているファイラー ソリューション

Cloud Marketplace では次のソリューションを使用できます。

Panzura

Panzura は、クラウドにおける非構造化データの管理という分野で業界を牽引しています。メディアやエンターテインメント、ゲノミクス、ライフ サイエンス、ヘルスケア、金融サービスなどの企業が Panzura Freedom NAS を選択し、パフォーマンスを犠牲にしたりアプリケーションを書き換えたりせずに、データ アイランドを Google Cloud の単一ソースに統合しています。非構造化データ(NFS、SMB、Object)を Google Cloud に統合することで、すべてのデータへのアクセス、それらのデータの共同編集、分析、コンプライアンスのための管理が可能になります。

Freedom ファミリーを支える Panzura CloudFS は、クラウド向けに構築されたスケールアウト方式の分散ファイル システムです。26 件の特許に裏打ちされたインテリジェント ファイル サービスが組み込まれています。Freedom プロダクト ファミリーを使用すると、クラウド移行、グローバル コラボレーション、検索と分析といったユースケースに費用効率よく対処できるようになります。

Panzura Freedom と Google Cloud をセットで活用することにより、IT リーダーは以下のことを行えます。

  • 書き換えたり、ワークフローを変更したり、パフォーマンスを犠牲にすることなく、従来の何千ものアプリケーションを Google Cloud に移行する。
  • データを単一ソースに統合することで、バックアップやセカンダリ ストレージにおけるコピーデータのスプロールを排除する。
  • 大規模プロジェクトにおけるグローバルなコラボレーションによって生産性を向上し、市場投入までの時間を短縮する。
  • コストを 70% 削減し、データセンターにおけるファイル インフラストラクチャを 90% 削減しながら、従来の NAS をモダナイズする。
  • 高度な分析と機械学習のためのレガシー テープ データのリハイドレートを行う。

詳細:

Nasuni Cloud File Storage

Nasuni は、エンタープライズ ファイル サーバーと NAS デバイスと、関連するすべてのインフラストラクチャ(バックアップ ハードウェアと DR ハードウェアを含む)を、よりシンプルで低費用なクラウドの代替に置き換えます。Nasuni は Google Cloud のオブジェクト ストレージを使用して、より効率的な Software as a Service(SaaS)ストレージ ソリューションを提供します。このソリューションは、高速で構造化されていないファイルデータの拡大も簡単にスケーリングできます。Nasuni は、すべての従業員がどこからでも、部門、プロジェクト、組織のファイル共有とアプリケーション ワークフローに対応できるように設計されています。

Nasuni Cloud File Storage。

Nasuni は 3 つのパッケージがあり、あらゆる規模の企業や組織に合わせた料金を用意しているため、必要に応じて拡大や拡張が可能です。

これには、次のような利点があります。

  • クラウドベースのプライマリ ファイル ストレージを最大 70% 削減。Nasuni のアーキテクチャは、Google Cloud のネイティブ オブジェクトのライフサイクル管理ポリシーを活用します。このポリシーにより、Cloud Storage オブジェクトのストレージ クラス(Standard、Nearline、Coldline、Archive など)を使用する柔軟性が高まります。Nasuni でプライマリ ストレージに Google 独自の即時アクセス Archive クラス オブジェクト ストレージを使用することで、最大 70% の費用削減を実現できます。
  • クラウドにおける部門と組織のファイル共有。Nasuni のクラウドベースのアーキテクチャでは、Google Cloud リージョン全体で単一のグローバル名前空間を使用できます。ファイル、ファイルサイズ、スナップショットの数に制限はなく、標準的な NAS(SMB)ドライブ マッピング プロトコルを介してデスクトップから Google Cloud に直接ファイルを保存できます。
  • 組み込みのバックアップと障害復旧。Nasuni の「一度の設定で手間要らず」なオペレーションは、グローバル ファイル ストレージの管理を簡単にします。組み込みのバックアップと DR は単一の管理コンソールに含まれており、いつでもどこでも環境を統括、管理できます。
  • 古いファイル サーバーの置き換え。Nasuni を使用すると、Microsoft Windows ファイル サーバーや他の既存のファイル ストレージ システムを Google Cloud に簡単に移行できるため、これらの環境にかかる費用や管理の複雑さを軽減できます。

参考情報

概要の動画

Nasuni Google Cloud ウェブページ

ソリューション概要

Nasuni Marketplace リスティング

Nasuni Google Cloud に関するブログ投稿