Compute Engine 上のファイル サーバー

ファイル サーバー(ストレージ ファイラー)により、アプリケーションがマシン全体で共有されるファイルを読み取って更新できるようになります。一部のファイル ソリューションはスケールアップ方式で、単一の VM に接続されたストレージで構成されます。また、一部のソリューションはスケールアウト方式で、ストレージが接続された VM のクラスタで構成されますが、アプリケーションからは単一のファイル システム名前空間に見えます。

一部のファイル システムではネイティブ POSIX クライアントを使用しますが、多くのファイル サーバーでは、クライアント マシンがファイル システムをマウントして、ローカルでホストされているかのようにファイルにアクセスできるようにするプロトコルを使用します。ファイル共有をエクスポートする際に最も一般的なプロトコルは、Linux の場合で NFS(Network File System)、Windows の場合で CIFS(Common Internet File System)か SMB(Server Message Block)になります。

このソリューションでは、ファイル共有の次のオプションについて説明します。

Compute Engine 永続ディスク

マネージド ファイラー ソリューション:

GCP Marketplace でサポートされているファイラー ソリューション:

パートナーがサポートしているファイラー ソリューション:

サポートされていないファイラー ソリューション:

すべての Google Cloud Platform(GCP)サービスのパフォーマンスと予測可能性の基盤となる 1 つの要素はネットワーク スタックであり、Google は長年にわたってこれを進化させてきました。Google は Jupiter ファブリックを使用して、お客様のワークロードに影響を与えることなく進化し続ける堅牢かつスケーラブルで安定したネットワーキング スタックを構築しました。Google は社内のネットワーク能力の向上と強化に努めており、それによるパフォーマンス向上は、お客様のファイル共有ソリューションにメリットをもたらします。Jupiter ファブリックの詳細については、その進化について説明した 2015 年の論文をご覧ください。

投資対効果を最大限に高める GCP の特長の 1 つは、カスタム VM タイプを指定できることです。ファイラーのサイズを選択する際、メモリと CPU の適切な組み合わせを選択して、サブスクリプションの超過なしにファイラーを最適なパフォーマンスで動作させることができます。

また、ファイル サーバーのストレージ デバイスに、必要なストレージ帯域幅と IOP、さらにはネットワーク帯域幅が確実に提供されるように、適切な Compute Engine 永続ディスクの容量と vCPU の数を選択することが重要です。VM に対して、vCPU ごとに 2 Gbps のネットワーク スループット(最大値)が提供されます。永続ディスクの調整については、永続ディスクとローカル SSD のパフォーマンスの最適化をご覧ください。

また、Cloud Storage は、ペタバイト規模のデータを高レベルの冗長性と低コストで保管するのに適しています。ただし、Cloud Storage のパフォーマンス プロファイルと API は、ここで説明するファイル サーバーのものとは異なります。

Compute Engine 永続ディスク

所有するデータが単一の VM からのアクセスで十分な規模の場合、または時間が経過してもデータが変化しない場合は、Compute Engine の永続ディスクを使用し、ファイル サーバーを一切使用しないという選択肢もあります。永続ディスクを使用する場合、Ext4 や XFS などのファイル システムでディスクをフォーマットし、読み書きモードまたは読み取り専用モードでボリュームを接続できます。つまり、最初にボリュームをインスタンスに接続して必要なデータを読み込んでから、そのボリュームを読み取り専用ディスクとして数百もの仮想マシンに同時に接続できます。読み取り専用の永続ディスクの使用は、すべてのユースケースに有効であるとは限りませんが、ファイル サーバーを使用した場合に比べて、複雑性が大幅に軽減されます。

永続ディスクは安定したパフォーマンスを届けます。インスタンスに接続した同じサイズのすべてのディスク(SSD 永続ディスクの場合は同じ数の vCPU)は、同じパフォーマンス特性を持ちます。本番環境で使用する前に永続ディスクをプリウォームまたはテストする必要はありません。

ボリュームのプロビジョニング後に考慮すべき I/O コストが存在しないため、永続ディスクのコストを見積もるのは簡単です。また、永続ディスクは臨機応変にサイズを変更できるので、低コストかつ低容量で利用を開始できます。容量を増やすために追加のインスタンスやディスクを起動する必要はありません。

合計容量が主な要件となる場合は、低コストの標準永続ディスクを使用できます。耐久性を保ちつつ最高のパフォーマンスを実現するには、SSD 永続ディスクを使用します。

データが一時的で、1 ミリ秒未満のレイテンシと高い IOPS(1 秒あたりの入出力オペレーション数)が要求される場合は、最大 3 TB のローカル SSD を利用して優れたパフォーマンスを実現できます。ローカル SSD では、インスタンスの割り当て済みネットワーク容量を使い切ることなく、DDR2 RAM と同等の速度で最大約 70 万 の IOPS を実現できます。

Compute Engine インスタンスに使用できるさまざまなディスクタイプの比較については、ブロック ストレージのドキュメントをご覧ください。

ファイラー ソリューションを選択する際の考慮事項

ファイラー ソリューションの選択では、コスト、パフォーマンス、スケーラビリティに関するトレードオフを考慮する必要があります。明確に定義されたワークロードがあれば判断は簡単ですが、そのようなケースはまれです。ワークロードが時間とともに増加する場合や激しく変動する場合は、コストの節約より柔軟性と弾力性を優先して、拡張可能なソリューションを採用するほうが賢明です。一方、ワークロードが一時的で明確に定義できる場合は、解体と再構築が容易な専用のファイラー アーキテクチャを作成して、必要なストレージに即座に対応することが可能です。

最初に決定すべき事項の 1 つは、マネージド ファイラー サービス、プロダクト サポートを含むファイラー ソリューション、サポートされていないソリューションの内どちらに投資するかです。

  • マネージド ファイラー サービスは、Google またはパートナーがすべての運用を行うため、運用が簡単です。こうしたファイラー サービスでは、他のほとんどの GCP サービスと同様に、可用性を保証する SLA が提供されることもあります。
  • マネージド方式ではないがサポートされるソリューションでは、柔軟性が高くなります。ファイラーの日常的な運用はユーザーの責任になりますが、問題が発生したときはパートナーに解決を依頼できます。
  • サポートされていないソリューションでは、すべての問題の解決がユーザーに任されるため、デプロイと保守に多大な労力がかかります。

次に決定するのは、ファイラーの耐久性と可用性の要件です。ほとんどのファイラー ソリューションはゾーン ソリューションであり、デフォルトではゾーンに障害が発生した場合の保護は行われません。そのため、ゾーン障害に対する障害復旧ソリューションが必要かどうかを検討することが重要です。さらに、アプリケーションの耐久性と可用性に関する要件を把握することも重要です。たとえば、デプロイにおけるローカル SSD または永続ディスクの選択は、ファイラー ソリューション ソフトウェアの構成と同様に、これらの要件に大きく影響します。高い耐久性と可用性を達成し、ゾーンまたはリージョンの障害に対する保護も行うには、どのソリューションでも慎重な計画が必要になります。

最後に、データにアクセスする必要がある場所(ゾーン、リージョン、オンプレミス データセンター)について検討します。オンプレミスからのアクセスとクラウド内からのアクセスを混在させることのできるソリューションは限られているため、データにアクセスするコンピューティング ファームの場所によってファイラー ソリューションの選択も影響を受けます。

マネージド ファイラー ソリューション

Cloud Filestore

Cloud Filestore は、Google のフルマネージド ネットワーク接続ストレージ(NAS)ソリューションです。

Cloud Filestore のファイル共有は、Compute Engine VM に簡単にマウントできます。Cloud Filestore は Google Kubernetes Engine とも緊密に統合されているため、コンテナは同じ共有データを参照できます。

Cloud Filestore には、スタンダード階層とプレミアム階層の 2 つのパフォーマンス階層が用意されています。どちらの階層でも、安定したパフォーマンスが提供され、コストが予測可能です。

詳細については、次のリンクをご覧ください。

NetApp Cloud Volumes

Google Cloud Platform 向けの NetApp Cloud Volumes サービスは、GCP Console 内で統合されたクラウド ネイティブのフルマネージド ストレージ サービスであり、Google からの請求とサポートがシームレスに行われます。

このサービスを使用すると、永続的な共有ストレージを速やかにコンピューティング インスタンスにマウントできます。このストレージは、アプリケーションに低いレイテンシで高いスループットを提供するだけでなく、堅牢なデータ保護機能(スナップショットとコピー)も備えています。エンタープライズ クラスのアーキテクチャを持つこのサービスは、シーケンシャルなワークロードとランダムなワークロードの両方で高いパフォーマンスを実現します。さらに、数百数千の Compute Engine コンピューティング インスタンスのスケーリングが可能です。1 TB から 100 TB の範囲のボリュームを数秒でプロビジョニングし、スペース効率の良い自動スナップショットで保護できます。作成したボリュームをコンピューティング インスタンスにマウントするコマンドを GCP Console で利用できるので、ユーザー エクスペリエンスがさらに向上します。

NetApp Cloud Volumes サービスのアーキテクチャ

Cloud Volumes は、石油とガス、EDA、メディアとエンターテインメントなど、多くの業界で使用されているウェブ コンテンツとリッチメディア コンテンツを含む幅広いファイルベースのワークロードに必要な POSIX コンプライアンス共有を提供します。したがって、そのためにアプリを書き換える必要がありません。

Google Cloud Platform 向けの Cloud Volumes サービスには、オンデマンドで変更できる 3 つのサービスレベル(スタンダード、プレミアム、エクストリーム)があるため、ワークロードの可用性に影響を及ぼすことなく、ワークロードに適したパフォーマンスを実現できます。NetApp は、オンプレミスと Google Cloud Platform 向け Cloud Volumes サービスの間でデータを同期するのにも役立ちます。

詳細については、次のリンクをご覧ください。

Elastifile

Elastifile は、GCP やハイブリッド クラウドでのエンタープライズ ストレージとデータの管理を簡素化します。Elastifile では、グローバル データに対し、コスト効率に優れた高パフォーマンスの並列アクセスが可能です。それとともに、インテリジェントなオブジェクト階層化を行う、動的にスケーラブルな分散ファイル システムにより、厳格な整合性が確保されます。Elastifile を使用すると、リファクタリングなしで、既存の NFS アプリケーションと NAS ワークフローをクラウドで実行できます。そのうえ、エンタープライズ データサービスのメリット(高可用性、圧縮、重複除去、レプリケーションなど)も享受できます。Google Kubernetes Engine とネイティブに統合されているため、シームレスなデータの永続性と移植性が保証されており、コンテナ化されたワークロードの共有も可能です。

Elastifile のデプロイやスケーリングは、ボタンを押すだけで実施できます。ファイル システムのインフラストラクチャはオンデマンドで簡単に作成やスケーリングができるため、ストレージのパフォーマンスと容量は、動的なワークフロー要件に応じて常時調整できます。Elastifile クラスタが拡張すると、それに比例してメタデータと I/O パフォーマンスがスケーリングされます。こうしてスケーリングされることで、ハイパフォーマンス コンピューティング、分析、クロスサイトのデータ集約、DevOps など、幅広い種類のデータ集約型ワークフローの拡張と迅速化が可能になります。したがって、Elastifile は、ライフ サイエンス、電子設計オートメーション(EDA)、石油とガス、金融サービス、メディアとエンターテイメントといったデータ中心型の業界で使用するのに最適な方法です。

Elastifile の CloudConnect 機能を使用すると、POSIX ファイル システムと Cloud Storage の間で細かな指定が可能な双方向データ転送が実現します。パフォーマンスを最適化して費用を最小限に抑えるために、CloudConnect ではデータが圧縮、重複除去されたうえで送信され、最初のデータ同期後に変更された部分だけが送信されます。CloudConnect をハイブリッド クラウドのデプロイに利用すると、任意のオンプレミス NFS ファイル システムから Cloud Storage に効率的にデータを読み込むことができ、費用効率の高い方法でデータを GCP に格納できます。CloudConnect を GCP で利用すると、Elastifile ファイル システムと Cloud Storage の間におけるデータ階層化の費用を最適化できます。

Elastifile でのデータの保管と管理の図

詳細については、次のリンクをご覧ください。

GCP Marketplace でサポートされているファイラー ソリューション

Panzura

Panzura は、クラウドにおける非構造化データの管理という分野で業界を牽引しています。メディアやエンターテインメント、ゲノミクス、ライフ サイエンス、ヘルスケア、石油やガス、金融サービスなどの企業が Panzura Freedom NAS を選択し、パフォーマンスを犠牲にしたりアプリケーションを書き換えたりせずに、データ アイランドを Google Cloud Platform(GCP)の単一ソースに統合しています。非構造化データ(NFS、SMB、Object)を GCP に統合することで、すべてのデータへのアクセス、それらのデータの共同編集、分析、コンプライアンスのための管理が可能になります。

Freedom ファミリーを支える Panzura CloudFS は、クラウド向けに構築されたスケールアウト方式の分散ファイル システムです。26 件の特許に裏打ちされたインテリジェント ファイル サービスが組み込まれています。Freedom 製品ファミリを利用することで、クラウド移行、グローバル コラボレーション、検索と分析といったユースケースにコスト効率的に取り組むことができます。

Panzura Freedom と GCP をセットで活用することにより、IT リーダーは以下のことを行えます。

  • 書き換えたり、ワークフローを変更したり、パフォーマンスを犠牲にしたりせずに、何千ものレガシー アプリケーションを GCP に移行する。
  • データを単一ソースに統合することで、バックアップやセカンダリ ストレージにおけるコピーデータのスプロールを排除する。
  • 大規模プロジェクトにおけるグローバルなコラボレーションによって生産性を向上し、市場投入までの時間を短縮する。
  • コストを 70% 削減し、データセンターにおけるファイル インフラストラクチャを 90% 削減しながら、従来の NAS をモダナイズする。
  • 高度な分析と機械学習のためのレガシー テープ データのリハイドレートを行う。

詳細:

Quobyte

Quobyte は、クラウドとオンプレミスで稼働する並列分散型 POSIX 互換ファイル システムであり、数ペタバイトものストレージと数百万もの IOPS の利用を可能にします。この会社は Google の元エンジニアによって設立されました。この人物は、クラウドに関する深い技術的見識に基づいて Quobyte ファイル システムを考案し、設計しました。

Quobyte は、ライフ サイエンス金融サービス、航空宇宙工学、放送とデジタル制作、電子設計オートメーション(EDA)から、従来の高パフォーマンス コンピューティング(HPC)の研究プロジェクトまで、さまざまな業界における要求の厳しい大規模な本番環境で利用されています。

Quobyte は、Linux、Windows、NFS のすべてのアプリケーションにネイティブで対応しています。開発者は、既存のアプリケーションと新しく実装されたアプリケーションをクラウド、オンプレミスを問わず同じ環境で操作できます。Quobyte は、NFS より信頼性の高いファイル システムを必要とし、分散型環境用の設計になっていないアプリケーション向けに、キャッシュ整合性機能(任意)を提供します。さらに、Quobyte は複数のクライアントからの高速同時読み書きに対応する並列ファイル システムであるため、HPC アプリケーションはその利点を活用できます。

分散ファイル システムである Quobyte は、ノード数に比例して IOPS とスループットを線型にスケーリングするので、クラスタ化ソリューションや単一ファイラー ソリューションで生じるパフォーマンスのボトルネックを回避できます。Quobyte は、そのネイティブ クライアント ソフトウェアを通じて数千もの Linux クライアントと Windows クライアントの仮想マシン(VM)やコンテナ化アプリケーションによるアクセスを可能にし、高い IOPS、少ないレイテンシ、GB 単位のスループットを実現します。このネイティブ クライアントはすべてのストレージ VM と直接通信し、場合によってはデータの複数のレプリカからの読み取りもできるので、NFS ゲートウェイでの追加のレイテンシやパフォーマンスのボトルネックを回避できます。

Compute Engine 上で Quobyte クラスタをわずか数分で作成および拡張できるので、管理者はクラウド内でワークロード全体を実行したり、ピーク時のワークロードをバーストさせたりすることができます。最初は単一のストレージ VM を使用し、必要に応じて容量と VM を追加することで、リソースが不要になったときにデプロイのサイズを動的に縮小できます。

標準 Linux VM は、Compute Engine 上の Quobyte クラスタの基盤となります。インタラクティブ インストーラを使用すると、設定を素早く簡単にできます。データは、HDD または SSD ベースの接続された永続ディスクに保存されます。たとえば異なるパフォーマンス層に使用するなど、単一のインストール環境で両方のタイプを使用できます。ボリューム ミラーリング機能を使用すると、ボリュームのジオレプリケーション災害復旧(DR)コピーを作成できます。このコピーは、リモート リージョンの読み取り専用アクセスにも使用できます。

Quobyte にはモニタリング機能と自動化機能が組み込まれているので、数百ものストレージ VM からなるクラスタを簡単に維持できます。1 回のクリックで VM とディスクを追加 / 削除でき、新しいリソースは 1 分以内に使用可能になります。組み込みのリアルタイム分析機能により、ストレージを多く使う利用者やアプリケーションのアクセス パターンを特定できます。

Quobyte の 45 日間の無料試用版ライセンスは、www.quobyte.com/get-quobyte から直接入手できます。

Quobyte ファイル システムの図

Quobyte を使用すると、パフォーマンスのボトルネックを生じずに、数千ものクライアントがすべての VM と直接通信できます。異なる可用性ゾーンやオンプレミス クラスタ間で任意のボリューム ミラーリング機能を使用すると、複数のサイト間で(障害復旧などのために)読み取り専用データアクセス用のボリュームのレプリカを非同期で作成できます。

パートナーがサポートしているファイラー ソリューション

Avere vFXT

最高の読み取りパフォーマンスが要求されるワークロード向けには、Avere Systems が最善のソリューションを提供しています。Avere のクラウドベースの vFXT クラスタ化クラウド ファイル システムを使用すると、ペタバイト級のストレージと何百万もの IOPS をユーザーに提供できます。

Avere vFXT の図

Avere vFXT は、ファイラーであるだけでなく、コンピューティング クラスタのできるだけ近くに作業データセットを配置することで既存のワークフローの変更を最小限に抑えるための読み取り / 書き込みキャッシュでもあります。Avere を使用すると、バックアップ保存先としての Cloud Storage の費用効果と、Computing Engine のパフォーマンス、スケーラビリティ、1 秒単位の料金設定を利用できます。

また Avere では、現在のオンプレミスのフットプリントを最大限に活用することもできます。vFXT で GCP を利用できるほか、Avere のオンプレミス FXT シリーズを使用して、従来のデバイスやストレージ配列のストレージを 1 つの拡張可能ファイラーとして統合し、単一の名前空間で扱えるようにできます。

オンプレミスのストレージ フットプリントからの移行を検討している場合は、Avere の FlashCloud テクノロジーを利用して、クライアントのダウンタイムを発生させることなく Cloud Storage に移行できます。短期間に大量のストレージが必要であることがわかった場合には、Cloud Storage を使用してワークロードをクラウドの中にバーストすることができます。ストレージとコンピューティングを必要なだけ使用し、その後は、継続的な費用を支払うことなくそれらをデプロビジョニングできます。

Avere では、SSD、RAM のような高速ローカル デバイスを使用して、コンピューティング デバイスのできるだけ近くに現在アクティブなデータセットをキャッシュに保存します。vFXT を使用すると、Cloud Storage のグローバルな冗長性と無制限のスケールを利用できる一方で、ユーザーはデータが自分のコンピューティング クラスタにローカルに配置されているかのようにデータを操作できます。

Avere を稼働させてファイラー ソリューションとして実行する方法については、Avere に直接お問い合わせください。Avere の詳細については、Google Cloud Platform 統合の概要をご覧ください。

サポートされていないファイラー ソリューション

Single Node File Server

GCP Marketplace を使用して Single Node File Server をデプロイできます。デプロイには、Grafana によるモニタリングが含まれます。

Single Node File Server の図

GCP Marketplace を使用して Single Node File Server をデプロイするときには、任意のバッキング ディスクのタイプ(標準または SSD)を構成できます。インスタンス タイプとデータディスクの合計サイズも構成できます。ファイラーのパフォーマンスは、ディスクのサイズとタイプ、およびインスタンス タイプに左右されることに注意してください。ディスクのタイプとサイズによって合計スループットが決定されます。

ファイラーを完全にデプロイした後、ローカル サブネット上の任意のホストから NFS マウントや SMB マウントを使用して共有をマウントできます。容量が小さいディスクから始めて、お客様のパフォーマンスや容量のニーズに応じてディスクのサイズを変更できます。

ダウンタイムを許容できる場合には、インスタンスを停止し、インスタンス タイプを変更してからインスタンスを再起動することで、ファイラーをスケールアップすることもできます。Single Node File Server では、ディスクの共有プールを提供する水平スケーリングを行うことはできませんが、個々のファイラーを必要なだけ作成できます。この方法は、開発を行う場合や共有ファイル システムのバックエンドをテストする場合に役立ちます。

Single Node File Server はゾーン間やリージョン間で自動的にデータを複製しませんが、定期的にバックアップをとるためにデータディスクのスナップショットを作成できます。Single Node File Server には有償の公式サポートがないので、実行にかかる費用はインスタンス、ディスク、ネットワークの費用に直接関連します。一般に、このオプションはメンテナンスの必要が少ないはずです。

ファイル サーバー オプションの概要

次の表は、永続ディスクの機能とファイラーのオプションをまとめたものです。

ファイラー ソリューション 最適なデータセット スループット マネージド サポート プロトコルのエクスポート 高可用性 ハイブリッド
Cloud Filestore 1 TB~63.9 TB 100 MB/秒~1.2 GB/秒 Google によるフルマネージド サービス NFSv3 ×
NetApp Cloud Volumes 1 TB~1 PB 数十~数百 GB/秒 Google と NetApp によるフルマネージド サービス NFSv3
Elastifile 数十 TB~1 PB 未満 数十~数百 GB/秒 Elastifile NFSv3
Quobyte 数十 TB~1 PB 未満 数百~数千 GB/秒 Quobyte Linux および Windows のネイティブ クライアント、Amazon S3、HDFS、NFSv4/3、SMB
Avere 数十~数百 TB 数十~数百 GB/秒 Avere NFSv3、SMB2
読み取り専用 PD 64 TB 未満 180〜1,200 MB/秒 × 直接接続 × ×
Single Node File Server 64 TB 未満 最大 16 Gb/秒 × NFSv3、SMB3 × ×
Panzura 数十 TB~1 PB 未満 数十~数百 GB/秒 Panzura NFSv3、NFSv4、SMB1、SMB2、SMB3
このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...