Compute Engine 上のファイル サーバー

ファイル サーバー(ストレージ ファイラー)により、アプリケーションがマシン全体で共有されるファイルを読み取って更新できるようになります。一部のファイル ソリューションはスケールアップ方式で、単一の VM に接続されたストレージで構成されます。また、一部のソリューションはスケールアウト方式で、ストレージが接続された VM のクラスタで構成されますが、アプリケーションからは単一のファイルシステム名前空間に見えます。

一部のファイル システムではネイティブ POSIX クライアントを使用しますが、多くのファイル サーバーでは、クライアント マシンがファイル システムをマウントして、ローカルでホストされているかのようにファイルにアクセスできるようにするプロトコルを使用します。ファイル共有をエクスポートする際に最も一般的なプロトコルは、Linux の場合で NFS(Network File System)、Windows の場合で CIFS(Common Internet File System)か SMB(Server Message Block)になります。

このソリューションでは、ファイル共有の次のオプションについて説明します。

Compute Engine 永続ディスクとローカル SSD

マネージド ファイラー ソリューション:

Cloud Marketplace でサポートされているファイラー ソリューション:

すべての Google Cloud サービスのパフォーマンスと予測可能性の基盤となる 1 つの要素はネットワーク スタックであり、Google は長年にわたってこれを進化させてきました。Google は Jupiter ファブリックを使用して、お客様のワークロードに影響を与えることなく進化し続ける堅牢かつスケーラブルで安定したネットワーキング スタックを構築しました。Google は社内のネットワーク能力の向上と強化に努めており、それによるパフォーマンス向上は、お客様のファイル共有ソリューションにメリットをもたらします。Jupiter ファブリックの詳細については、その進化について説明している 2015 年の論文をご覧ください。

投資対効果を最大限に高める Google Cloud の特長の 1 つは、カスタム VM タイプを指定できることです。ファイラーのサイズを選択する際、メモリと CPU の適切な組み合わせを選択して、サブスクリプションの超過なしにファイラーを最適なパフォーマンスで動作させることができます。

また、ファイル サーバーのストレージ デバイスに、必要なストレージ帯域幅と IOP、さらにはネットワーク帯域幅が確実に提供されるように、適切な Compute Engine 永続ディスクの容量と vCPU の数を選択することが重要です。VM に対して、vCPU ごとに 2 Gbps のネットワーク スループット(最大値)が提供されます。永続ディスクの調整については、永続ディスクとローカル SSD のパフォーマンスの最適化をご覧ください。

Cloud Storage は、ペタバイト規模のデータを高レベルの冗長性と低コストで保管するのに適しています。ただし、Cloud Storage のパフォーマンス プロファイルと API は、ここで説明するファイル サーバーのものとは異なります。

ファイル サーバー オプションの概要

次の表は、永続ディスクの機能とファイラーのオプションをまとめたものです。

ファイラー ソリューション 最適なデータセット スループット マネージド サポート プロトコルのエクスポート
Filestore 1 TB~64 TB 最大 1.2 GB/秒 Google によるフルマネージド サービス NFSv3
NetApp Cloud Volumes 1 TB~100 TB 最大 4.5 GB/秒 Google と NetApp によるフルマネージド サービス NFSv3、NFSv4、SMB2、SMB3
Elastifile(Google Cloud が買収) 数十 TB~1 PB 未満 最大数十 GB/秒 Elastifile(Google Cloud が買収) NFSv3
PowerScale 108 TiB から 50 PiB TiB あたり最大 97 MB/秒 Google と Dell Technologies によるフルマネージド サービス NFSv3、NFSv4、SMB1、SMB2、SMB3、HDFS(リクエスト時)
Panzura 数十 TB~1 PB 未満 最大数 GB/秒 Panzura NFSv3、NFSv4、SMB1、SMB2、SMB3
読み取り専用 PD 64 TB 未満 240~1,200 MB/秒 × 直接接続

Compute Engine 永続ディスクとローカル SSD

所有するデータが単一の VM からのアクセスで十分な規模の場合、または時間が経過してもデータが変化しない場合は、Compute Engine の永続ディスクを使用し、ファイル サーバーを一切使用しないという選択肢もあります。永続ディスクを使用する場合、Ext4 や XFS などのファイル システムでディスクをフォーマットし、読み書きモードまたは読み取り専用モードでボリュームを接続できます。つまり、最初にボリュームをインスタンスに接続して必要なデータを読み込んでから、そのボリュームを読み取り専用ディスクとして数百もの仮想マシンに同時に接続できます。読み取り専用の永続ディスクの使用は、すべてのユースケースに有効であるとは限りませんが、ファイル サーバーを使用した場合に比べて、複雑性が大幅に軽減されます。

永続ディスクは安定したパフォーマンスを届けます。インスタンスに接続した同じサイズのすべてのディスク(SSD 永続ディスクの場合は同じ数の vCPU)は、同じパフォーマンス特性を持ちます。本番環境で使用する前に永続ディスクをプリウォームまたはテストする必要はありません。

ボリュームのプロビジョニング後に考慮すべき I/O コストが存在しないため、永続ディスクのコストを見積もるのは簡単です。また、永続ディスクは臨機応変にサイズを変更できるので、低コストかつ低容量で利用を開始できます。容量を増やすために追加のインスタンスやディスクを起動する必要はありません。

ストレージ容量の合計が主な要件となる場合は、低コストの標準永続ディスクを使用できます。耐久性を保ちつつ最高のパフォーマンスを実現するには、SSD 永続ディスクを使用します。

データが一時的で、1 ミリ秒未満のレイテンシと高い IOPS(1 秒あたりの入出力オペレーション数)が要求される場合は、最大 9 TB のローカル SSD を利用して優れたパフォーマンスを実現できます。ローカル SSD では、インスタンスの割り当て済みネットワーク帯域幅を使い切ることなく、GB/秒の帯域幅と数百万の IOPS が提供されます。ただし、ローカル SSD を使用すると、可用性、耐久性、柔軟性に関してある程度のトレードオフがあります。

Compute Engine インスタンスに使用できるさまざまなディスクタイプの比較については、ブロック ストレージのドキュメントをご覧ください。

ファイラー ソリューションを選択する際の考慮事項

ファイラー ソリューションの選択では、管理機能、費用、パフォーマンス、スケーラビリティに関するトレードオフを考慮する必要があります。明確に定義されたワークロードがあれば判断は簡単ですが、そのようなケースはまれです。ワークロードが時間とともに増加する場合や激しく変動する場合は、コストの節約より柔軟性と弾力性を優先して、拡張可能なソリューションを採用するほうが賢明です。一方、ワークロードが一時的で明確に定義できる場合は、解体と再構築が容易な専用のファイラー アーキテクチャを作成して、必要なストレージに即座に対応することが可能です。

最初に決定すべき事項の 1 つは、マネージド ファイラー サービス、プロダクト サポートを含むファイラー ソリューション、サポートされていないソリューションの内どちらに投資するかです。

  • マネージド ファイラー サービスは、Google またはパートナーがすべての運用を行うため、運用が簡単です。こうしたファイラー サービスでは、他の大半の Google Cloud サービスと同様に、可用性を保証する SLA が提供されることもあります。
  • 非マネージドでサポートされているソリューションでは、柔軟性が高くなります。ファイラーの日常的な運用はユーザーの責任になりますが、問題が発生したときはパートナーに解決を依頼できます。
  • サポートされていないソリューションでは、すべての問題の解決がユーザーに任されるため、デプロイと保守に多大な労力がかかります。これらのソリューションについては、このドキュメントでは説明しません。

次に決定するのは、ファイラーの耐久性と可用性の要件です。ほとんどのファイラー ソリューションはゾーン ソリューションであり、デフォルトではゾーンに障害が発生した場合の保護は行われません。そのため、ゾーン障害に対する障害復旧ソリューションが必要かどうかを検討することが重要です。さらに、アプリケーションの耐久性と可用性に関する要件を把握することも重要です。たとえば、デプロイにおけるローカル SSD または永続ディスクの選択は、ファイラー ソリューション ソフトウェアの構成と同様に、これらの要件に大きく影響します。高い耐久性と可用性を達成し、ゾーンまたはリージョンの障害に対する保護も行うには、どのソリューションでも慎重な計画が必要になります。

最後に、データにアクセスする必要がある場所(ゾーン、リージョン、オンプレミス データセンター)について検討します。オンプレミスからのアクセスとクラウド内からのアクセスを混在させることのできるソリューションは限られているため、データにアクセスするコンピューティング ファームの場所によってファイラー ソリューションの選択も影響を受けます。

マネージド ファイラー ソリューション

Filestore

Filestore は、Google のフルマネージド ネットワーク接続ストレージ(NAS)ソリューションです。

Filestore のファイル共有は、Compute Engine VM に簡単にマウントできます。Filestore は Google Kubernetes Engine とも緊密に統合されているため、複数のコンテナから同じ共有データを参照できます。

Filestore には、スタンダード階層とプレミアム階層の 2 つのパフォーマンス階層が用意されています。どちらの階層でも、安定したパフォーマンスが提供され、費用が予測可能です。

詳細については、次のリンクをご覧ください。

NetApp Cloud Volumes

Google Cloud の NetApp Cloud Volumes Service は、Google Cloud Console で統合されたクラウドネイティブのフルマネージド ストレージ サービスであり、Google からの請求とサポートがシームレスに行われます。

このサービスを使用すると、永続的な共有ストレージを速やかにコンピューティング インスタンスにマウントできます。このストレージは、アプリケーションに低いレイテンシで高いスループットを提供するだけでなく、堅牢なデータ保護機能(スナップショットとコピー)も備えています。エンタープライズ クラスのアーキテクチャを持つこのサービスは、シーケンシャルなワークロードとランダムなワークロードの両方で高いパフォーマンスを実現します。さらに、数百数千の Compute Engine コンピューティング インスタンスのスケーリングが可能です。1 TB から 100 TB の範囲のボリュームを数秒でプロビジョニングし、スペース効率の良い自動スナップショットで保護できます。作成したボリュームをコンピューティング インスタンスにマウントするコマンドを Cloud Console で利用できるので、ユーザー エクスペリエンスがさらに向上します。

NetApp Cloud Volumes Service のアーキテクチャ

Cloud Volumes は、電子設計自動化(EDA)、メディアとエンターテインメントなど、多くの業界で使用されているウェブ コンテンツとリッチメディア コンテンツを含む幅広いファイルベースのワークロードに必要な POSIX コンプライアンス共有を提供します。したがって、そのためにアプリを書き換える必要がありません。

Google Cloud 向けの Cloud Volumes Service には、オンデマンドで変更できる 3 つのサービスレベル(スタンダード、プレミアム、エクストリーム)があるため、ワークロードの可用性に影響を及ぼすことなく、ワークロードに適したパフォーマンスを実現できます。NetApp は、オンプレミスと Google Cloud 向け Cloud Volumes Service の間でデータを同期するのにも役立ちます。

詳細については、次のリンクをご覧ください。

Elastifile(Google Cloud が買収)

Elastifile(Google Cloud が買収)は、Google Cloud やハイブリッド クラウドでのエンタープライズ ストレージとデータの管理を簡素化します。Elastifile では、グローバル データに対し、コスト効率に優れた高パフォーマンスの並列アクセスが可能です。それとともに、動的にスケーラブルな分散ファイル システムにより厳格な整合性が確保されます。Elastifile を使用すると、リファクタリングを行わずに既存の NFS アプリケーションと NAS ワークフローをクラウドで実行できます。さらに、エンタープライズ データサービスの利点(高い可用性、圧縮、重複除去、レプリケーションなど)も活用できます。Google Kubernetes Engine とネイティブに統合されているため、シームレスなデータの永続性と移植性が保証されており、コンテナ化されたワークロードの共有も可能です。

Elastifile のデプロイやスケーリングは、ボタンを押すだけで実施できます。ファイル システムのインフラストラクチャはオンデマンドで簡単に作成やスケーリングができるため、ストレージのパフォーマンスと容量は、動的なワークフロー要件に応じて常時調整できます。Elastifile クラスタが拡張すると、それに比例してメタデータと I/O パフォーマンスがスケーリングされます。こうしてスケーリングされることで、ハイパフォーマンス コンピューティング、分析、クロスサイトのデータ集約、DevOps など、幅広い種類のデータ集約型ワークフローの拡張と迅速化が可能になります。そのため、Elastifile は、ライフ サイエンス、電子設計自動化(EDA)、金融サービス、メディアとエンターテインメントといったデータ中心型の業界で使用するのに最適な方法です。

Elastifile の CloudConnect 機能を使用すると、POSIX ファイル システムと Cloud Storage の間で細かな指定が可能な双方向データ転送が実現します。パフォーマンスを最適化して費用を最小限に抑えるために、CloudConnect ではデータが圧縮、重複除去されたうえで送信され、最初のデータ同期後に変更された部分だけが送信されます。CloudConnect をハイブリッド クラウドのデプロイに利用すると、任意のオンプレミス NFS ファイル システムから Cloud Storage に効率的にデータを読み込むことができ、費用効率の高い方法でデータを Google Cloud に格納できます。CloudConnect を Google Cloud で利用すると、Elastifile ファイル システムと Cloud Storage の間におけるデータ階層化の費用を最適化できます。

Elastifile でのデータの保管と管理の図

詳細については、次のリンクをご覧ください。

Dell Technologies Cloud PowerScale for Google Cloud

Dell Technologies Cloud PowerScale for Google Cloud は、Dell EMC PowerScale ファミリーを基盤とする Google Cloud ユーザー向けの統合クラウドネイティブ ファイル サービスであり、PowerScale ノードと Isilon ノードを含む、業界最高レベルの NAS ストレージです。これは、Dell Technologies Services が管理する、PowerScale OneFS のパフォーマンスと容量、Google Cloud の柔軟性および経済性を合わせたターンキー サービスです。

PowerScale for Google Cloud は、年単位サブスクリプションと予測可能な価格設定が保証されている、シンプルで使いやすいサービスです。お客様は Cloud Marketplace から注文を行うだけで、プロビジョニングが完了すると、Google Cloud Console から OneFS クラスタを直接構成して管理できます。Google は毎月 1 通の請求書を送信しており、サポートは Google から提供されます。また、Dell Technologies 専門家が環境の完全なライフサイクルを管理しています。

PowerScale for Google Cloud を使用すれば、Google Cloud のオンデマンド コンピューティング サービスと分析サービスにわずかミリ秒未満のレイテンシでアクセスしながら、PowerScale の価値を維持したままで、アプリケーションに変更を加えることなく、組織は専用のセキュアなPowerScale インスタンスをデプロイできます。PowerScale for Google Cloud は、マルチプロトコル アクセス、ネイティブ レプリケーション、スナップショットなどのエンタープライズ向けの機能とともに、単一の名前空間で最大 50 PB のマルチプロトコル アクセスとスケールアウトを提供します。エンタープライズ レベルの稼働時間とパフォーマンスの SLA に支えられているお客様は、データセンター、設備、ユーザー、ハードウェア、エンジニアリング、統合に追加の投資をすることなく、既存のファイル ストレージを拡張し、新しいファイル ストレージを追加できます。

Google Cloud は、高スループットのファイルベースのワークロードについて、オンデマンドかつ費用対効果の高い処理と分析のための幅広いコンピューティングと分析サービスを提供しています。PowerScale for Google Cloud を使用することで、企業は、柔軟なクラウド消費モデルとクラウド経済のメリットを活用しながら、ビッグデータ分析、人工知能、機械学習から、ゲノムクエリ、メディア、エンターテイメントまで、最も要求の厳しいファイルベース ワークロードをクラウド上で実行できます。

Dell Technologies Cloud PowerScale for Google Cloud のアーキテクチャ。

詳細については、次のリンクをご覧ください。

Cloud Marketplace でサポートされているファイラー ソリューション

Cloud Marketplace では次のソリューションを使用できます。

Panzura

Panzura は、クラウドにおける非構造化データの管理という分野で業界を牽引しています。メディアやエンターテインメント、ゲノミクス、ライフ サイエンス、ヘルスケア、金融サービスなどの企業が Panzura Freedom NAS を選択し、パフォーマンスを犠牲にしたりアプリケーションを書き換えたりせずに、データ アイランドを Google Cloud の単一ソースに統合しています。非構造化データ(NFS、SMB、Object)を Google Cloud に統合することで、すべてのデータへのアクセス、それらのデータの共同編集、分析、コンプライアンスのための管理が可能になります。

Freedom ファミリーを支える Panzura CloudFS は、クラウド向けに構築されたスケールアウト方式の分散ファイル システムです。26 件の特許に裏打ちされたインテリジェント ファイル サービスが組み込まれています。Freedom プロダクト ファミリーを利用することで、クラウド移行、グローバル コラボレーション、検索と分析といったユースケースに費用効率よく取り組むことができます。

Panzura Freedom と Google Cloud をセットで活用することにより、IT リーダーは以下のことを行えます。

  • 書き換えやワークフローの変更、パフォーマンスの低下を招くことなく、何千ものレガシー アプリケーションを Google Cloud に移行する。
  • データを単一ソースに統合することで、バックアップやセカンダリ ストレージにおけるコピーデータのスプロールを排除する。
  • 大規模プロジェクトにおけるグローバルなコラボレーションによって生産性を向上し、市場投入までの時間を短縮する。
  • コストを 70% 削減し、データセンターにおけるファイル インフラストラクチャを 90% 削減しながら、従来の NAS をモダナイズする。
  • 高度な分析と機械学習のためのレガシー テープ データのリハイドレートを行う。

詳細: