Cloud Storage FUSE ファイル キャッシュを使用する

Cloud Storage FUSE のファイル キャッシュ機能は、クライアント ベースの読み取りキャッシュです。これを使用すると、選択したより高速なキャッシュ ストレージから繰り返しファイルを読み取れます。このページでは、Cloud Storage FUSE ファイル キャッシュを有効にして使用する方法について説明します。ファイル キャッシュ、統計情報キャッシュ、タイプ キャッシュの概要については、キャッシュの概要をご覧ください。

始める前に

ファイル キャッシュでは、ファイルをキャッシュに保存するディレクトリ パスが必要です。既存のファイル システムに新しいディレクトリを作成するか、プロビジョニングされたストレージに新しいファイル システムを作成できます。使用する新しいストレージをプロビジョニングする場合は、次の手順で新しいファイル システムを作成します。

  1. Persistent Disk をフォーマットするには、Compute Engine で Persistent Disk をフォーマットする手順をご覧ください。

  2. インメモリ RAM ディスクを作成するには、RAM ディスクをマウントするための Compute Engine の手順をご覧ください。

  3. ローカル SSD をフォーマットしてマウントするには、ローカル SSD をマウントするための Compute Engine の手順をご覧ください。複数のローカル SSD を単一のボリュームに結合するには、VM にローカル SSD を追加するための Compute Engine の手順をご覧ください。

キャッシュ動作を有効にして構成する

  1. Cloud Storage FUSE 構成ファイルの file-cache フィールドを使用してファイル キャッシュを有効にして構成し、使用するキャッシュ ディレクトリを cache-dir フィールドに指定します。ファイル キャッシュはデフォルトで無効になっています。ファイル キャッシュを有効にするには、ディレクトリを cache-dir フィールドに渡します。

  2. 省略可: 構成ファイルの metadata-cache フィールドを使用して、統計情報キャッシュとタイプ キャッシュを構成します。統計情報キャッシュとタイプ キャッシュの詳細については、タイプ キャッシングの概要または統計情報のキャッシングの概要をご覧ください。

  3. 省略可: 整合性とバランスを取りながら、繰り返し読み取りの間隔に基づく値に ttl-secs オプションを設定し、キャッシュ内のエントリの TTL を増やします。ttl-secs 値は、ワークロードで許容される限り高く設定することをおすすめします。TTL は Cloud Storage FUSE 構成ファイルで構成できます。キャッシュに保存されたエントリの TTL の設定の詳細については、有効期間（TTL）をご覧ください。

    たとえば、次の構成ファイルは、TTL が 3600 秒でキャッシュ ディレクトリが /path/to/a/directory/ に設定されたファイル キャッシュ、統計情報キャッシュ、タイプ キャッシュを有効にします。max-size-mb は -1 に設定されています。これにより、使用可能な容量をすべて使用するようにファイル キャッシュが構成されます。

    file-cache:
  max-size-mb: -1
  cache-file-for-range-read: false

metadata-cache:
  stat-cache-max-size-mb: 32
  ttl-secs: 3600
  type-cache-max-size-mb: 4

cache-dir: /path/to/a/directory

  4. 省略可: ファイル キャッシュ ディレクトリをプリフェッチ バッファとして使用して、複数のワーカーで大容量ファイルを並列にダウンロードする enable-parallel-downloads プロパティを有効にして、初回読み取りを含む大容量ファイルの読み取りを高速化します。並列ダウンロードと、そのサポート プロパティの構成方法について詳しくは、並列ダウンロードを使用して読み取りパフォーマンスを改善するをご覧ください。

  5. ワークロードを実行する前に、マウントされたバケットで ls -R コマンドを手動で実行してメタデータを事前入力し、高速なバッチ方式で初回の読み取りが行われる前にタイプ キャッシュが入力されるようにします。

次のステップ