Cloud Storage FUSE-Datei-Caching verwenden

Das Datei-Cache-Feature von Cloud Storage FUSE ist ein clientbasierter Lese-Cache, mit dem Dateilesevorgänge wiederholt werden können, um einen schnelleren Cache-Speicher Ihrer Wahl bereitzustellen. Auf dieser Seite wird beschrieben, wie Sie das Datei-Caching mit Cloud Storage FUSE aktivieren und verwenden. Eine Übersicht über Datei-Caching, Statistik-Caching oder Typ-Caching finden Sie unter Übersicht über das Caching.

Hinweise

Der Dateicache erfordert einen Verzeichnispfad, um Dateien im Cache zu speichern. Sie können ein neues Verzeichnis in einem vorhandenen Dateisystem erstellen oder ein neues Dateisystem im bereitgestellten Speicher erstellen. Wenn Sie neuen Speicher zur Verwendung bereitstellen, erstellen Sie mit der folgenden Anleitung ein neues Dateisystem:

  1. Informationen zum Formatieren eines nichtflüchtigen Speichers finden Sie in der Compute Engine-Anleitung zum Formatieren eines nichtflüchtigen Speichers.

  2. Informationen zum Erstellen von speicherinternen RAM-Disks finden Sie in den Compute Engine-Anweisungen zum Bereitstellen von RAM-Disks.

  3. Informationen zum Formatieren und Bereitstellen lokaler SSDs finden Sie in der Compute Engine-Anleitung zum Bereitstellen lokaler SSDs. Wenn Sie mehrere lokale SSDs zu einem Volume kombinieren möchten, lesen Sie die Compute Engine-Anleitung zum Hinzufügen einer lokalen SSD zu Ihrer VM.

Caching-Verhalten aktivieren und konfigurieren

  1. Aktivieren und konfigurieren Sie das Datei-Caching mithilfe des Felds file-cache in einer Cloud Storage FUSE-Konfigurationsdatei und geben Sie das Cache-Verzeichnis an, das Sie im Feld cache-dir verwenden möchten. Der Datei-Cache ist standardmäßig deaktiviert. Beachten Sie, dass Sie das Datei-Caching aktivieren, indem Sie ein Verzeichnis an das Feld cache-dir übergeben.

  2. Optional: Konfigurieren Sie das Statistik-Caching und das Typ-Caching mithilfe des Felds metadata-cache in einer Konfigurationsdatei. Weitere Informationen zu Statistik- und Typ-Caches finden Sie unter Übersicht über Typ-Caching oder Übersicht über das Statistik-Caching.

  3. Optional: Erhöhen Sie die TTL der im Cache gespeicherten Einträge. Setzen Sie dazu die Option ttl-secs auf einen Wert, der auf der erwarteten Zeit zwischen wiederholten Lesevorgängen basiert, während Konsistenzanforderungen ausgeglichen werden. Wir empfehlen, den Wert ttl-secs so hoch zu setzen, wie es Ihrer Arbeitslast möglich ist. Sie können die TTL in einer Cloud Storage FUSE-Konfigurationsdatei konfigurieren. Weitere Informationen zum Festlegen einer TTL für im Cache gespeicherte Einträge finden Sie unter Gültigkeitsdauer.

    Die folgende Konfigurationsdatei aktiviert beispielsweise Datei-Caching, Statistik-Caching und Typ-Caching mit einer TTL von 3600 Sekunden und das Cache-Verzeichnis ist auf /path/to/a/directory/ gesetzt. max-size-mb ist auf -1 gesetzt. Dadurch wird der Datei-Cache so konfiguriert, dass die gesamte verfügbare Kapazität verwendet wird.

    file-cache:
  max-size-mb: -1
  cache-file-for-range-read: false

metadata-cache:
  stat-cache-max-size-mb: 32
  ttl-secs: 3600
  type-cache-max-size-mb: 4

cache-dir: /path/to/a/directory

  4. Optional: Sie können das Lesen großer Dateien, einschließlich des ersten Lesens, beschleunigen, indem Sie die Eigenschaft enable-parallel-downloads aktivieren. Dabei werden mehrere Worker verwendet, um eine große Datei parallel mit dem Dateicache-Verzeichnis als Prefetch-Puffer herunterzuladen. Weitere Informationen zu parallelen Downloads und zur Konfiguration der zugehörigen Eigenschaften finden Sie unter Leseleistung mit parallelen Downloads verbessern.

  5. Führen Sie den Befehl ls -R in Ihrem bereitgestellten Bucket manuell aus, bevor Sie die Arbeitslast ausführen, um Metadaten vorab auszufüllen. So wird sichergestellt, dass der Typ-Cache vor dem ersten Lesevorgang mit einer schnelleren Batchmethode gefüllt wird.

Nächste Schritte