使用 Cloud Storage FUSE 文件缓存

Cloud Storage FUSE 文件缓存功能是基于客户端的读取缓存,可让您从所选择的速度更快的缓存存储空间中传送重复文件读取。本页面介绍如何启用和使用 Cloud Storage FUSE 文件缓存。如需文件缓存、统计信息缓存或类型缓存的概览,请参阅缓存概览

准备工作

文件缓存需要使用目录路径来缓存文件。您可以在现有文件系统上创建新目录,也可以在预配的存储空间上创建新的文件系统。如果您要预配要使用的新存储空间,请按照以下说明创建新的文件系统:

  1. 如需格式化永久性磁盘,请参阅有关如何格式化永久性磁盘的 Compute Engine 说明

  2. 要创建内存中的 RAM 磁盘,请参阅有关如何装载 RAM 磁盘的 Compute Engine 说明

  3. 如需格式化和装载本地 SSD,请参阅有关装载本地 SSD 的 Compute Engine 说明。如需将多个本地 SSD 合并到单个卷中,请参阅有关如何将本地 SSD 添加到虚拟机的 Compute Engine 说明

启用和配置缓存行为

  1. 使用 Cloud Storage FUSE 配置文件中的 file-cache 字段启用和配置文件缓存,并在 cache-dir 字段中指定要使用的缓存目录。文件缓存默认处于停用状态。请注意,您可以通过将目录传递给 cache-dir 字段来启用文件缓存。

  2. 可选:使用配置文件中的 metadata-cache 字段配置统计信息缓存和类型缓存。如需详细了解统计信息和类型缓存,请参阅类型缓存概览统计信息缓存概览

  3. 可选:通过将 ttl-secs 选项设置为基于重复读取之间的预期时间的值来增加缓存条目的 TTL,同时均衡一致性需求。我们建议您将 ttl-secs 值设置为工作负载所允许的最大值。您可以在 Cloud Storage FUSE 配置文件中配置 TTL。如需详细了解如何为缓存条目设置 TTL,请参阅存留时间

    例如,以下配置文件启用 TTL 为 3600 秒且缓存目录设置为 /path/to/a/directory/ 的文件缓存、统计信息缓存和类型缓存。请注意,max-size-mb 设置为 -1,这会将文件缓存配置为使用所有可用容量。

    file-cache:
      max-size-mb: -1
      cache-file-for-range-read: false
    
    metadata-cache:
      stat-cache-max-size-mb: 32
      ttl-secs: 3600
      type-cache-max-size-mb: 4
    
    cache-dir: /path/to/a/directory
    
  4. 在运行工作负载之前,在装载的存储桶上手动运行 ls -R 命令来预先填充元数据,从而以更快的批处理方法在首次读取之前填充类型缓存。

后续步骤