Cloud Storage FUSE 性能

本页面提供了有关如何提升 Cloud Storage FUSE 性能的指南。

提高读写性能

为了提高读写性能,我们建议您执行以下操作:

  • 启用缓存:Cloud Storage FUSE 提供四种可选的客户端缓存类型,可在本地存储特定类型的数据和元数据,以帮助提高性能:

    Cloud Storage FUSE 缓存适用于所选存储空间支持的任何用户指定的目录。Cloud Storage FUSE 缓存性能与缓存使用的底层存储空间相匹配,且开销极低。

  • 通过启用并行下载来加快读取速度:通过启用并行下载,加快大小超过 1 GB 的大型文件的读取速度。如需了解详情,请参阅使用并行下载提升读取性能

  • 尽可能运行顺序读取工作负载:与随机读取工作负载相比,Cloud Storage FUSE 更适合顺序读取工作负载。Cloud Storage FUSE 使用启发法来检测文件何时被顺序读取,这使得 Cloud Storage FUSE 能够使用相同的 TCP 连接向 Cloud Storage 发出更少、更大的读取请求。

  • 根据读取类型调整文件大小:为了优化顺序读取性能,我们建议您上传和读取大小介于 5 MB 到 200 MB 之间的文件。为了优化随机读取性能,我们建议您上传和读取大小约为 2 MB 的文件。

  • 装载启用了分层命名空间的存储桶:为了提高读写性能速度并确保原子性,以支持初始每秒查询次数 (QPS) 较高的操作,我们建议装载启用了分层命名空间的存储桶。如需详细了解启用了分层命名空间的存储桶如何提高 Cloud Storage FUSE 性能,请参阅装载启用了分层命名空间的存储桶

提高首次读取性能

在运行工作负载之前,我们建议您先以递归方式列出已装载存储桶中的文件,以便提前填充统计信息和类型缓存,并以更快的批处理方法提高首次运行时的性能:

ls -R MOUNT_POINT > /dev/null

使用文件缓存来提高吞吐量

Cloud Storage FUSE 的延迟时间高于本地文件系统。当您一次读取或写入一个小型文件时,吞吐量会降低,因为这会导致多次单独的 API 调用。一次读取或写入多个大型文件有助于提高吞吐量。使用 Cloud Storage FUSE 文件缓存功能提高较小的随机 I/O 的性能。 如需详细了解文件缓存以及如何启用该功能,请参阅使用 Cloud Storage FUSE 文件缓存

装载启用了分层命名空间的存储桶

为了确保原子性以支持初始每秒查询次数 (QPS) 较高的操作(例如检查点和目录重命名或更改),我们建议您装载启用了分层命名空间的存储分区。分层命名空间会将您的数据整理到分层文件系统结构中,从而提高存储分区内的操作效率。列出对象调用 (BucketHandle.Objects) 已替换为获取文件夹调用,从而缩短了响应时间,并减少了每个操作的列出调用总次数。

增加预读取大小以提高大读取吞吐量

您可以在本地计算机上使用 read_ahead_kb Linux 内核参数,增加每个读取请求预取的数据量,从而提高大数据读取吞吐量。我们建议将 read_ahead_kb 内核参数增加到 1 MB,而不是使用大多数 Linux 发行版上设置的默认值 128 KB。您必须拥有 sudoroot 权限才能成功增加内核参数。

如需将特定 Cloud Storage FUSE 挂载目录的 read_ahead_kb 内核参数增加到 1 MB,请使用以下命令,其中 /path/to/mount/point 是您的 Cloud Storage FUSE 挂载点。您必须先将存储桶挂载到 Cloud Storage FUSE,然后才能运行该命令,否则内核参数不会增加。

  export MOUNT_POINT=/path/to/mount/point
  echo 1024 | sudo tee /sys/class/bdi/0:$(stat -c "%d" $MOUNT_POINT)/read_ahead_kb

实现最大吞吐量

如需实现最大吞吐量,请使用具有足够 CPU 资源的机器来提高吞吐量并使网络接口卡 (NIC) 达到饱和。CPU 资源不足可能会导致 Cloud Storage FUSE 限流。

如果您使用的是 Google Kubernetes Engine,则在工作负载需要更高的吞吐量时,请增加分配给 Cloud Storage FUSE 边车容器的 CPU 数量。您可以增加边车容器使用的资源或分配不限数量的资源。

以每秒查询次数评估 IOPS 需求

对于需要高瞬时每秒输入/输出操作数 (IOPS)(在 Cloud Storage 中也称为“每秒查询次数”)的工作负载,Filestore 是比 Cloud Storage FUSE 更好的选择。Filestore 也是在单个文件系统上获得非常高的 IOPS 和更低延迟的更好选择。

或者,如果底层缓存介质 IOPS 高、延时低,您还可以使用 Cloud Storage FUSE 文件缓存功能在其性能特征基础上进行构建。

执行负载测试

如需了解如何对 Cloud Storage FUSE 执行负载测试,请参阅 GitHub 文档中的性能基准

后续步骤