在启用了分层命名空间的存储桶中优化性能

本页面提供有关如何在启用了分层命名空间的存储桶中优化性能的指导。

列出对象

以下是列出对象操作的性能注意事项：

• 在启用了分层命名空间的存储桶中，列出整个存储桶的所有对象或带有某个前缀的所有对象需要消耗大量资源，因为该操作必须遍历每个文件夹和子文件夹，类似于文件系统中的 ls -r 命令。因此，存储桶中的文件夹越多，列出对象的速度就越慢。大量空文件夹也会对对象列出性能产生负面影响。为避免对性能造成不利影响，我们建议您在每个文件夹中存放尽可能多的对象，并定期删除空文件夹。
• 在启用了分层命名空间的存储桶中，使用分隔符和特定前缀列出或检索特定文件夹中的对象和子文件夹会更高效，因为对象按文件夹结构进行整理。如需在使用分隔符和特定前缀时优化列出性能，请设置 includeFoldersAsPrefixes 参数。否则，Cloud Storage 会执行额外的检查来排除空文件夹，这可能会减慢操作速度。如需详细了解如何在列出对象时使用 includeFoldersAsPrefixes，请参阅列出对象。

文件夹管理

为了高效管理文件夹，我们建议您采取以下措施：

• 预先创建文件夹结构：使用创建文件夹操作提前获得您想要的文件夹结构，而不是在对象上传、重写和编写操作期间依赖自动创建文件夹功能。预先创建文件夹结构可提高性能一致性和可预测性。
• 尽量提高对象与文件夹的比例：力求获得较高的对象与文件夹比例，因为这样可以减少创建和管理文件夹所需的开销。
• 限制文件夹创建和删除请求数：由于文件夹具有层次结构，因此创建或删除文件夹比处理单个对象更耗费资源。为确保顺畅的性能，Cloud Storage 将每个存储桶的这些操作限制为每秒 1,000 个请求。超出此限制的请求不会受到明确限制，但资源可用性决定了这些请求能否成功处理。

• 定期删除空文件夹：空文件夹可能会累积，尤其是在使用对象生命周期管理或删除对象而不明确删除其父级文件夹时。累积的文件夹可能会影响对象列出操作和其他文件夹相关操作的性能。以下是一些可用于删除空文件夹的方法：

  • 当您使用 Cloud Storage FUSE 或 Cloud Storage 连接器与启用了分层命名空间的存储桶进行交互时，删除目录会删除存储桶中的相应文件夹。
  • 在使用 Google Cloud 控制台或 Google Cloud CLI 时，您可以使用递归式删除来自动删除文件夹。

  • 您可以使用脚本或自动化流程来定期删除空文件夹。以下脚本提供了一种删除空文件夹的基本方法。此脚本会按顺序删除文件夹，对于大型存储桶，此过程可能会很慢，因此您可以考虑针对生产环境优化此脚本。此外，该脚本还会删除所有空文件夹（显式或隐式创建），包括托管文件夹及其关联的 IAM 政策。如果您需要保留特定文件夹和托管文件夹，请根据要保留的资源调整脚本。

    # List all the folders under <bucket>/<prefix> and export results into
    # folders.txt
    gcloud storage folders list gs://<bucket>/<prefix> | grep storage_url | sed 's/storage_url: //' > folders.txt
    
    # Reverse the folder list and export results into folders-reverse.txt
    sed '1!G;h;$!d' folders.txt > folders-reverse.txt
    
    # Try deleting each folder in the reverse order (to guarantee child
    # folders are deleted before parent folders). This will fail for
    # non-empty folders, so only empty folders will be deleted
    xargs -I{} gcloud storage folders delete "{}" < folders-reverse.txt
    

后续步骤

• 创建和管理文件夹。
• 重命名文件夹。
• 列出对象。