已知限制

此页面记录了 Cloud Storage 和本地转移服务的已知限制。

常见限制

Cloud Storage 5TB 对象大小限制

Cloud Storage 支持的单个对象大小上限为 5TB。如果有大于 5TB 的对象,那么对于 Cloud Storage 或本地转移服务,转移这些对象将失败。

Cloud Storage 对象命名要求

Cloud Storage 施加有对象命名要求,该要求适用于所有 Storage Transfer Service 转移。

已更改的对象不会被转移

如果对象的数据在转移过程中更新,则 Storage Transfer Service 会使该特殊对象转移失败,因此该对象不会被转移。

如需解决失败情况,请执行以下操作:

  1. 尝试再次转移。
  2. 如果对象的转移作业仍然失败,请确保其资料在转移期间不会更新:

  3. 转移作业完成后,您可以重新启用对象的更新。

本地转移服务的已知限制

无 API

只能通过 Google Cloud Console 访问 Transfer Service for On Premises Data。我们目前不向 Transfer Service for On Premises Data 作业提供 API 接口。

无实时支持

Transfer Service for On Premises Data 不支持每小时更改检测。Transfer Service for On Premises Data 是一项批处理数据转移服务,频率最高可达每小时一次。

支持的操作系统配置

本地代理转移需要安装 Docker,并在 Linux 服务器或虚拟机 (VM) 上运行。如需复制 CIFS 或 SMB 文件系统上的数据,您可以在 Linux 服务器或虚拟机上装载卷,然后从 Linux 服务器或虚拟机运行该代理。

内存要求

以下是 Transfer Service for On Premises Data 代理的内存要求:
  • 最小内存:1 GiB
  • 支持高性能上传的最小内存:6 GiB

规模限制

Transfer Service for On Premises Data 支持符合以下条件的单个转移作业:

  • 数百 TB 大小
  • 最多 10 亿个文件
  • 数十 Gbps 的传输速度

超过这些大小的单个转移作业也是可靠的,但尚未经过性能测试。

如果您的数据集大于这些限制,我们建议您将数据拆分为多个转移作业。

目前我们支持大型目录,只要在最大的目录中,每个代理对于每 100 万个文件至少有 1GB 的可用内存,我们就可以迭代目录内容,而不会超出内存。

对于单个转移项目,我们最多支持 100 个代理。在典型的本地环境中,不太可能需要更多的代理来实现更好的性能。

每个作业一个目录

我们仅支持转移文件系统目录的完整内容(以递归方式)。您可以创建多个作业来转移数据集的不同子目录,从而将转移作业分成几份,但目前我们不支持单个作业中的文件通配或过滤。

如需详细了解 Transfer Service for On Premises Data 和 Cloud Storage 之间的区别,请参阅 Cloud Storage 转移选项之间的差异

面向代理的统一文件系统访问权限

Transfer Service for On Premises Data 假定所有正在运行的代理有同等权限从源文件系统读取数据,且该访问权限对于 Google Cloud 项目中所有作业的源文件系统是同等的。

如果需要跨多个对源目录设置了不同权限的数据中心运行代理,则必须将作业和代理隔离到不同的 Google Cloud 项目中。每个作业都会有不同的 Pub/Sub 主题和订阅,以便与该作业的代理组进行通信。

支持的文件名

我们希望文件名是 Unicode 兼容的,且不包含换行符。如果源目录包含带换行符的文件名,则该目录的文件列表任务将失败。

如果发生这种情况,请替换文件名中的任何换行符,然后重新运行作业。

支持的文件类型

Transfer Service for On Premises Data 支持转移常规文件。当 Transfer Service for On Premises Data 遇到非常规文件(例如设备、已命名的管道或套接字)时,它会引发 UNSUPPORTED_FILE_MODE 错误。

系统不会在 Cloud Storage 中创建空目录,因为对象不在存储分区的子目录中。如需了解详情,请参阅对象名称考虑事项

路径长度上限

Transfer Service for On Premises Data 遵循 Cloud Storage 的 1024 字节路径长度上限。长度限制中包含目标对象的对象前缀,因为该前缀包含在 Cloud Storage 中的对象名称中。

支持的文件元数据

Transfer Service for On Premises Data 从源文件中提取最后修改时间 (mtime),以复制到相应的 Cloud Storage 目标对象中。其他文件元数据不会保留在转移作业中。

延长了作业暂停时间

暂停时间超过 30 天的作业会被视为无效。当作业处于非活动状态时,暂停的作业将被中止,作业配置时间表会被停用。除非再次显式启用该作业,否则不会启动任何新作业。

来源安全