已知限制

此页面记录了 Cloud Storage 和本地转移服务的已知限制。

常见限制

Cloud Storage 5TB 对象大小限制

Cloud Storage 支持的单个对象大小上限为 5TB。如果有大于 5TB 的对象,那么对于 Cloud Storage 或本地转移服务,转移这些对象会失败。

Cloud Storage 对象命名要求

Cloud Storage 施加有对象命名要求,该要求适用于所有 Storage Transfer Service 转移。

已更改的对象不会被转移

如果对象的数据在转移过程中更新,则下面将介绍 Storage Transfer Service 如何响应:

  • 从非 Google Cloud 转移到 Google Cloud 的数据:如果对象的数据在转移过程中更新,则 Storage Transfer Service 会使该特殊对象转移失败,因此该对象不会被转移。

  • 从本地转移到 Google Cloud:如果对象的数据在转移过程中更新,则本地转移服务会尝试再次上传。如果上传失败多次,Transfer for On-Prem 会记录 FILE_MODIFIED_FAILURE。如需了解详情,请参阅排查本地转移问题

  • 从 Google Cloud 转移到本地:如果对象的数据在转移过程中更新,则本地转移作业会尝试再次下载。如果下载失败多次,则本地转移作业会记录 PRECONDITION_FAILURE。如需了解详情,请参阅排查本地转移问题

如需解决失败情况,请执行以下操作:

  1. 尝试再次转移。
  2. 如果对象的转移作业仍然失败,请确保其资料在转移期间不会更新:

  3. 转移作业完成后,您可以重新启用对象的更新。

Cloud Storage 中的文件夹

Cloud Storage 对象位于存储桶内的平面命名空间中。如需了解详情,请参阅对象名称考虑事项。 因此,Storage Transfer Service 不会在 Cloud Storage 中创建分层命名空间。例如,如果您要从 Azure 数据湖存储空间 (ADLS) 第 2 代进行传输,则 Storage Transfer Service 不会在 Cloud Storage 中重新创建 ADLS 第 2 代命名空间。

删除具有版本控制的暂停 Amazon S3 存储桶中的对象

在具有版本控制的暂停 Amazon S3 存储桶中转移特征后,使用 Storage Transfer Service 的删除对象时,Storage Transfer Service 会移除版本 ID 为 null(而非当前版本)的对象。

Storage Transfer Service 作业的位置

Storage Transfer Service 根据来源 Cloud Storage 存储桶所在的区域选择其位置。到目前为止,我们仅在下面列出的位置创建 Storage Transfer Service 作业。此列表可能会发生变化,因为 Storage Transfer Service 会添加对新区域的支持。

  • ASIA-EAST1
  • ASIA-EAST2
  • ASIA-SOUTHEAST1 区域
  • EUROPE-WEST1
  • EUROPE-WEST4
  • EUROPE-NORTH1
  • US-CENTRAL1
  • US-CENTRAL2
  • US-EAST1
  • US-EAST4
  • US-WEST1
  • US-WEST2
  • US-WEST3
  • US-WEST4
  • NAM4

如果来源 Cloud Storage 存储桶与上述区域位于不同区域,我们将选择其外部区域内的默认区域。

本地转移服务的已知限制

无实时支持

Transfer Service for On Premises Data 不支持每小时更改检测。Transfer Service for On Premises Data 是一项批处理数据转移服务,频率最高可达每小时一次。

支持的操作系统配置

本地代理转移需要安装 Docker,并在 Linux 服务器或虚拟机 (VM) 上运行。如需复制 CIFS 或 SMB 文件系统上的数据,您可以在 Linux 服务器或虚拟机上装载卷,然后从 Linux 服务器或虚拟机运行该代理。

内存要求

以下是 Transfer Service for On Premises Data 代理的内存要求:
  • 最小内存:1 GiB
  • 支持高性能上传的最小内存:6 GiB

规模限制

Transfer Service for On Premises Data 支持符合以下条件的单个转移作业:

  • 数百 TB 大小
  • 最多 10 亿个文件
  • 数十 Gbps 的传输速度

超过这些大小的单个转移作业也是可靠的,但尚未经过性能测试。

如果您的数据集大于这些限制,我们建议您将数据拆分为多个转移作业。

目前我们支持大型目录,只要在最大的目录中,每个代理对于每 100 万个文件至少有 1GB 的可用内存,我们就可以迭代目录内容,而不会超出内存。

对于单个转移项目,我们最多支持 100 个代理。在典型的本地环境中,不太可能需要更多的代理来实现更好的性能。

每个作业一个目录

我们仅支持转移文件系统目录的完整内容(以递归方式)。您可以创建多个作业来转移数据集的不同子目录,从而将转移作业分成几份,但目前我们不支持单个作业中的文件通配或过滤。

如需详细了解 Transfer Service for On Premises Data 和 Cloud Storage 之间的区别,请参阅 Cloud Storage 转移选项之间的差异

支持的文件名

我们希望文件名是 Unicode 兼容的,且不包含换行符。如果源目录包含带换行符的文件名,则该目录的文件列出任务会失败。

如果发生这种情况,请替换文件名中的任何换行符,然后重新运行作业。

支持的文件类型

Transfer Service for On Premises Data 支持传输常规文件和类似 Unix 的隐藏文件。Unix 样式的隐藏文件是以 . 字符开头的文件。当 Transfer Service for On Premises Data 遇到非常规文件(例如设备、已命名的管道或套接字)时,它会引发 UNSUPPORTED_FILE_MODE 错误。

系统不会在 Cloud Storage 中创建空目录,因为对象不在存储桶的子目录中。如需了解详情,请参阅对象名称考虑事项

路径长度上限

Transfer Service for On Premises Data 遵循 Cloud Storage 的 1024 字节路径长度上限。长度限制中包含目标对象的对象前缀,因为该前缀包含在 Cloud Storage 中的对象名称中。

支持的文件元数据

如需详细了解默认或可选择保留的元数据,请参阅元数据保留

延长了作业暂停时间

暂停时间超过 30 天的作业会被视为无效。当作业处于非活动状态时,暂停的作业将被中止,作业配置时间表会被停用。除非再次显式启用该作业,否则不会启动任何新作业。

来源安全