创建网址列表

本页面介绍如何创建网址列表并测试生成 MD5 哈希的过程。您可以使用 Storage Transfer Service 将数据从一系列公共数据位置转移到 Cloud Storage 存储分区。配置转移时，您只需参考该网址列表。

要求

以下是网址列表的要求：

• 网址列表必须是制表符分隔值 (TSV) 文件。

• 网址必须以 UTF-8 字典顺序排列。

• 当服务器返回网址列表时，它会在 HTTP 响应中设置一个强 Etag 标头。

• 您可以通过以 http 或 https 开头的网址公开访问网址列表。

  注意：网址列表值用于 HttpDataurl_list 方法。

为确保您的数据可转移，请验证以下内容：

• 您指定的每个网址均可公开访问。

  例如，在 Cloud Storage 中，您可以公开共享对象并获取共享链接。

• 服务器的 robots.txt 文件允许对每个网址进行访问。

• 托管每个对象的服务器：

  • 支持 Range 请求。
  • 在每个响应中返回一个 Content-Length 标头。

格式化网址列表

要格式化网址列表，请执行以下操作：

1. 创建制表符分隔值 (TSV) 文件。

2. 在第一行插入格式说明符 TsvHttpData-1.0。

3. 为要传输的每个对象添加更多行。按顺序在每一行中包含以下以制表符分隔的字段：

   • 源对象的 HTTP 或 HTTPS 网址。

     当位于 http(s)://[HOSTNAME]:[PORT]/[URL_PATH] 的对象转移到 Cloud Storage 后，该对象在 Cloud Storage 中的名称为 [HOSTNAME]/[URL_PATH]。

   • 此对象的大小（以字节为单位）。

     确保在获取对象时指定的大小与对象的实际大小相符。如果 Cloud Storage 收到的对象的大小与指定的大小不符，则对象转移会失败。

     注意：虽然此步骤是可选的，但我们强烈建议您执行此步骤，以确保数据完整性。

   • 对象的 Base64 编码 MD5 校验和。

     确保指定的 MD5 校验和与从转移的字节计算得出的 MD5 校验和匹配。如果 Cloud Storage 接收的对象的 MD5 校验和与指定的 MD5 校验和不匹配，则对象转移将失败。

     注意：虽然此步骤是可选的，但我们强烈建议您执行此步骤，以确保数据完整性。
     注意：许多校验和工具都会以 Base16 编码格式输出对象的 MD5 校验和。确保提供的值采用 Base64 编码格式。

   以下是指定要转移两个对象的 TSV 文件示例：

   TsvHttpData-1.0
   https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
   https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==
   

注意：创建转移作业时，请避免指定对象条件，例如前缀和修改时间。从网址列表下载文件时将忽略对象条件。

后续步骤

• 创建转移作业。