创建网址列表

本页面介绍如何创建网址列表并测试生成 MD5 哈希的过程。您可以使用 Storage Transfer Service 将数据从一系列公共数据位置转移到 Cloud Storage 存储分区。配置转移时,您只需参考该网址列表。

要求

以下是网址列表的要求:

  • 网址列表必须是制表符分隔值 (TSV) 文件。

  • 网址必须以 UTF-8 字典顺序排列。

  • 当服务器返回网址列表时,它会在 HTTP 响应中设置一个强 Etag 标头。

  • 您可以通过以 httphttps 开头的网址访问网址列表。

为确保您的数据可转移,请验证以下内容:

  • 您指定的每个网址均可公开访问。

    例如,在 Cloud Storage 中,您可以公开共享对象并获取共享链接。

  • 服务器的 robots.txt 文件允许对每个网址进行访问。

  • 托管每个对象的服务器:

    • 支持 Range 请求。
    • 在每个响应中返回一个 Content-Length 标头。

格式化网址列表

要格式化网址列表,请执行以下操作:

  1. 创建制表符分隔值 (TSV) 文件。

  2. 在第一行插入格式说明符 TsvHttpData-1.0

  3. 为要传输的每个对象添加更多行。按顺序在每一行中包含以下以制表符分隔的字段:

    • 源对象的 HTTP 或 HTTPS 网址。

      当位于 http(s)://[HOSTNAME]:[PORT]/[URL_PATH] 的对象转移到 Cloud Storage 后,该对象在 Cloud Storage 中的名称为 [HOSTNAME]/[URL_PATH]

    • 此对象的大小(以字节为单位)。

      确保在获取对象时指定的大小与对象的实际大小相符。如果 Cloud Storage 收到的对象的大小与指定的大小不符,则对象转移会失败。

    • 对象的 Base64 编码 MD5 校验和。

      确保指定的 MD5 校验和与从转移的字节计算得出的 MD5 校验和匹配。如果 Cloud Storage 接收的对象的 MD5 校验和与指定的 MD5 校验和不匹配,则对象转移将失败。

      如需了解如何生成 MD5 校验和,请参阅生成 MD5 校验和

    以下是指定要转移两个对象的 TSV 文件示例:

    TsvHttpData-1.0
    https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
    https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==
    

生成 MD5 校验和

Cloud Storage 使用您为各自提供的 MD5 校验和来验证数据的完整性。

使用以下公共对象来验证您是否将正确生成 MD5 校验和:

https://storage.googleapis.com/md5-test/md5-test

此对象的 Base64 编码 MD5 校验和为 BfnRTwvHpofMOn2Pq7EVyQ==

将对象复制到名为 md5-test 的本地文件,并使用 OpenSSL 验证校验和:

openssl md5 -binary md5-test | openssl enc -base64

后续步骤