建立網址清單

本頁會說明如何建立網址清單,並介紹 MD5 雜湊產生流程的測試方式。您可以使用 Storage 移轉服務將資料從公開資料位置清單移轉到 Cloud Storage 值區中。製作出位置清單後,請務必將該清單上傳至 httphttps 開頭的網址。在設定資料移轉時,只需要參考該網址清單即可。

建立網址清單

請按照下列程序建立網址清單:

  1. 建立定位點分隔值 (TSV) 檔案。

    網址清單必須為定位點分隔值 (TSV) 檔案,在其中列出您想下載的網址清單。

  2. 將第一行設定為格式指定碼「TsvHttpData-1.0」。

  3. 新增各項移轉物件所需的資料行,在每一行中依序加入以下定位點分隔值欄位:

    1. 來源物件的 HTTP 或 HTTPS 的網址。 您所指定的每個網址皆須可供公開存取。例如在 Cloud Storage 中,您可以公開共用物件並取得該物件的連結。此外,請確認伺服器的 robots.txt 檔案可存取該網址。

      請檢查託管每個物件的伺服器是否支援 Range 要求,且會在每次回應中傳回 Content-Length 標頭。

    2. 物件大小 (以位元組為單位)。 請確認指定的大小符合物件在擷取時的實際大小。如果大小不相符,系統不會移轉物件。

    3. 物件的 Base64 編碼 MD5 雜湊。 指定的 MD5 必須與移轉後位元組計算所得的 MD5 相符。如果 MD5 不相符,物件移轉就會失敗。詳請請參閱產生 MD5 雜湊一文。

  4. 請確認您的網路伺服器傳回網址清單時,會在 HTTP 回應中設定高強度的 Etag 標頭。

下列範例是可識別要移轉的兩個物件的 TSV 檔案:

TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

產生 MD5 雜湊

如上所述,您的網址清單必須提供 MD5 雜湊給要移轉的每個物件。

請使用下列公開物件,確認是否產生了正確的 MD5 雜湊:

https://storage.googleapis.com/md5-test/md5-test

此物件具有 BfnRTwvHpofMOn2Pq7EVyQ== 的 Base64 編碼 MD5 雜湊。

請將物件複製到名為 md5-test 的本機檔案,並確認該雜湊是否使用 OpenSSL

openssl md5 -binary md5-test | openssl enc -base64

後續步驟

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Cloud Storage 移轉服務說明文件