このページでは、URL リストを作成し、MD5 ハッシュを生成するプロセスをテストする方法について説明します。Storage Transfer Service を使用すると、一般公開データのロケーションのリストから、Cloud Storage バケットにデータを転送できます。転送を構成するときは、その URL リストを参照するだけです。
要件
URL リストの要件は次のとおりです。
URL リストは、タブ区切りの値（TSV）ファイルである必要があります。
URL は UTF-8 の辞書順で並べる必要があります。
URL リストを返すときに、サーバーは HTTP レスポンスに強力な
Etagヘッダーを設定します。URL リストには、
httpまたはhttpsで始まる URL からアクセスできます。
データが確実に転送されるようにするために、次のことを確認します。
指定した各 URL が一般公開されていること。
たとえば、Cloud Storage では、オブジェクトを一般公開で共有し、そのオブジェクトへのリンクを取得します。
サーバーの
robots.txtファイルが各 URL へのアクセスを許可していること。各オブジェクトをホストするサーバーが次の条件を満たしていること。
Rangeリクエストのサポート- 各レスポンスで
Content-Lengthヘッダーを返すこと。
URL リストのフォーマット
URL リストをフォーマットするには、次の手順を行います。
タブ区切り値（TSV）ファイルを作成します。
1 行目に形式指定子
TsvHttpData-1.0を挿入します。転送するオブジェクトごと行を追加します。各行では、次のタブ区切りフィールドをこの順番で指定します。
転送元オブジェクトの HTTP または HTTPS URL。
http(s)://[HOSTNAME]:[PORT]/[URL_PATH]にあるオブジェクトが Cloud Storage に転送されると、Cloud Storage 内のオブジェクトの名前は[HOSTNAME]/[URL_PATH]になります。オブジェクトのサイズ（バイト単位）。
指定されたサイズが、フェッチされたときのオブジェクトの実際のサイズと一致することを確認します。Cloud Storage が受け取ったオブジェクトのサイズが指定されたサイズと一致しない場合、オブジェクトの転送は失敗となります。
オブジェクトの Base64 でエンコードされた MD5 ハッシュ。
指定された MD5 チェックサムが、転送されたバイトから計算された MD5 チェックサムと一致することを確認します。Cloud Storage が受け取ったオブジェクトの MD5 チェックサムが、指定された MD5 チェックサムと一致しない場合、オブジェクトの転送は失敗となります。
次に、転送する 2 つのオブジェクトを指定する TSV ファイルのサンプルを示します。
TsvHttpData-1.0 https://example.com/buckets/obj1 1357 wHENa08V36iPYAsOa2JAdw== https://example.com/buckets/obj2 2468 R9acAaveoPd2y8nniLUYbw==