URL リストの作成

このページでは、URL リストを作成し、MD5 ハッシュを生成するプロセスをテストする方法について説明します。Cloud Storage Transfer Service を使用すると、一般公開データの場所のリストから、Google Cloud Storage バケットにデータを転送できます。場所のリストを作成したら、そのリストを、http または https から始まる URL にアップロードする必要があります。転送を設定するときは、その URL リストを参照するだけです。

URL リストの作成

URL リストの作成プロセスを次に示します。

  1. タブ区切り値(TSV)ファイルを作成します。

    URL リストは、タブ区切り値(TSV)ファイルである必要があります。このファイルには、ダウンロードする URL が示されています。

  2. 先頭行を形式指定子 TsvHttpData-1.0 に設定します。

  3. 転送するオブジェクトごと行を追加します。各行では、次のタブ区切りフィールドをこの順番で指定します。

    1. 転送元オブジェクトの HTTP または HTTPS URL。 指定した各 URL が一般公開されていることを確認します。たとえば、Cloud Storage では、オブジェクトを一般公開で共有し、そのオブジェクトへのリンクを取得します。また、サーバーの robots.txt ファイルによって URL へのアクセスが許可されていることも確認します。

      各オブジェクトをホストするサーバーによって Range リクエストがサポートされていること、また、各レスポンスで Content-Length ヘッダーが返されることを確認します。

    2. オブジェクトのサイズ(バイト単位)。 指定したサイズが、フェッチされたオブジェクトの実際のサイズと一致することを確認します。サイズが一致しない場合、オブジェクトは転送されません。

    3. オブジェクトの Base64 でエンコードされた MD5 ハッシュ。 指定した MD5 が、転送されたバイト数から計算された MD5 と一致することを確認します。MD5 が一致しない場合、オブジェクトの転送は失敗します。詳しくは、MD5 ハッシュの生成をご覧ください。
  4. ウェブサーバーによって URL リストを返されるときに、HTTP レスポンスで強い Etag ヘッダーが設定されていることを確認します。

次の例は、転送する 2 つのオブジェクトを特定する TSV ファイルを示しています。

TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

MD5 ハッシュの生成

上記で示したように、URL リストには、転送するオブジェクトごとに MD5 ハッシュが示されている必要があります。

次の一般公開オブジェクトを使用して、MD5 ハッシュを正しく生成していることを確認します。

https://storage.googleapis.com/md5-test/md5-test

このオブジェクトは、Base64 でエンコードされた BfnRTwvHpofMOn2Pq7EVyQ== の MD5 ハッシュです。

オブジェクトを md5-test というローカル ファイルにコピーし、OpenSSL を使用してハッシュを確認します。

openssl md5 -binary md5-test | openssl enc -base64

次のステップ

フィードバックを送信...

Cloud Storage ドキュメント