URL-Liste erstellen

Auf dieser Seite wird gezeigt, wie Sie eine URL-Liste erstellen und den Vorgang zum Generieren von MD5-Hashes testen. Mit dem Storage Transfer Service können Sie Daten aus einer Liste öffentlicher Datenzonen in einen Cloud Storage-Bucket übertragen. Zum Konfigurieren der Übertragung verwenden Sie dann einfach die URL-Liste.

Anforderungen

URL-Listen müssen folgende Anforderungen erfüllen:

  • Die URL-Liste muss eine TSV-Datei (mit tabulatorgetrennten Werten) sein.

  • URLs müssen in lexikografischer Reihenfolge in UTF-8 sortiert werden.

  • Der Server legt einen starken Etag-Header in der HTTP-Antwort fest, wenn er die URL-Liste zurückgibt.

  • Die URL-Liste kann öffentlich über eine URL aufgerufen werden, die mit http oder https beginnt.

Prüfen Sie Folgendes, um sicherzustellen, dass Ihre Daten übertragbar sind:

  • Jede angegebene URL ist öffentlich zugänglich.

    In Cloud Storage können Sie beispielsweise ein Objekt öffentlich freigeben und erhalten dafür einen Link.

  • Die robots.txt-Datei des Servers ermöglicht den Zugriff auf jede URL.

  • Der Server, der jedes Objekt hostet:

    • Unterstützt Range-Anfragen.
    • Gibt in jeder Antwort einen Content-Length-Header zurück.

URL-Liste formatieren

So formatieren Sie eine URL-Liste:

  1. Erstellen Sie eine TSV-Datei.

  2. Geben Sie in der ersten Zeile den Format-Spezifizierer TsvHttpData-1.0 ein.

  3. Fügen Sie für jedes zu übertragende Objekt eine weitere Zeile ein. Verwenden Sie dabei die folgenden tabulatorgetrennten Felder in dieser Reihenfolge:

    • HTTP- oder HTTPS-URL des Quellobjekts.

      Wenn ein Objekt unter http(s)://[HOSTNAME]:[PORT]/[URL_PATH] an Cloud Storage übertragen wird, lautet der Name des Objekts in Cloud Storage [HOSTNAME]/[URL_PATH].

    • Größe des Objekts in Byte.

      Achten Sie darauf, dass die angegebene Größe mit der tatsächlichen Größe des Objekts beim Abrufen übereinstimmt. Wenn die Größe des Objekts, das von Cloud Storage empfangen wird, nicht mit der angegebenen Größe übereinstimmt, schlägt die Objektübertragung fehl.

    • Die base64-codierte MD5-Prüfsumme des Objekts.

      Achten Sie darauf, dass die angegebene MD5-Prüfsumme mit der aus den übertragenen Byte berechneten MD5-Prüfsumme übereinstimmt. Wenn die MD5-Prüfsumme des von Cloud Storage empfangenen Objekts nicht mit der angegebenen MD5-Prüfsumme übereinstimmt, schlägt die Objektübertragung fehl.

    Das folgende Beispiel zeigt eine TSV-Datei, die zwei zu übertragende Objekte angibt:

    TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

Nächste Schritte