Créer une liste d'URL

Cette page explique comment créer une liste d'URL et tester le processus de génération de hachages MD5. Vous pouvez transférer des données depuis une liste d'emplacements de données publics vers un bucket Cloud Storage à l'aide du service de transfert de stockage. Lorsque vous configurez le transfert, il vous suffit simplement de vous référer à la liste d'URL.

Conditions requises

Les listes d'URL doivent remplir les conditions suivantes :

  • La liste d'URL doit être un fichier TSV (valeurs séparées par des tabulations).

  • Les URL doivent être triées dans l'ordre lexicographique UTF-8.

  • Le serveur définit un en-tête Etag fort dans la réponse HTTP lorsqu'il renvoie la liste d'URL.

  • La liste d'URL est accessible publiquement à partir d'une URL commençant par http ou https.

Pour vous assurer que vos données sont transférables, vérifiez les points suivants :

  • Chaque URL spécifiée est accessible au public.

    Par exemple, dans Cloud Storage, vous pouvez partager un objet publiquement et obtenir un lien vers celui-ci.

  • Le fichier robots.txt du serveur autorise l'accès à chaque URL.

  • Le serveur hébergeant chaque objet :

    • Est compatible avec les requêtes Range
    • Renvoie un en-tête Content-Length dans chaque réponse.

Mettre en forme la liste d'URL

Procédez comme suit pour mettre en forme une liste d'URL :

  1. Créez un fichier de valeurs séparées par des tabulations (TSV).

  2. Insérez le spécificateur de format TsvHttpData-1.0 sur la première ligne.

  3. Ajoutez des lignes supplémentaires pour chaque objet à transférer. Sur chaque ligne, incluez, dans l'ordre, les champs suivants séparés par des tabulations :

    • L'URL HTTP ou HTTPS d'un objet source.

      Lorsqu'un objet situé sur http(s)://[HOSTNAME]:[PORT]/[URL_PATH] est transféré vers Cloud Storage, le nom de l'objet dans Cloud Storage est [HOSTNAME]/[URL_PATH].

    • La taille de l'objet en octets.

      Assurez-vous que la taille spécifiée correspond à la taille réelle de l'objet lors de son extraction. Si la taille de l'objet reçu par Cloud Storage ne correspond pas à la taille spécifiée, le transfert de l'objet échouera.

    • La somme de contrôle MD5 encodée en Base64 de l'objet.

      Assurez-vous que la somme de contrôle MD5 spécifiée correspond à celle calculée à partir des octets transférés. Si la somme de contrôle MD5 de l'objet reçu par Cloud Storage ne correspond pas à celle spécifiée, le transfert de l'objet échouera.

    Voici un exemple de fichier TSV spécifiant deux objets à transférer :

    TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

Étapes suivantes