Créer une liste d'URL

Cette page explique comment créer une liste d'URL et tester le processus de génération de hachages MD5. Vous pouvez transférer des données depuis une liste d'emplacements de données publics vers un bucket Cloud Storage à l'aide du service de transfert de stockage. Une fois la liste d'emplacements créée, vous devez l'importer sur une URL commençant par http ou https. Pour configurer le transfert, il vous suffit simplement de vous référer à la liste d'URL.

Créer une liste d'URL

Pour créer une liste d'URL, suivez la procédure ci-dessous :

  1. Créez un fichier de valeurs séparées par des tabulations (TSV).

    La liste d'URL doit être un fichier TSV qui répertorie les URL à télécharger.

  2. Définissez la première ligne sur le spécificateur de format, TsvHttpData-1.0.

  3. Ajoutez des lignes supplémentaires pour chaque objet à transférer. Sur chaque ligne, incluez, dans l'ordre, les champs suivants séparés par des tabulations :

    1. L'URL HTTP ou HTTPS d'un objet source. Vérifiez que chaque URL spécifiée est accessible au public. Par exemple, dans Cloud Storage, vous pouvez partager un objet publiquement et obtenir un lien vers celui-ci. Vérifiez également si le fichier robots.txt du serveur autorise bien l'accès à l'URL.

      Vérifiez que le serveur qui héberge chaque objet est compatible avec les requêtes Range et qu'il renvoie un en-tête Content-Length dans chaque réponse.

    2. La taille de l'objet en octets. Veillez à ce que la taille spécifiée corresponde à la taille réelle de l'objet lors de l'extraction. Si ce n'est pas le cas, l'objet ne sera pas transféré.

    3. Le hachage MD5 codé en Base64 de l'objet. Vérifiez si le hachage MD5 spécifié correspond au hachage MD5 calculé à partir des octets transférés. Si ce n'est pas le cas, l'objet ne sera pas transféré. Pour en savoir plus, consultez la section Générer des hachages MD5.

  4. Vérifiez si votre serveur Web définit un en-tête Etag fort dans la réponse HTTP lorsqu'il renvoie la liste d'URL.

L'exemple suivant montre un fichier TSV qui identifie deux objets à transférer :

TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

Générer des hachages MD5

Comme indiqué ci-dessus, la liste d'URL doit fournir un hachage MD5 pour chaque objet en cours de transfert.

Pour vérifier que vous générez correctement les hachages MD5, utilisez l'objet public suivant :

https://storage.googleapis.com/md5-test/md5-test

Cet objet dispose d'un hachage MD5 codé en Base64 de BfnRTwvHpofMOn2Pq7EVyQ==.

Copiez l'objet dans un fichier local appelé md5-test et vérifiez le hachage à l'aide d'OpenSSL :

openssl md5 -binary md5-test | openssl enc -base64

Étapes suivantes

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Documentation sur le service de transfert de stockage Cloud Storage