Crear una lista de URLs

En esta página, se explica cómo crear una lista de URL y cómo probar tu proceso para generar hash MD5. Puedes usar el Servicio de transferencia de almacenamiento para transferir datos de una lista de ubicaciones de datos públicos a un bucket de Cloud Storage. Simplemente, puedes consultar la lista de URL, una vez que configures tu transferencia.

Requisitos

Los siguientes son requisitos de las listas de URL:

  • La lista de URL debe ser un archivo de valores separados por tabulaciones (TSV).

  • Las URL deben clasificarse en orden lexicográfico UTF-8.

  • El servidor establece un encabezado Etag sólido en la respuesta HTTP cuando muestra la lista de URL.

  • Se puede acceder de forma pública a la lista de URL desde una URL que comience con http o https.

Para garantizar que sus datos sean transferibles, verifique lo siguiente:

  • Que cada URL que especifique sea de acceso público.

    Por ejemplo, en Cloud Storage, puedes compartir un objeto de forma pública y obtener su vínculo.

  • El archivo robots.txt del servidor permite el acceso a cada URL.

  • El servidor que aloja cada objeto:

    • Admite solicitudes Range
    • Devuelve un encabezado Content-Length en cada respuesta.

Formatear la lista de URL

Haga lo siguiente para formatear una lista de URL:

  1. Crea un archivo de valores separados por tabulaciones (TSV).

  2. Inserte el especificador TsvHttpData-1.0 de formato en la primera línea.

  3. Agrega líneas adicionales para cada objeto que desees transferir. Incluye los siguientes campos, separados por tabulaciones, en orden y en cada línea:

    • La URL HTTP o HTTPS de un objeto de origen.

      Cuando un objeto ubicado en http(s)://[HOSTNAME]:[PORT]/[URL_PATH] se transfiere a Cloud Storage, el nombre del objeto en Cloud Storage es [HOSTNAME]/[URL_PATH].

    • El tamaño del objeto en bytes.

      Asegúrese de que el tamaño especificado coincida con el tamaño real del objeto cuando se recupera. Si el tamaño del objeto recibido por Cloud Storage no coincide con el tamaño especificado, la transferencia del objeto fallará.

    • La suma de comprobación MD5 codificada en base64 del objeto.

      Asegúrese de que la suma de verificación MD5 especificada coincida con la suma de verificación MD5 calculada a partir de los bytes transferidos. Si la suma de verificación MD5 del objeto recibido por Cloud Storage no coincide con la suma de verificación MD5 especificada, la transferencia del objeto fallará.

    El siguiente es un archivo TSV de muestra que especifica dos objetos para transferir:

    TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

¿Qué sigue?