Creare un elenco di URL

In questa pagina viene spiegato come creare un elenco di URL e testare il processo per la generazione di hash MD5. Puoi utilizzare Storage Transfer Service per trasferire dati da un elenco di località di dati pubbliche a un bucket Cloud Storage. Quando configuri il trasferimento, devi semplicemente fare riferimento all'elenco degli URL.

Requisiti

Di seguito sono riportati i requisiti degli elenchi di URL:

  • L'elenco degli URL deve essere un file con valori separati da tabulazioni (TSV).

  • Gli URL devono essere ordinati in ordine lessicografico UTF-8.

  • Il server imposta un'intestazione Etag efficace nella risposta HTTP quando restituisce l'elenco di URL.

  • L'elenco degli URL è accessibile pubblicamente da un URL che inizia con http o https.

Per assicurarti che i tuoi dati siano trasferibili, verifica quanto segue:

  • Tieni presente che ogni URL specificato è accessibile pubblicamente.

    Ad esempio, in Cloud Storage, puoi condividere un oggetto pubblicamente e ricevere un link al suo interno.

  • Il file robots.txt del server consente l'accesso a ogni URL.

  • Il server che ospita ogni oggetto:

    • Supporta Range richieste.
    • Restituisce un'intestazione Content-Length in ogni risposta.

Formattazione dell'elenco di URL

Per formattare un elenco di URL, procedi nel seguente modo:

  1. Crea un file TSV (delimitati da tabulazioni).

  2. Inserisci lo specificatore di formato TsvHttpData-1.0 nella prima riga.

  3. Aggiungi righe aggiuntive per ogni oggetto da trasferire. Includi in ogni riga i seguenti campi delimitati da tabulazioni:

    • L'URL HTTP o HTTPS di un oggetto di origine.

      Quando un oggetto che si trova in http(s)://[HOSTNAME]:[PORT]/[URL_PATH] viene trasferito a Cloud Storage, il nome dell'oggetto in Cloud Storage è [HOSTNAME]/[URL_PATH].

    • Le dimensioni dell'oggetto in byte.

      Assicurati che le dimensioni specificate corrispondano alle dimensioni effettive dell'oggetto quando viene recuperato. Se le dimensioni dell'oggetto ricevuto da Cloud Storage non corrispondono alle dimensioni specificate, il trasferimento dell'oggetto non andrà a buon fine.

    • Il checksum MD5 con codifica Base64 dell'oggetto.

      Assicurati che il checksum MD5 specificato corrisponda al checksum MD5 calcolato dai byte trasferiti. Se il checksum MD5 dell'oggetto ricevuto da Cloud Storage non corrisponde al checksum MD5 specificato, il trasferimento dell'oggetto non riuscirà.

    Di seguito è riportato un file TSV di esempio che specifica due oggetti da trasferire:

    TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

Passaggi successivi