Crea un elenco di URL

Questa pagina spiega come creare un elenco di URL e testare la procedura per la generazione di hash MD5. Puoi utilizzare Storage Transfer Service per trasferire i dati da un elenco di località di dati pubbliche a un bucket Cloud Storage. Quando configuri il trasferimento, ti basta fare riferimento all'elenco di URL.

Requisiti

Di seguito sono riportati i requisiti degli elenchi di URL:

  • L'elenco degli URL deve essere un file di valori separati da tabulazioni (TSV).

  • Gli URL devono essere ordinati secondo l'ordine lessicografico UTF-8.

  • Il server imposta un'intestazione Etag efficace nella risposta HTTP quando restituisce l'elenco di URL.

  • L'elenco degli URL è accessibile pubblicamente da un URL che inizia con http o https.

Per assicurarti che i tuoi dati siano trasferibili, verifica quanto segue:

  • Che ogni URL specificato sia accessibile pubblicamente.

    Ad esempio, in Cloud Storage, puoi condividere un oggetto pubblicamente e ottenere un link all'oggetto.

  • Il file robots.txt del server consente l'accesso a ogni URL.

  • Il server che ospita ciascun oggetto:

    • Supporta le richieste Range.
    • Restituisce un'intestazione Content-Length in ogni risposta.

Formattazione dell'elenco di URL

Per formattare un elenco di URL, procedi nel seguente modo:

  1. Crea un file di valori separati da tabulazioni (TSV).

  2. Inserisci l'identificatore di formato TsvHttpData-1.0 nella prima riga.

  3. Aggiungi altre righe per ogni oggetto da trasferire. Includi i seguenti campi separati da tabulazioni, in ordine, su ogni riga:

    • L'URL HTTP o HTTPS di un oggetto di origine.

      Quando un oggetto che si trova in http(s)://[HOSTNAME]:[PORT]/[URL_PATH] viene trasferito in Cloud Storage, il nome dell'oggetto in Cloud Storage è [HOSTNAME]/[URL_PATH].

    • La dimensione dell'oggetto in byte.

      Assicurati che le dimensioni specificate corrispondano alle dimensioni effettive dell'oggetto quando viene recuperato. Se le dimensioni dell'oggetto ricevuto da Cloud Storage non corrispondono a quelle specificate, il trasferimento dell'oggetto non andrà a buon fine.

    • Il checksum MD5 con codifica Base64 dell'oggetto.

      Assicurati che il checksum MD5 specificato corrisponda al checksum MD5 calcolato dai byte trasferiti. Se il checksum MD5 dell'oggetto ricevuto da Cloud Storage non corrisponde al checksum MD5 specificato, il trasferimento dell'oggetto non andrà a buon fine.

    Di seguito è riportato un file TSV di esempio che specifica due oggetti da trasferire:

    TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

Passaggi successivi