Crea un elenco di URL

Questa pagina spiega come creare un elenco di URL e testare la procedura di generazione di hash MD5. Puoi utilizzare Storage Transfer Service per trasferire dati da un elenco di posizioni di dati pubblici a un bucket Cloud Storage. Quando configuri il trasferimento, basta fare riferimento all'elenco di URL.

Requisiti

Di seguito sono riportati i requisiti degli elenchi di URL:

  • L'elenco di URL deve essere un file con valori delimitati da tabulazioni (TSV).

  • Gli URL devono essere ordinati in ordine alfabetico UTF-8.

  • Il server imposta un'intestazione Etag efficace nella risposta HTTP quando restituisce l'elenco di URL.

  • L'elenco di URL è accessibile pubblicamente da un URL che inizia con http o https.

Per assicurarti che i dati siano trasferibili, verifica quanto segue:

  • Ogni URL specificato sia accessibile pubblicamente.

    Ad esempio, in Cloud Storage puoi condividere un oggetto pubblicamente e ricevere un link.

  • Il file robots.txt del server consente l'accesso a ogni URL.

  • Il server che ospita ogni oggetto:

    • Supporta le richieste Range.
    • Restituisce un'intestazione Content-Length in ogni risposta.

Formattazione dell'elenco di URL

Per formattare un elenco di URL:

  1. Crea un file con valori separati da tabulazioni (TSV).

  2. Inserisci lo specificatore di formato TsvHttpData-1.0 nella prima riga.

  3. Aggiungi altre righe per ogni oggetto da trasferire. Includi i seguenti campi separati da tabulazione, in ordine, su ogni riga:

    • L'URL HTTP o HTTPS di un oggetto di origine.

      Quando un oggetto situato in http(s)://[HOSTNAME]:[PORT]/[URL_PATH] viene trasferito in Cloud Storage, il nome dell'oggetto Cloud Storage è [HOSTNAME]/[URL_PATH].

    • Le dimensioni dell'oggetto in byte.

      Assicurati che la dimensione specificata corrisponda alla dimensione effettiva dell'oggetto quando viene recuperato. Se le dimensioni dell'oggetto ricevuto da Cloud Storage non corrispondono a quelle specificate, il trasferimento dell'oggetto non andrà a buon fine.

    • La somma di controllo MD5 dell'oggetto con codifica base64.

      Assicurati che il checksum MD5 specificato corrisponda al checksum MD5 calcolato dai byte trasferiti. Se il checksum MD5 dell'oggetto ricevuto da Cloud Storage non corrisponde al checksum MD5 specificato, il trasferimento dell'oggetto non andrà a buon fine.

    Di seguito è riportato un file TSV di esempio che specifica due oggetti da trasferire:

    TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

Passaggi successivi