Questa pagina spiega come creare un elenco di URL e testare la procedura per la generazione di hash MD5. Puoi utilizzare Storage Transfer Service per trasferire i dati da un elenco di località di dati pubbliche a un bucket Cloud Storage. Quando configuri il trasferimento, ti basta fare riferimento all'elenco di URL.
Requisiti
Di seguito sono riportati i requisiti degli elenchi di URL:
L'elenco degli URL deve essere un file di valori separati da tabulazioni (TSV).
Gli URL devono essere ordinati secondo l'ordine lessicografico UTF-8.
Il server imposta un'intestazione
Etag
efficace nella risposta HTTP quando restituisce l'elenco di URL.L'elenco degli URL è accessibile pubblicamente da un URL che inizia con
http
ohttps
.
Per assicurarti che i tuoi dati siano trasferibili, verifica quanto segue:
Che ogni URL specificato sia accessibile pubblicamente.
Ad esempio, in Cloud Storage, puoi condividere un oggetto pubblicamente e ottenere un link all'oggetto.
Il file
robots.txt
del server consente l'accesso a ogni URL.Il server che ospita ciascun oggetto:
- Supporta le richieste
Range
. - Restituisce un'intestazione
Content-Length
in ogni risposta.
- Supporta le richieste
Formattazione dell'elenco di URL
Per formattare un elenco di URL, procedi nel seguente modo:
Crea un file di valori separati da tabulazioni (TSV).
Inserisci l'identificatore di formato
TsvHttpData-1.0
nella prima riga.Aggiungi altre righe per ogni oggetto da trasferire. Includi i seguenti campi separati da tabulazioni, in ordine, su ogni riga:
L'URL HTTP o HTTPS di un oggetto di origine.
Quando un oggetto che si trova in
http(s)://[HOSTNAME]:[PORT]/[URL_PATH]
viene trasferito in Cloud Storage, il nome dell'oggetto in Cloud Storage è[HOSTNAME]/[URL_PATH]
.La dimensione dell'oggetto in byte.
Assicurati che le dimensioni specificate corrispondano alle dimensioni effettive dell'oggetto quando viene recuperato. Se le dimensioni dell'oggetto ricevuto da Cloud Storage non corrispondono a quelle specificate, il trasferimento dell'oggetto non andrà a buon fine.
Il checksum MD5 con codifica Base64 dell'oggetto.
Assicurati che il checksum MD5 specificato corrisponda al checksum MD5 calcolato dai byte trasferiti. Se il checksum MD5 dell'oggetto ricevuto da Cloud Storage non corrisponde al checksum MD5 specificato, il trasferimento dell'oggetto non andrà a buon fine.
Di seguito è riportato un file TSV di esempio che specifica due oggetti da trasferire:
TsvHttpData-1.0 https://example.com/buckets/obj1 1357 wHENa08V36iPYAsOa2JAdw== https://example.com/buckets/obj2 2468 R9acAaveoPd2y8nniLUYbw==