Storage Transfer Service utilizza i metadati disponibili nel sistema di archiviazione di origine, come i checksum e le dimensioni dei file, per garantire che i dati scritti in Cloud Storage siano gli stessi letti dall'origine.
Quando sono disponibili i metadati del checksum
Se i metadati del checksum sul sistema di archiviazione di origine indicano che i dati ricevuti da Storage Transfer Service non corrispondono ai dati di origine, Storage Transfer Service registra un errore per l'operazione di trasferimento. Alcuni esempi di sistemi di archiviazione che includono metadati di checksum sono la maggior parte degli oggetti Amazon Simple Storage Service (Amazon S3) e Microsoft Azure Blob Storage (con alcune eccezioni) e i trasferimenti HTTP (i metadati di checksum sono forniti dall'utente).
Quando i metadati del checksum non sono disponibili
Quando gli agenti possono essere eseguiti vicino all'origine
Se i metadati del checksum non sono disponibili nel sistema di archiviazione di origine sottostante, ma gli agenti possono essere eseguiti localmente vicino al sistema di archiviazione di origine, Storage Transfer Service tenta di leggere i dati di origine e calcolare un checksum prima di inviarli a Cloud Storage. Questo accade quando sposti i dati dai file system a Cloud Storage.
Quando gli agenti non possono essere eseguiti vicino all'origine
Se i metadati del checksum non sono disponibili nel sistema di archiviazione di origine sottostante e gli agenti non possono essere eseguiti localmente vicino al sistema di archiviazione di origine, Storage Transfer Service non può calcolare un checksum finché i dati non arrivano in Cloud Storage. In questo scenario, Storage Transfer Service copia i dati, ma non può eseguire controlli di integrità dei dati end-to-end per verificare che i dati ricevuti corrispondano a quelli di origine. Storage Transfer Service tenta invece un approccio "best effort" utilizzando i metadati disponibili, come le dimensioni del file, per convalidare che il file copiato in Cloud Storage corrisponda al file di origine.
Ad esempio, Storage Transfer Service utilizza le dimensioni dei file per convalidare i dati per:
Controlli dopo il trasferimento
Una volta completato il trasferimento, ti consigliamo di eseguire ulteriori controlli di integrità dei dati per verificare che:
- Viene copiata la versione corretta dei file che cambiano in origine.
- Vengono copiati l'insieme e il numero di file corretti per verificare che hai configurato correttamente i job di trasferimento.
- I file sono stati copiati correttamente, verificando i metadati dei file, come i checksum, le dimensioni e così via.