Storage Transfer Service utilizza i metadati disponibili dal sistema di archiviazione di origine, come checksum e dimensioni dei file, per garantire che i dati scritti in Cloud Storage siano gli stessi letti dall'origine.
Quando sono disponibili metadati di checksum
Se i metadati di checksum nel sistema di archiviazione di origine indicano che i dati ricevuti da Storage Transfer Service non corrispondono a quelli di origine, Storage Transfer Service registra un errore nell'operazione di trasferimento. Esempi di sistemi di archiviazione che includono metadati di checksum includono la maggior parte degli oggetti Amazon Simple Storage Service (Amazon S3) e Microsoft Azure Blob Storage (con alcune eccezioni) e i trasferimenti HTTP (i metadati del checksum sono forniti dall'utente).
Quando i metadati del checksum non sono disponibili
Quando gli agenti possono essere eseguiti vicino all'origine
Se i metadati di checksum non sono disponibili dal sistema di archiviazione di origine sottostante, ma gli agenti possono essere eseguiti localmente vicino al sistema di archiviazione di origine, Storage Transfer Service tenta di leggere i dati di origine e calcolare un checksum prima di inviare i dati a Cloud Storage. Questo si verifica quando si spostano dati da file system a Cloud Storage.
Quando gli agenti non possono essere eseguiti in prossimità dell'origine
Se i metadati del checksum non sono disponibili dal sistema di archiviazione di origine sottostante e se gli agenti non possono essere eseguiti localmente vicino al sistema di archiviazione di origine, Storage Transfer Service non può calcolare un checksum finché i dati non arrivano in Cloud Storage. In questo scenario, Storage Transfer Service copia i dati, ma non è in grado di eseguire controlli end-to-end di integrità dei dati per confermare che i dati ricevuti corrispondano a quelli dei dati di origine. Storage Transfer Service cerca invece un approccio "best effort" utilizzando i metadati disponibili, come le dimensioni del file, per convalidare che il file copiato in Cloud Storage corrisponda al file di origine.
Ad esempio, Storage Transfer Service utilizza le dimensioni dei file per convalidare i dati relativi a:
Dopo i controlli del trasferimento
Una volta completato il trasferimento, ti consigliamo di eseguire ulteriori controlli dell'integrità dei dati per verificare che:
- Viene copiata la versione corretta dei file che cambiano all'origine.
- Vengono copiati il set corretto e il numero di file per verificare di aver configurato correttamente i job di trasferimento.
- I file sono stati copiati correttamente verificando i metadati presenti sui file, ad esempio checksum dei file, dimensioni dei file e così via.