Integridad de los datos

El Servicio de transferencia de almacenamiento usa metadatos disponibles del sistema de almacenamiento de origen, como sumas de verificación y tamaños de archivos, para garantizar que los datos escritos en Cloud Storage sean los mismos datos leídos de la fuente.

Cuando los metadatos de la suma de verificación están disponibles

Si los metadatos de la suma de verificación en el sistema de almacenamiento de origen indican que los datos recibidos por el Servicio de transferencia de almacenamiento no coinciden con los datos de origen, el Servicio de transferencia de almacenamiento registra un error para la operación de transferencia. Algunos ejemplos de sistemas de almacenamiento que incluyen metadatos de suma de verificación incluyen la mayoría de los objetos de Amazon Simple Storage Service (Amazon S3) y Microsoft Azure Blob Storage (con algunas excepciones) y transferencias HTTP (los metadatos de suma de verificación los proporciona el usuario).

Cuando los metadatos de la suma de verificación no están disponibles

Cuando los agentes pueden ejecutarse cerca de la fuente

Si los metadatos de la suma de verificación no están disponibles en el sistema de almacenamiento de origen subyacente, pero los agentes se pueden ejecutar de forma local cerca del sistema de almacenamiento de origen, el Servicio de transferencia de almacenamiento intenta leer los datos de origen y calcular una suma de verificación antes de enviar los datos a Cloud Storage. Esto ocurre cuando se mueven datos de sistemas de archivos a Cloud Storage.

Cuando los agentes no se pueden ejecutar cerca de la fuente

Si los metadatos de la suma de verificación no están disponibles en el sistema de almacenamiento de origen subyacente y los agentes no pueden ejecutarse de manera local cerca del sistema de almacenamiento de origen, el Servicio de transferencia de almacenamiento no puede calcular una suma de verificación hasta que los datos lleguen a Cloud Storage. En esta situación, el Servicio de transferencia de almacenamiento copia los datos, pero no puede realizar verificaciones de integridad de los datos de extremo a extremo para confirmar que los datos recibidos son los mismos que los datos de origen. En cambio, el Servicio de transferencia de almacenamiento intenta usar un enfoque de “mejor esfuerzo” mediante el uso de metadatos disponibles, como el tamaño del archivo, para verificar que el archivo copiado en Cloud Storage coincida con el archivo de origen.

Por ejemplo, el Servicio de transferencia de almacenamiento usa tamaños de archivo para validar los datos de los siguientes elementos:

Después de las verificaciones de transferencias

Una vez que se complete la transferencia, recomendamos realizar verificaciones de integridad de los datos adicionales para validar lo siguiente:

  • Que se haya copiado la versión correcta de los archivos, para los archivos que cambian en el origen.
  • Que se hayan copiado el conjunto y la cantidad correctos de archivos para verificar que configuraste los trabajos de transferencia de forma correcta.
  • Los archivos que se hayan copiado correctamente mediante la verificación de los metadatos en los archivos, como las sumas de verificación de los archivos, el tamaño de los archivos, etcétera.