Le service de transfert de stockage utilise les métadonnées disponibles dans le système de stockage source, telles que les sommes de contrôle et les tailles de fichiers, pour garantir que les données écrites dans Cloud Storage sont les mêmes que celles lues à partir de la source.
Les métadonnées de somme de contrôle sont disponibles
Si les métadonnées de somme de contrôle situées sur le système de stockage source indiquent que les données reçues par le service de transfert de stockage ne correspondent pas aux données sources, le service de transfert de stockage enregistre un échec pour l'opération de transfert. Voici des exemples de systèmes de stockage qui incluent des métadonnées de somme de contrôle : la plupart des objets Amazon Simple Storage Service (Amazon S3) et Microsoft Azure Blob Storage (à quelques exceptions près), et les transferts HTTP (les métadonnées de somme de contrôle sont fournies par l'utilisateur).
Lorsque les métadonnées de somme de contrôle ne sont pas disponibles
Lorsque les agents peuvent s'exécuter près de la source
Si les métadonnées de somme de contrôle ne sont pas disponibles dans le système de stockage source sous-jacent, mais que des agents peuvent être exécutés localement à proximité du système de stockage source, le service de transfert de stockage tente de lire les données sources et de calculer la somme de contrôle avant d'envoyer les données à Cloud Storage. Cela se produit lors du transfert de données des systèmes de fichiers vers Cloud Storage.
Lorsque les agents ne peuvent pas s'exécuter près de la source
Si les métadonnées de somme de contrôle ne sont pas disponibles dans le système de stockage source sous-jacent et que les agents ne peuvent pas être exécutés localement à proximité du système de stockage source, le service de transfert de stockage ne peut pas calculer de somme de contrôle tant que les données n'apparaissent pas dans Cloud Storage. Dans ce scénario, le service de transfert de stockage copie les données, mais ne peut pas effectuer de vérifications de l'intégrité de bout en bout pour confirmer que les données reçues sont identiques aux données sources. À la place, le service de transfert de stockage tente une approche "la plus optimale possible" en utilisant les métadonnées disponibles, telles que la taille du fichier, pour vérifier que le fichier copié dans Cloud Storage correspond au fichier source.
Par exemple, le service de transfert de stockage utilise la taille des fichiers pour valider les données pour les éléments suivants :
Après les vérifications de transfert
Une fois le transfert terminé, nous vous recommandons d'effectuer des vérifications supplémentaires d'intégrité des données pour vérifier les éléments suivants :
- La version correcte des fichiers est copiée, pour ceux qui changent au niveau de la source.
- L'ensemble et le nombre correct de fichiers sont copiés pour vérifier que vous avez correctement configuré les tâches de transfert.
- Les fichiers ont été correctement copiés, en vérifiant les métadonnées des fichiers, telles que les sommes de contrôle des fichiers, la taille des fichiers, etc.