O serviço de transferência do Cloud Storage usa metadados disponíveis do sistema de armazenamento de origem, como somas de verificação e tamanhos de arquivo, para garantir que os dados gravados no Cloud Storage sejam os mesmos dados lidos a partir da origem.
Quando os metadados de soma de verificação estão disponíveis
Se os metadados da soma de verificação no sistema de armazenamento de origem indicarem que o serviço de transferência do Cloud Storage de dados recebido não corresponde aos dados de origem, o Storage Transfer Service registrará uma falha para a operação de transferência. Exemplos de sistemas de armazenamento que incluem metadados de soma de verificação incluem a maioria dos objetos do Amazon Simple Storage Service (Amazon S3) e do Armazenamento de Blobs do Microsoft Azure (com algumas exceções) e transferências HTTP (metadados da soma de verificação são fornecidos pelo usuário).
Quando os metadados da checksum não estão disponíveis
Quando os agentes podem ser executados perto da origem
Se os metadados da soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente, mas agentes puderem ser executados localmente perto do sistema de armazenamento de origem, o Serviço de transferência do Cloud Storage tentará ler os dados de origem e calcular uma soma de verificação antes de enviar os dados para Cloud Storage. Isso ocorre ao mover dados de sistemas de arquivos para o Cloud Storage.
Quando os agentes não podem ser executados perto da origem
Se os metadados da soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente e os agentes não puderem ser executados localmente perto do sistema de armazenamento de origem, o Serviço de transferência do Cloud Storage não poderá calcular a soma de verificação até que os dados cheguem ao Cloud Storage. Nesse cenário, o Serviço de transferência do Cloud Storage copia os dados, mas não pode realizar verificações de integridade de dados completas para confirmar se os dados recebidos são iguais aos dados de origem. Em vez disso, o Serviço de transferência do Cloud Storage tenta adotar uma abordagem de "melhor esforço" ao usar metadados disponíveis, como o tamanho do arquivo, para confirmar que o arquivo copiado para o Cloud Storage corresponde ao arquivo de origem.
Por exemplo, o Serviço de transferência do Cloud Storage usa tamanhos de arquivo para validar dados para:
Após verificações de transferência
Após a conclusão da transferência, recomendamos realizar outras verificações de integridade de dados para validar o seguinte:
- A versão correta dos arquivos é copiada para os arquivos que são alterados na origem.
- O conjunto correto e o número de arquivos são copiados para verificar se você configurou os jobs de transferência corretamente.
- Os arquivos foram copiados corretamente, verificando os metadados nos arquivos, como checksums, tamanho do arquivo e assim por diante.