O Serviço de transferência de armazenamento usa metadados disponíveis no sistema de armazenamento de origem, como somas de verificação e tamanhos dos ficheiros, para garantir que os dados escritos no Cloud Storage são os mesmos dados lidos da origem.
Quando os metadados de soma de verificação estão disponíveis
Se os metadados de soma de verificação no sistema de armazenamento de origem indicarem que os dados recebidos pelo serviço de transferência de armazenamento não correspondem aos dados de origem, o serviço de transferência de armazenamento regista uma falha na operação de transferência. Exemplos de sistemas de armazenamento que incluem metadados de soma de verificação incluem a maioria dos objetos do Amazon Simple Storage Service (Amazon S3) e do Microsoft Azure Blob Storage (com algumas exceções) e transferências HTTP (os metadados de soma de verificação são fornecidos pelo utilizador).
Quando os metadados de soma de verificação não estão disponíveis
Quando os agentes podem ser executados perto da origem
Se os metadados da soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente, mas for possível executar agentes localmente perto do sistema de armazenamento de origem, o serviço de transferência de armazenamento tenta ler os dados de origem e calcular uma soma de verificação antes de enviar os dados para o Cloud Storage. Isto ocorre quando move dados de sistemas de ficheiros para o Cloud Storage.
Quando os agentes não podem ser executados perto da origem
Se os metadados de soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente, e os agentes não puderem ser executados localmente perto do sistema de armazenamento de origem, o Serviço de transferência de armazenamento não pode calcular uma soma de verificação até que os dados cheguem ao Google Cloud Storage. Neste cenário, o serviço de transferência de armazenamento copia os dados, mas não pode realizar verificações de integridade de dados ponto a ponto para confirmar que os dados recebidos são iguais aos dados de origem. Em alternativa, o Serviço de transferência de armazenamento tenta uma abordagem de "melhor esforço" usando metadados disponíveis, como o tamanho do ficheiro, para validar se o ficheiro copiado para o Cloud Storage corresponde ao ficheiro de origem.
Por exemplo, o Serviço de transferência de armazenamento usa os tamanhos dos ficheiros para validar os dados para:
Após as verificações de transferência
Após a conclusão da transferência, recomendamos que execute verificações adicionais de integridade de dados para validar que:
- A versão correta dos ficheiros é copiada para ficheiros que são alterados na origem.
- O conjunto e o número corretos de ficheiros são copiados para verificar se configurou corretamente as tarefas de transferência.
- Os ficheiros foram copiados corretamente, verificando os metadados nos ficheiros, como as somas de verificação dos ficheiros, o tamanho dos ficheiros, etc.