Detalhes de jobs de transferência local

Neste documento, descrevemos as funções do serviço de transferência de dados locais. Especificamente, abordamos o que são e como funcionam transferências incrementais e consistência de dados.

Como iniciar transferências incrementais

O serviço de transferência de dados locais inicia todas as transferências calculando os dados presentes na origem e no destino para determinar quais arquivos de origem são novos ou foram atualizados ou excluídos desde a última transferência. Fazemos isso para reduzir a quantidade de dados que enviamos de suas máquinas, para usar a largura de banda de forma eficaz e para reduzir o tempo de transferência.

Para detectar se um arquivo foi alterado, usamos um algoritmo semelhante a gsutil rsync: verificamos a hora da última modificação e o tamanho do arquivo de origem e comparamos com a hora da última modificação e o tamanho registrados quando o arquivo foi copiado pela última vez. Quando detectamos um arquivo novo ou alterado, copiamos o arquivo inteiro para o destino. Para mais informações sobre a atualização de arquivos, consulte Detalhes da consistência dos dados.

Por padrão, não agimos em arquivos excluídos na origem, apesar de detectá-los. Se você escolher a opção de sincronização Excluir arquivos de destino que também não estejam na origem ao criar ou editar, a transferência excluirá o objeto correspondente no destino.

Se você escolher a opção de sincronização Excluir arquivos de destino que também não estejam na origem, os arquivos excluídos acidentalmente na origem também serão excluídos no destino. Para evitar a perda de dados devido a exclusões acidentais, recomendamos que você ative o controle de versões de objetos no bucket de destino, se optar por usar essa opção. Em seguida, se você excluir um arquivo acidentalmente, poderá restaurar seus objetos no Cloud Storage para uma versão mais antiga.

Detalhes de consistência de dados

Uma operação de transferência bem-sucedida transfere todos os arquivos de origem que existiam e não foram modificados durante todo o tempo de execução da operação. Os arquivos de origem que foram criados, atualizados ou excluídos durante uma transferência podem ou não ter essas alterações refletidas no conjunto de dados de destino.

Caso seja importante capturar as alterações que ocorreram durante uma transferência, execute-a novamente ou defina o sistema de arquivos de origem como somente leitura enquanto a operação estiver em execução.