Visão geral

Nesta página, descrevemos o serviço de transferência do Cloud Storage.

Outras opções de transferência do Google Cloud incluem:

O que é o Storage Transfer Service?

O serviço de transferência do Cloud Storage é um produto que permite:

  • mover ou fazer o backup de dados para um bucket do Cloud Storage a partir de outros provedores de armazenamento em nuvem ou do seu armazenamento local.

  • mover dados de um bucket do Cloud Storage para outro para que eles fiquem disponíveis para diferentes grupos de usuários ou aplicativos.

  • mover periodicamente os dados como parte de um pipeline de processamento de dados ou de um fluxo de trabalho analítico.

O serviço de transferência do Cloud Storage oferece opções que facilitam a sincronização e transferência de dados. Por exemplo:

  • Programar operações de transferência única ou operações de transferência recorrentes.

  • Excluir objetos que estejam atualmente no bucket de destino se eles não tiverem um objeto correspondente na origem;

  • Excluir objetos da fontes de dados depois de transferi-los.

  • Agende a sincronização periódica de uma fonte de dados para um coletor de dados com filtros avançados com base nas datas de criação de arquivos, nomes de arquivos e horários do dia em que você prefere importar dados.

O serviço de transferência do Cloud Storage segue estas etapas por padrão:

  • O serviço de transferência do Cloud Storage copia um arquivo da fonte de dados caso não haja um no coletor de dados ou se houver diferenças entre a versão na fonte e no coletor.

  • Retém arquivos na fonte após a operação de transferência.

  • Usa criptografia TLS para conexões HTTPs. A única exceção é se você especificar um URL HTTP para uma transferência de lista de URLs.

Permissões e requisitos de papel para o serviço de transferência do Cloud Storage

O serviço de transferência do Cloud Storage usa o Cloud Identity and Access Management para controlar e gerenciar o acesso. Para mais informações sobre o Cloud IAM, consulte a Visão geral do Cloud IAM.

Para usar o serviço de transferência do Cloud Storage, você precisa ter pelo menos um dos seguintes papéis do Cloud IAM, dependendo dos tipos de jobs que está executando:

Tipo de acesso Papéis IAM
Acesso total Administrador de transferências do Storage
Envio de transferências Usuário de transferência do Storage
Como visualizar ou listar jobs e operações de transferência Leitor de transferências do Storage

O projeto usado para criar um job de transferência não precisa estar associado aos buckets que atuam como fonte ou coletor de dados, mas são necessárias mais permissões para configurar e usar fontes e coletores de dados.

Para mais informações sobre papéis e permissões do serviço de transferência do Cloud Storage, consulte Como configurar o acesso a fontes de dados e coletores.

Interfaces disponíveis

Há várias maneiras de trabalhar com o serviço de transferência do Cloud Storage:

Integridade dos dados

O serviço de transferência do Cloud Storage usa metadados disponíveis do sistema de armazenamento de origem, como somas de verificação e tamanhos de arquivo, para garantir que os dados gravados no Cloud Storage sejam os mesmos dados lidos a partir da origem.

Quando os metadados de soma de verificação estão disponíveis

Se os metadados da soma de verificação no sistema de armazenamento de origem indicarem que o serviço de transferência do Cloud Storage de dados recebido não corresponde aos dados de origem, o Storage Transfer Service registrará uma falha para a operação de transferência. Exemplos de sistemas de armazenamento que incluem metadados de soma de verificação incluem a maioria dos objetos do Amazon Simple Storage Service (Amazon S3) e do Armazenamento de Blobs do Microsoft Azure (com algumas exceções) e transferências HTTP (metadados da soma de verificação são fornecidos pelo usuário).

Quando os metadados da soma de verificação não estão disponíveis, mas os agentes podem ser executados perto da origem

Se os metadados da soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente, mas agentes puderem ser executados localmente perto do sistema de armazenamento de origem, o Serviço de transferência do Cloud Storage tentará ler os dados de origem e calcular uma soma de verificação antes de enviar os dados para Cloud Storage. Isso ocorre para o serviço de transferência de dados locais ao mover dados de sistemas de arquivos para o Cloud Storage.

Quando os metadados da soma de verificação estão indisponíveis e os agentes não podem ser executados perto da origem

Se os metadados da soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente e os agentes não puderem ser executados localmente perto do sistema de armazenamento de origem, o Serviço de transferência do Cloud Storage não poderá calcular a soma de verificação até que os dados cheguem ao Cloud Storage. Nesse cenário, o Serviço de transferência do Cloud Storage copia os dados, mas não pode realizar verificações de integridade de dados completas para confirmar se os dados recebidos são iguais aos dados de origem. Em vez disso, o Serviço de transferência do Cloud Storage tenta adotar uma abordagem de "melhor esforço" ao usar metadados disponíveis, como o tamanho do arquivo, para confirmar que o arquivo copiado para o Cloud Storage corresponde ao arquivo de origem.

Por exemplo, o Serviço de transferência do Cloud Storage usa tamanhos de arquivo para validar dados para:

Após verificações de transferência

Após a conclusão da transferência, recomendamos realizar outras verificações de integridade de dados para validar:

  • A versão correta dos arquivos é copiada para os arquivos que são alterados na origem.
  • O conjunto correto e o número de arquivos são copiados para verificar se você configurou os jobs de transferência corretamente.
  • Esses arquivos foram copiados corretamente, verificando os metadados nos arquivos, como somas de verificação, tamanho do arquivo e assim por diante.

É melhor usar o gsutil ou o Storage Transfer Service?

A ferramenta de linha de comando gsutil também permite transferir dados entre o Cloud Storage e outros locais. Embora você possa usar o gsutil para trabalhar com buckets do Amazon S3 e transferir dados do Amazon S3 para o Cloud Storage, o Storage Transfer Service é recomendado para esse caso de uso.

Siga estas regras gerais para decidir entre usar o gsutil ou o Storage Transfer Service:

Cenário de transferência Recomendação
Transferir de outro provedor de armazenamento em nuvem Usar o serviço de transferência do Cloud Storage
Transferir menos de 1 TB do local Usar o gsutil
Transferir mais de 1 TB do local Usar o serviço de transferência de dados locais

Use essas orientações como ponto de partida. Os detalhes específicos do seu cenário de transferência também ajudarão a determinar qual ferramenta é mais apropriada.

Contrato de nível de serviço

O Storage Transfer Service atualmente não fornece um SLA e algumas flutuações de desempenho podem ocorrer. Por exemplo, não fornecemos SLAs para desempenho ou latência de transferência.