Limitações conhecidas

Esta página documenta as limitações conhecidas do Cloud Storage e de transferências locais.

Limitações comuns

Limite de tamanho de objeto do Cloud Storage de 5 TB

O Cloud Storage é compatível com um tamanho máximo de objeto único de 5 terabytes. Se você tiver objetos maiores que 5 TB, a transferência de objetos falhará para esses objetos no Cloud Storage ou em transferências locais.

Requisitos de nomenclatura de objetos do Cloud Storage

O Cloud Storage impõe requisitos de nome de objeto que se aplicam a todas as transferências do Serviço de transferência do Cloud Storage.

Os objetos alterados não são transferidos

Se os dados de um objeto forem atualizados durante uma transferência, a ação do Serviço de transferência do Cloud Storage falhará nesse objeto específico e ele não será transferido.

Para solucionar a falha, siga estas etapas:

  1. Tente fazer a transferência novamente.
  2. Se a transferência do objeto continuar falhando, certifique-se de que os dados não possam ser atualizados durante a transferência:

  3. Depois que a transferência for concluída, será possível reativar as atualizações no objeto.

Limitações conhecidas da transferência local

Nenhuma API

O Serviço de transferência de dados locais só pode ser acessado pelo Console do Google Cloud. No momento, não oferecemos uma interface de API para jobs desse serviço.

Sem suporte em tempo real

O Serviço de transferência de dados locais não é compatível com a detecção de alterações em menos de uma hora. Ele é um serviço de movimentação de dados em lote que pode verificar a origem com uma frequência de até uma vez por hora.

Configurações de sistema operacional compatíveis

A transferência de agentes locais exige que o Docker seja instalado e executado em servidores Linux ou máquinas virtuais (VMs). Para copiar dados em um sistema de arquivos CIFS ou SMB, ative o volume e execute o agente no servidor ou VM do Linux.

Requisitos de memória

Veja a seguir os requisitos de memória para agentes do serviço de transferência de dados locais:
  • Memória mínima: 1 GiB
  • Memória mínima para compatibilidade com uploads de alto desempenho: 6 GiB

Limitações de escalonamento

O Serviço de transferência de dados locais é compatível com transferências individuais que tenham:

  • centenas de terabytes em tamanho;
  • até um bilhão de arquivos;
  • vários 10s de Gbps em velocidade de transferência.

Transferências individuais maiores que esses tamanhos serão confiáveis, mas o desempenho delas não foi testado.

Se houver um conjunto de dados maior que esses limites, recomendamos que você os divida em vários jobs de transferência.

Atualmente, oferecemos suporte a diretórios grandes, desde que cada agente tenha pelo menos 1 GB de memória disponível para cada 1 milhão de arquivos no maior diretório, de modo que possamos iterar o conteúdo do diretório sem exceder a memória.

São compatíveis até 100 agentes para um único projeto de transferência. É pouco provável que você precise de mais agentes para ter um desempenho melhor em ambientes locais típicos.

Um único diretório por job

Aceitamos a transferência de todo o conteúdo de um diretório do sistema de arquivos (recursivamente). É possível particionar a transferência criando vários jobs para transferir diferentes subdiretórios do conjunto de dados, mas, no momento, não oferecemos suporte à filtragem de arquivos ou a um único job.

Para mais informações sobre a diferenciação entre o Serviço de transferência de dados locais e o Cloud Storage, consulte Diferenças entre as opções de transferência do Cloud Storage.

Acesso uniforme ao sistema de arquivos para agentes

O Serviço de transferência de dados locais pressupõe que todos os agentes em execução têm as mesmas permissões de leitura de dados do sistema de arquivos de origem e que o acesso é igual ao desse sistema para todos os jobs de um projeto do Google Cloud.

Se você precisa executar agentes em vários data centers com diferentes permissões nos diretórios de origem, separe os jobs e agentes em diferentes projetos do Google Cloud. Cada job terá uma assinatura e um tópico do Pub/Sub diferente para se comunicar com o conjunto de agentes dele.

Nomes de arquivos compatíveis

Esperamos que os nomes dos arquivos sejam compatíveis com Unicode e não contenham novas linhas. Se o diretório de origem tiver nomes de arquivos com novas linhas, a tarefa de listagem de arquivos desse diretório falhará.

Se isso ocorrer, substitua as novas linhas nos nomes dos arquivos e execute o job novamente.

Tipos de arquivos compatíveis

O serviço de transferência de dados locais é compatível com a transferência de arquivos regulares e com arquivos ocultos semelhantes ao Unix. Arquivos ocultos no estilo Unix são arquivos que começam com um caractere .. Quando esse serviço encontra um arquivo não regular, como um dispositivo, pipe nomeado ou soquete, ele gera um erro UNSUPPORTED_FILE_MODE.

Diretórios vazios não são criados no Cloud Storage porque os objetos não permanecem em subdiretórios dentro de um bucket. Para mais informações, consulte Considerações sobre nomes de objetos.

Tamanho máximo do caminho

O Serviço de transferência de dados locais segue o tamanho máximo do caminho do Cloud Storage de 1024 bytes. O prefixo do objeto para o objeto de destino está incluído na limitação de tamanho porque o prefixo é incorporado ao nome dele no Cloud Storage.

Metadados de arquivos compatíveis

O Serviço de transferência de dados locais extrai a hora da última modificação (mtime) do arquivo de origem para copiar no objeto de destino correspondente do Cloud Storage. Outros metadados de arquivo não são preservados na transferência.

Pausas estendidas do job

As tarefas pausadas por mais de 30 dias são consideradas inativas. Quando um job está inativo, ele é cancelado e o agendamento de configuração dele é desativado. Nenhum novo job será executado, a menos que você o ative novamente.

Segurança de origem