Nesta página, apresentamos as limitações conhecidas do Cloud Storage e do Storage Transfer Service.
Limitações comuns
Limite de tamanho de objeto do Cloud Storage de 5 TiB
O Cloud Storage é compatível com um tamanho máximo de objeto único de 5 tebibytes. Se você tiver objetos maiores que 5 TiB, a transferência de objetos falhará para esses objetos no Cloud Storage ou no Serviço de transferência do Cloud Storage.
Requisitos de nomenclatura de objetos do Cloud Storage
O Cloud Storage impõe requisitos de nome de objeto que se aplicam a todas as transferências do Serviço de transferência do Cloud Storage.
Os objetos alterados não são transferidos
O Serviço de transferência do Cloud Storage não bloqueia arquivos de origem durante uma transferência.
Se os dados de um objeto forem atualizados durante uma transferência, será descrito a seguir uma resposta do Serviço de transferência do Cloud Storage:
Transferências de nuvens que não são do Google para o Google Cloud: se os dados de um objeto forem atualizados durante uma transferência, o Serviço de transferência do Cloud Storage falhará na transferência desse objeto específico e ele não será transferido.
Transferências dos sistemas de arquivos para o Google Cloud: se os dados de um objeto forem atualizados durante uma transferência, o Serviço de transferência do Cloud Storage tentará fazer o upload novamente. Se o upload falhar várias vezes, o Serviço de transferência do Cloud Storage registrará um
FILE_MODIFIED_FAILURE. Para mais informações, consulte Solução de problemas.Transferências do Google Cloud para um sistema de arquivos: se os dados de um objeto forem atualizados durante uma transferência, o Serviço de transferência do Cloud Storage tentará fazer o download novamente. Se o download falhar várias vezes, o Serviço de transferência do Cloud Storage registrará um
PRECONDITION_FAILURE. Para mais informações, consulte Solução de problemas.
Para solucionar a falha, siga estas etapas:
- Tente fazer a transferência novamente.
Se a transferência do objeto continuar falhando, certifique-se de que os dados não possam ser atualizados durante a transferência:
- Origem do Cloud Storage: coloca uma retenção de objeto.
- Origem do Amazon S3: define um bloqueio de objeto S3.
- Origem de armazenamento do Microsoft Azure: define uma política de imutabilidade para o armazenamento de Blobs.
- Origem do sistema de arquivos: define os arquivos no modo somente leitura ou limite as gravações aos arquivos que estão sendo transferidos.
Depois que a transferência for concluída, será possível reativar as atualizações no objeto.
Pastas no Cloud Storage
Os objetos do Cloud Storage residem em um namespace simples em um bucket. Para mais informações, consulte Namespace de objetos. Por isso, o serviço de transferência do Cloud Storage não cria namespaces hierárquicos no Cloud Storage. Por exemplo, se você estiver transferindo do Azure Data Lake Storage (ADLS) da geração 2, o Serviço de transferência do Cloud Storage não recriará os namespaces do produto no Cloud Storage.
Como excluir objetos em buckets do Amazon S3 suspensos pelo controle de versão
Ao usar os objetos de exclusão do serviço de transferência do Cloud Storage da fonte após o recurso de transferência em um bucket do Amazon S3 suspenso, o serviço de transferência do Cloud Storage remove o objeto com um ID de versão nulo, não a versão atual.
Localização de jobs do Serviço de transferência do Cloud Storage
O Serviço de transferência do Cloud Storage escolhe o local com base na região do bucket do Cloud Storage de origem. A partir de hoje, criamos jobs do Serviço de transferência do Cloud Storage nos seguintes locais. Essa lista pode mudar à medida que o Serviço de transferência do Cloud Storage adiciona compatibilidade com novas regiões.
Se o bucket de origem do Cloud Storage estiver localizado em uma região que não está listada, vamos escolher a região padrão dentro da região externa da origem.
- ASIA-EAST1
- ASIA-EAST2
- ASIA-NORTHEAST1
- ASIA-NORTHEAST2
- ASIA-NORTHEAST3
- ASIA-SOUTH1
- ASIA-SOUTH2
- ASIA-SOUTHEAST1
- ASIA-SOUTHEAST2
- AUSTRALIA-SOUTHEAST1
- AUSTRALIA-SOUTHEAST2
- EUROPE-WEST1
- EUROPE-WEST2
- EUROPE-WEST3
- EUROPE-WEST4
- EUROPE-WEST9
- EUROPE-NORTH1
- EUROPE-SOUTHWEST1
- NORTHAMERICA-NORTHEAST1
- NORTHAMERICA-NORTHEAST2
- US-CENTRAL1
- US-CENTRAL2
- US-EAST1
- US-EAST4
- US-WEST1
- US-WEST2
- US-WEST3
- US-WEST4
- NAM4
Limitações conhecidas das transferências de sistema de arquivos
Sem suporte em tempo real
O Serviço de transferência do Cloud Storage não é compatível com a detecção de alterações de menos de uma hora. O Serviço de transferência do Cloud Storage é um serviço de movimentação de dados em lote que pode verificar a origem com uma frequência de até uma vez por hora.
Configurações de sistema operacional compatíveis
Os agentes de transferência exigem que o Docker seja instalado e executado em servidores Linux ou máquinas virtuais (VMs). Para copiar dados em um sistema de arquivos CIFS ou SMB, ative o volume e execute o agente no servidor ou VM do Linux.
Requisitos de memória
Veja a seguir os requisitos de memória para agentes do serviço de transferência de dados locais:- Memória mínima: 1 GiB
- Memória mínima para compatibilidade com uploads de alto desempenho: 6 GiB
Limitações de escalonamento
O Serviço de transferência do Cloud Storage é compatível com transferências individuais com estas características:
- centenas de terabytes em tamanho;
- até um bilhão de arquivos;
- vários 10s de Gbps em velocidade de transferência.
Transferências individuais maiores que esses tamanhos são confiáveis, mas o desempenho delas não foi testado.
Se houver um conjunto de dados maior que esses limites, recomendamos que você os divida em vários jobs de transferência.
Atualmente, oferecemos suporte a diretórios grandes, desde que cada agente tenha pelo menos 1 GB de memória disponível para cada 1 milhão de arquivos no maior diretório, de modo que possamos iterar o conteúdo do diretório sem exceder a memória.
Limitações de agentes e de pool de agentes
Oferecemos suporte a até 100 agentes em um único pool de agentes. É pouco provável que você precise de mais agentes para ter um desempenho melhor em ambientes típicos.
Até 800 pools de agentes são aceitos por projeto.
Um único diretório por job
Aceitamos a transferência de todo o conteúdo de um diretório do sistema de arquivos (recursivamente). É possível particionar a transferência criando vários jobs para transferir diferentes subdiretórios do conjunto de dados, mas, no momento, não oferecemos suporte à filtragem de arquivos ou a um único job.
Nomes de arquivos compatíveis
As regras a seguir se aplicam a todos os nomes de arquivo que fazem parte de uma transferência:
- Os nomes de arquivo precisam usar a codificação UTF-8.
- Os nomes dos arquivos precisam ser compatíveis com Unicode.
- Elas não podem conter novas linhas (
\n) ou retornos de carro (\r).
Se o diretório de origem tiver nomes de arquivos sem suporte, a tarefa de listagem de arquivos desse diretório vai falhar.
Se isso acontecer, atualize os nomes de arquivos sem suporte e execute o job novamente.
Tipos de arquivos compatíveis
O Serviço de transferência do Cloud Storage permite a transferência de arquivos comuns e ocultos como Unix.
Arquivos ocultos no estilo Unix são arquivos que começam com um caractere .. Quando o Serviço de transferência do Cloud Storage
encontra um arquivo não regular, como um dispositivo, pipeline nomeado ou soquete,
ele gera um erro UNSUPPORTED_FILE_MODE.
Diretórios vazios não são criados no Cloud Storage porque os objetos não permanecem em subdiretórios dentro de um bucket. Para mais informações, consulte Namespace de objetos.
Tamanho máximo do caminho
O Serviço de transferência do Cloud Storage segue o tamanho máximo de 1.024 bytes do caminho do Cloud Storage. O prefixo do objeto para o objeto de destino está incluído na limitação de tamanho porque o prefixo é incorporado ao nome dele no Cloud Storage.
Metadados de arquivos compatíveis
Consulte a seção Preservação de metadados para detalhes sobre quais metadados são preservados, por padrão ou opcionalmente.
Pausas estendidas do job
As tarefas pausadas por mais de 30 dias são consideradas inativas. Quando um job está inativo, ele é cancelado e o agendamento de configuração dele é desativado. Nenhum novo job será executado, a menos que você o ative novamente.
Segurança da origem do sistema de arquivos
Acesso do agente
Os usuários que criam jobs de transferência podem recuperar e fazer o download de dados em qualquer diretório do sistema de arquivos que possa ser acessado pelo agente Se os agentes forem executados como raiz e tiverem acesso a todo o sistema de arquivos, uma pessoa mal-intencionada poderá assumir o controle do host. É altamente recomendável que você restrinja o acesso do agente apenas aos diretórios necessários.