Esta página documenta as limitações conhecidas do Cloud Storage e do Storage Transfer Service.
Limitações comuns
Limite de tamanho de objeto de 5 TiB do Cloud Storage
O Cloud Storage suporta um tamanho máximo de objeto único de 5 tebibytes. Se tiver objetos com mais de 5 TiB, a transferência de objetos falha para esses objetos no Cloud Storage ou no Serviço de transferência de armazenamento.
Requisitos de nomenclatura de objetos do Cloud Storage
O Cloud Storage impõe requisitos de nome de objeto que se aplicam a todas as transferências do Storage Transfer Service.
Os objetos alterados não são transferidos
O Serviço de Transferência de Armazenamento não bloqueia os ficheiros de origem durante uma transferência.
Se os dados de um objeto forem atualizados durante uma transferência, o seguinte descreve como o Serviço de transferência de dados do Google Cloud Storage responde:
Transferências de clouds não Google para Google Cloud: se os dados de um objeto forem atualizados durante uma transferência, o serviço de transferência de armazenamento falha a transferência desse objeto específico e o objeto não é transferido.
Transferências de sistemas de ficheiros para Google Cloud: se os dados de um objeto forem atualizados durante uma transferência, o Serviço de transferência de armazenamento tenta carregar novamente. Se o carregamento falhar várias vezes, o Serviço de transferência de armazenamento regista um
FILE_MODIFIED_FAILURE. Para mais informações, consulte a secção Resolução de problemas.Transferências de Google Cloud para um sistema de ficheiros: se os dados de um objeto forem atualizados durante uma transferência, o serviço de transferência de armazenamento tenta novamente a transferência. Se a transferência falhar várias vezes, o serviço de transferência de armazenamento regista um
PRECONDITION_FAILURE. Para mais informações, consulte a secção Resolução de problemas.
Para resolver a falha:
- Tente fazer a transferência novamente.
Se a transferência do objeto continuar a falhar, certifique-se de que os respetivos dados não podem ser atualizados durante a transferência:
- Origem do Cloud Storage: retenha um objeto.
- Origem do Amazon S3 - Defina um bloqueio de objeto do S3.
- Origem do armazenamento do Microsoft Azure - Defina uma política de imutabilidade para o armazenamento de blobs.
- Origem do sistema de ficheiros: defina os ficheiros no modo de leitura ou, caso contrário, limite as escritas nos ficheiros que estão a ser transferidos.
Após a conclusão da transferência, pode reativar as atualizações do objeto.
Pastas no Cloud Storage
Os objetos do Cloud Storage residem num namespace simples num contentor. Para mais informações, consulte o artigo Espaço de nomes de objetos. Devido a isto, o serviço de transferência de armazenamento não cria namespaces hierárquicos no Cloud Storage. Por exemplo, se estiver a fazer a transferência do Azure Data Lake Storage (ADLS) Gen 2, o Serviço de transferência de armazenamento não recria os espaços de nomes do ADLS Gen 2 no Cloud Storage.
Eliminar objetos em contentores do Amazon S3 com controlo de versões suspenso
Quando usa a funcionalidade de eliminação de objetos da origem após a transferência do Serviço de transferência de armazenamento num contentor do Amazon S3 com controlo de versões suspenso, o Serviço de transferência de armazenamento remove o objeto com um ID da versão nulo e não a versão atual.
Localização das tarefas do Serviço de transferência de armazenamento
O Serviço de transferência de armazenamento escolhe a sua localização com base na região do contentor do Cloud Storage de origem. A partir de hoje, criamos tarefas do Serviço de transferência de armazenamento nas seguintes localizações. Esta lista pode mudar à medida que o serviço de transferência de armazenamento adiciona suporte para novas regiões.
Se o seu contentor do Cloud Storage de origem estiver localizado numa região que não esteja listada, vamos escolher a região predefinida na região exterior da origem.
| Localizações suportadas | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| ásia-sul2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| ásia-sudeste2 | europe-west9 | us-east4 |
| asia1 | europe-west10 | us-east5 |
| austrália-sudeste1 | europe-west12 | us-east7 |
| austrália-sudeste2 | me-central1 | us-west1 |
| me-central2 | us-west2 | |
| me-west1 | us-west3 | |
| us-west4 |
Limitações conhecidas das transferências do sistema de ficheiros
Sem apoio técnico em tempo real
O serviço de transferência de armazenamento não suporta a deteção de alterações com uma frequência inferior a uma hora. O Storage Transfer Service é um serviço de movimento de dados em lote que pode analisar a origem com uma frequência de até uma vez por hora.
Configurações de sistemas operativos suportadas
Os agentes de transferência requerem o Docker instalado e são executados em servidores Linux ou máquinas virtuais (VMs). Para copiar dados num sistema de ficheiros CIFS ou SMB, pode montar o volume num servidor ou numa VM Linux e, em seguida, executar o agente a partir do servidor ou da VM Linux.
Requisitos de memória
Seguem-se os requisitos de memória para o serviço de transferência para agentes de dados nas instalações:- Memória mínima: 1 GiB
- Memória mínima para suportar carregamentos de alto desempenho: 6 GiB
Limitações de escalabilidade
O Serviço de transferência de armazenamento suporta transferências individuais que:
- Centenas de terabytes
- Até 1000 milhões de ficheiros
- Várias dezenas de Gbps na velocidade de transferência
As transferências individuais superiores a estes tamanhos são fiáveis, mas não foram testadas quanto ao desempenho.
Se tiver um conjunto de dados maior do que estes limites, recomendamos que divida os dados em várias tarefas de transferência.
Atualmente, suportamos diretórios grandes, desde que cada agente tenha, pelo menos, 1 GB de memória disponível para cada 1 milhão de ficheiros no diretório maior, para que possamos iterar sobre o conteúdo do diretório sem exceder a memória.
Limitações de agentes e conjuntos de agentes
Suportamos até 100 agentes para um único conjunto de agentes. É pouco provável que precise de mais agentes para alcançar um melhor desempenho em ambientes típicos.
São suportados até 800 conjuntos de agentes por projeto.
Um diretório por trabalho
Apenas suportamos a transferência do conteúdo completo de um diretório do sistema de ficheiros (recursivamente). Pode particionar a transferência criando várias tarefas que transfiram diferentes subdiretórios do seu conjunto de dados, mas atualmente não suportamos a correspondência de padrões de ficheiros nem o suporte de filtragem numa única tarefa.
Nomes de ficheiros suportados
Aplicam-se as seguintes regras a todos os nomes de ficheiros que fazem parte de uma transferência:
- Os nomes dos ficheiros têm de usar a codificação UTF8.
- Os nomes dos ficheiros têm de ser compatíveis com Unicode.
- Não podem conter novas linhas (
\n) nem retornos de carro (\r).
Se o diretório de origem contiver nomes de ficheiros não suportados, a tarefa de listagem de ficheiros para esse diretório falha.
Se isto ocorrer, atualize os nomes de ficheiros não suportados e volte a executar a tarefa.
Tipos de ficheiros suportados
O Serviço de transferência de armazenamento suporta a transferência de ficheiros normais e ficheiros ocultos semelhantes ao Unix.
Os ficheiros ocultos no estilo Unix são ficheiros que começam com o caráter .. Quando o serviço de transferência de armazenamento encontra um ficheiro não normal, como um dispositivo, um canal de comunicação com nome ou um soquete, gera um erro UNSUPPORTED_FILE_MODE.
Não são criados diretórios vazios no Cloud Storage, porque os objetos não residem em subdiretórios num contentor. Para mais informações, consulte o artigo Espaço de nomes de objetos.
Comprimento máximo do caminho
O Serviço de transferência de armazenamento segue o comprimento máximo do caminho do Cloud Storage de 1024 bytes. O prefixo do objeto de destino está incluído na limitação de comprimento, uma vez que o prefixo está incorporado no nome do objeto no Cloud Storage.
Metadados de ficheiros suportados
Consulte o artigo Preservação de metadados para ver detalhes sobre os metadados que são preservados, por predefinição ou opcionalmente.
Pausas de trabalho prolongadas
Os trabalhos que estão em pausa há mais de 30 dias são considerados inativos. Quando uma tarefa está inativa, a tarefa pausada é anulada e a agenda de configuração da tarefa é desativada. Não são iniciadas novas execuções de tarefas, a menos que ative explicitamente a tarefa novamente.
Segurança da origem do sistema de ficheiros
Acesso de agentes
Os utilizadores capazes de criar tarefas de transferência podem obter dados de, e transferir dados para, qualquer diretório do sistema de ficheiros acessível pelo agente. Se os agentes forem executados como root e tiverem acesso a todo o sistema de ficheiros, um interveniente malicioso pode conseguir assumir o controlo do anfitrião. Recomendamos vivamente que restrinja o acesso do agente apenas aos diretórios necessários.