Espaço de nomes hierárquico

Esta página fornece uma vista geral do espaço de nomes hierárquico, incluindo as respetivas principais funcionalidades, exemplos de utilização comuns, vantagens e limitações a ter em conta.

Vista geral

O espaço de nomes hierárquico é uma capacidade oferecida pelo Cloud Storage que lhe permite organizar objetos em pastas e armazenar os seus dados numa estrutura lógica do sistema de ficheiros. O armazenamento dos seus dados numa estrutura de sistema de ficheiros melhora o desempenho, garante a consistência e simplifica a gestão de cargas de trabalho com grande volume de dados e orientadas para ficheiros.

As operações de pastas oferecem fiabilidade e capacidades de gestão, incluindo a criação, a eliminação, a listagem e a mudança do nome das pastas. A organização hierárquica dos objetos simplifica a organização dos dados e simplifica as tarefas de gestão de dados. Uma pasta num contentor com o espaço de nomes hierárquico ativado pode conter objetos, outras pastas ou uma combinação de ambos.

Para usar pastas num contentor, tem de ativar o espaço de nomes hierárquico quando cria o contentor. Não é possível alterar a definição do espaço de nomes hierárquico do seu contentor após a criação do mesmo. Para obter informações sobre como ativar o namespace hierárquico para o seu contentor, consulte o artigo Crie e faça a gestão de contentores com o namespace hierárquico ativado.

O diagrama seguinte mostra um exemplo de um contentor com o espaço de nomes hierárquico ativado, onde os objetos estão organizados numa estrutura hierárquica de pastas.

Figura 1. Hierarquia de contentores com pastas e objetos.
Figura 1. Hierarquia de contentores com pastas e objetos.

Funcionalidades principais

O espaço de nomes hierárquico oferece as seguintes funcionalidades:

  • Consultas por segundo (CPS) iniciais mais elevadas: os contentores com o espaço de nomes hierárquico ativado oferecem limites de CPS iniciais até 8 vezes mais elevados para leitura e gravação de objetos em comparação com os contentores com o espaço de nomes hierárquico ativado. O QPS inicial mais elevado facilita o dimensionamento das cargas de trabalho com grande volume de dados e oferece um débito melhorado. Para ver informações sobre métodos de otimização do desempenho ao usar pastas em contentores com o espaço de nomes hierárquico ativado, consulte o artigo Gestão de pastas.

  • Pastas: as pastas funcionam como um contentor para objetos e outras pastas, com suporte para operações como criar, eliminar e obter pastas.

  • Mudar o nome das pastas: a operação de mudar o nome das pastas ajuda a mudar o nome do caminho de uma pasta e das respetivas pastas subjacentes de forma atómica sem eliminar objetos. Esta técnica é eficiente e poupa tempo, especialmente para pastas grandes com vários objetos.

  • List folders: a operação list folders lista todas as pastas no contentor ou abaixo de uma pasta específica, o que ajuda a gerir e compreender a estrutura dos seus dados armazenados num contentor.

Quando deve ativar o espaço de nomes hierárquico para o seu contentor

Deve considerar ativar o espaço de nomes hierárquico quando usar aplicações que esperam uma hierarquia e uma semântica semelhantes a um sistema de ficheiros. O espaço de nomes hierárquico é vantajoso para tarefas com grande volume de dados, como cargas de trabalho de estatísticas, IA e aprendizagem automática. Seguem-se alguns cenários comuns em que deve considerar usar o espaço de nomes hierárquico:

  • Processamento baseado no Hadoop: as cargas de trabalho do Hadoop e do Spark esperam tradicionalmente uma estrutura de armazenamento semelhante a um sistema de ficheiros e uma nomenclatura baseada no tempo para ficheiros e pastas. O espaço de nomes hierárquico integra-se com o conetor do Cloud Storage para oferecer um débito melhorado e renomeações atómicas de pastas, o que melhora a integridade e a consistência dos dados para muitos pipelines de processamento de dados.

  • Processamento de cargas de trabalho orientadas para ficheiros: as cargas de trabalho, como o processamento de análise de dados em lote, os serviços financeiros ou a computação de alto desempenho, são estruturadas em partições com base numa hierarquia de pastas e ficheiros. O espaço de nomes hierárquico ajuda a gerir estes ambientes com uma API dedicada para a gestão de pastas. Além disso, o espaço de nomes hierárquico simplifica a gestão de pastas que contêm outras pastas e objetos. Com um único comando da API, pode mudar rapidamente o nome de uma pasta, bem como de todo o respetivo conteúdo, poupando tempo e recursos valiosos.

  • Processamento de IA e ML: as ferramentas de IA e ML, como o TensorFlow, o Pandas e o PyTorch, esperam um acesso e uma semântica semelhantes ao sistema de ficheiros. O espaço de nomes hierárquico, especialmente quando combinado com o Cloud Storage FUSE, oferece um débito aumentado e um acesso eficiente aos dados. Como resultado, o espaço de nomes hierárquico melhora o desempenho e a fiabilidade da iteração do modelo de ML.

Antes de ativar o espaço de nomes hierárquico para o seu contentor, deve considerar as limitações do espaço de nomes hierárquico. Para obter informações sobre as limitações do espaço de nomes hierárquico, consulte a secção Limitações.

Vantagens do espaço de nomes hierárquico

Quando ativa o espaço de nomes hierárquico para os seus contentores, pode fazer o seguinte:

  • Otimize a organização: pode organizar os seus dados numa estrutura de pastas hierárquica que ajuda a gerir e localizar ficheiros ou conjuntos de dados.

  • Estabelecer um ecossistema semelhante a um sistema de ficheiros: o espaço de nomes hierárquico introduz funcionalidades semelhantes a um sistema de ficheiros, como pastas, mudança do nome das pastas e listagem de pastas, que são benéficas para aplicações orientadas para ficheiros, incluindo o ecossistema Hadoop e cargas de trabalho de IA e ML.

  • Melhoria do desempenho: ao dimensionar cargas de trabalho com grande volume de dados para processar um débito mais elevado, pode melhorar o desempenho geral da sua aplicação.

Suporte de plataformas

Os contentores com suporte do espaço de nomes hierárquico suportam as seguintes capacidades da plataforma Cloud Storage:

  • Todas as APIs de objetos do Cloud Storage e funcionalidades do Cloud Storage amplamente usadas. Para ver detalhes sobre as funcionalidades não suportadas, consulte Limitações.

  • Transferência de dados de um contentor padrão para um contentor com espaço de nomes hierárquico através do serviço de transferência de armazenamento.

  • Integração com os seguintes produtos:

Compatibilidade com operações e funcionalidades do Cloud Storage

Os contentores com o namespace hierárquico ativado têm as seguintes interações com outras operações do Cloud Storage:

Operações de objetos

Os contentores com o espaço de nomes hierárquico ativado processam as operações de objetos das seguintes formas:

  • As operações como Upload, Rewrite e Compose criam automaticamente todas as pastas principais em falta, desde que tenha as autorizações necessárias. Como resultado, não precisa de criar previamente pastas antes de carregar objetos.
  • Embora as pastas possam ser criadas automaticamente durante as operações de objetos, tem de as eliminar explicitamente através da operação DeleteFolder.
  • Quando usar a operação ListObjects com o parâmetro delimiter, os contentores devolvem cada pasta secundária como um prefix.. No entanto, as pastas vazias são excluídas por predefinição. Para incluir pastas vazias, de forma semelhante a uma listagem típica do sistema de ficheiros, tem de definir o parâmetro includeFoldersAsPrefixes. Para obter informações sobre métodos de otimização do desempenho ao listar objetos em contentores com o espaço de nomes hierárquico ativado, consulte o artigo Listar objetos.

Operações de pastas geridas

Os contentores com o espaço de nomes hierárquico ativado processam as operações de pastas geridas das seguintes formas:

  • Os contentores com o espaço de nomes hierárquico ativado oferecem um controlo de acesso detalhado através de pastas geridas. Para gerir o acesso numa pasta, tem de criar uma pasta gerida com o mesmo nome que a pasta e, em seguida, aplicar-lhe políticas de IAM. Não pode existir uma pasta gerida sem a pasta correspondente.
  • A criação de uma pasta gerida cria automaticamente todas as pastas principais em falta, incluindo a pasta com o mesmo nome.
  • A eliminação de uma pasta elimina automaticamente a pasta gerida associada.
  • Se mudar o nome de uma pasta, o nome das pastas geridas associadas também é alterado automaticamente.
  • Os contentores com espaço de nomes hierárquico têm de seguir as regras de nomes de pastas geridas e as regras de nomes de pastas. Embora os nomes das pastas possam estar aninhados até 50 níveis de profundidade, os nomes das pastas geridas só podem estar aninhados até 15 níveis de profundidade. O tamanho máximo do nome da pasta gerida é limitado pelo tamanho máximo do nome da pasta, que é de 512 bytes quando codificado em UTF-8.

Operações de contentores

Pode eliminar um contentor com o espaço de nomes hierárquico ativado da mesma forma que qualquer outro contentor. Se um contentor ativado com o espaço de nomes hierárquico contiver apenas pastas vazias e nenhum objeto ou pasta gerida, o contentor pode ser eliminado.

Gestão do ciclo de vida de objetos

A Gestão do ciclo de vida de objetos permite-lhe automatizar ações em objetos com base em condições, como a idade ou o prefixo. No entanto, as regras de gestão do ciclo de vida dos objetos podem ter um comportamento diferente em contentores com espaço de nomes hierárquico e em contentores com um espaço de nomes simples devido à operação RenameFolder:

  • Regras de gestão do ciclo de vida de objetos para contentores com um espaço de nomes simples: A operação de mudança de nome envolve a mudança do nome de todos os objetos através da cópia de todos os objetos para uma localização de destino e a eliminação do objeto original da localização de origem. Como resultado, os novos objetos são criados com novas horas de criação na localização de destino. Se forem aplicadas regras de gestão do ciclo de vida de objetos baseadas na idade para a localização de destino, estas não se aplicam imediatamente aos novos objetos, uma vez que as respetivas horas de criação são repostas.

  • Regras de gestão do ciclo de vida de objetos para contentores com espaço de nomes hierárquico ativado: a mudança do nome de uma pasta opera ao nível da pasta, sem ter de mudar o nome de cada objeto. Como resultado, a hora de criação dos objetos é preservada, o que significa que as regras de gestão do ciclo de vida de objetos baseadas na idade são aplicadas aos objetos com novo nome imediatamente se cumprirem os critérios de idade.

Como gerir contentores com o espaço de nomes hierárquico ativado

Pode listar todos os contentores com o namespace hierárquico ativado, independentemente da respetiva disposição de armazenamento. A disposição de armazenamento de um contentor descreve como os objetos estão organizados num contentor, seja num espaço de nomes simples ou num espaço de nomes hierárquico. Para ver instruções sobre como ver a disposição do armazenamento de um contentor, consulte o artigo Obtenha a disposição do armazenamento de um contentor. Para listar todos os contentores, siga as instruções detalhadas em Listar contentores.

Pode eliminar um contentor com o espaço de nomes hierárquico ativado da mesma forma que qualquer outro contentor. Para efeitos de eliminação, se um contentor com o espaço de nomes hierárquico ativado contiver apenas pastas vazias e nenhum objeto ou pastas geridas, o contentor é considerado vazio. Para ver instruções sobre como eliminar contentores, consulte o artigo Elimine contentores.

Preços

Para ver informações sobre preços, consulte os preços do Cloud Storage.

Limitações

Seguem-se as limitações do espaço de nomes hierárquico:

  • Tem de escolher se quer ou não usar o espaço de nomes hierárquico quando criar o contentor. Não é possível alterar a definição do espaço de nomes hierárquico do contentor depois de o criar.

  • Para ativar o espaço de nomes hierárquico, um contentor também tem de ativar o acesso uniforme ao nível do contentor.

  • As seguintes capacidades do Cloud Storage não são suportadas para contentores que usam o espaço de nomes hierárquico:

    • Autoclass
    • Bloqueio de contentores
    • Retenções de objetos
    • Bloqueio de retenção de objetos
    • Controlo de versões de objetos
    • Relocalização de contentores

O que se segue?

Experimente

Se está a usar o Google Cloud pela primeira vez, crie uma conta para avaliar o desempenho do Cloud Storage em cenários reais. Os novos clientes também recebem 300 USD em créditos gratuitos para executar, testar e implementar cargas de trabalho.

Experimentar o Cloud Storage gratuitamente