Esta página fornece uma visão geral do namespace hierárquico, principais recursos, casos de uso, benefícios e limitações que devem ser considerados.
Visão geral
O namespace hierárquico é um recurso oferecido pelo Cloud Storage que permite organizar objetos em pastas. Com o namespace hierárquico, é possível e armazenar os dados em uma estrutura lógica de sistema de arquivos. Organizar os dados em um do sistema de arquivos melhora o desempenho, garante a consistência e simplifica o gerenciamento de cargas de trabalho com uso intensivo de dados e orientadas por arquivos.
As operações de gerenciamento de pastas oferecem confiabilidade e gerenciamento incluindo criar, excluir, listar e renomear pastas. A organização hierárquica de objetos simplifica a organização e as tarefas de gerenciamento de dados. Uma pasta em um bucket com namespace hierárquico ativado pode conter objetos, outras pastas ou uma combinação dos dois.
O namespace hierárquico só pode ser ativado ao criar um bucket. Para informações sobre como ativar o namespace hierárquico do seu bucket, consulte Criar e gerenciar buckets com namespace hierárquico ativado.
O diagrama a seguir mostra um exemplo de um bucket com namespace hierárquico ativado, em que os objetos são organizados uma estrutura hierárquica de pastas.
Principais recursos
O namespace hierárquico fornece os seguintes recursos:
Consultas iniciais por segundo (QPS) mais altas: buckets com o namespace hierárquico ativado oferece um QPS inicial mais alto para leitura e de gravação em comparação com buckets sem namespace hierárquico ativado. Quanto maior o QPS inicial, mais fácil é fazer o escalonamento com uso intensivo de dados cargas de trabalho com uma capacidade de processamento aprimorada.
Pastas: as pastas servem como um contêiner para objetos e outras pastas com suporte para operações como criar, excluir e receber pastas.
Renomear pastas: a operação de renomear pastas ajuda você a renomear o caminho de uma pasta e as pastas subjacentes sem excluir nenhum objeto. Essa técnica é eficiente e poupa tempo, especialmente para pastas com vários objetos.
Listar pastas: a operação "Listar pastas" lista todas as pastas no bucket ou abaixo de uma pasta específica, ajudando você a gerenciar e entender a estrutura dos dados armazenados em um bucket.
Quando você deve ativar o namespace hierárquico no bucket
Considere ativar o namespace hierárquico ao usar aplicativos que esperam uma hierarquia semântica parecida com um sistema de arquivos. O namespace hierárquico é benéfico para tarefas com uso intensivo de dados, como cargas de trabalho de análise, IA e ML. Estes são alguns cenários comuns em que você deve considerar o uso do namespace hierárquico:
Processamento baseado em Hadoop: as cargas de trabalho Hadoop e Spark tradicionalmente esperam uma estrutura de armazenamento semelhante a um sistema de arquivos e uma nomenclatura baseada em tempo para arquivos e pastas. O namespace hierárquico é integrado ao conector do Cloud Storage para oferecer capacidade de processamento aprimorada e renomeações atômicas de pastas, aprimorando a integridade e a consistência em muitos pipelines de processamento de dados.
Processamento de cargas de trabalho orientadas a arquivos: cargas de trabalho como processamento de análise em lote, serviços financeiros ou computação de alto desempenho são estruturadas em partições com base em uma hierarquia de pastas e arquivos. O namespace hierárquico ajuda a gerenciar esses ambientes com uma API dedicada para o gerenciamento de pastas. Além disso, o namespace hierárquico simplifica o gerenciamento de pastas que contêm outras pastas e objetos. Com uma só API , você pode renomear uma pasta rapidamente com todo o conteúdo, salvando recursos e tempo valiosos.
Processamento de IA e ML: ferramentas de IA e ML, como TensorFlow, Pandas e PyTorch esperam obter acesso e semântica semelhantes a sistemas de arquivos. O namespace hierárquico, especialmente quando combinado com o Cloud Storage FUSE, oferece maior capacidade de processamento e acesso eficiente aos dados. Como resultado, o namespace hierárquico aumenta o desempenho e a confiabilidade do modelo de iteração de ML.
Antes de ativar o namespace hierárquico do bucket, considere as limitações do namespace hierárquico. Para informações sobre as limitações de namespace hierárquico, consulte Limitações.
Benefícios do namespace hierárquico
Ao ativar o namespace hierárquico para os buckets, é possível fazer o seguinte:
Otimizar a organização: é possível organizar os dados em uma estrutura de pastas hierárquica que ajuda a gerenciar e localizar arquivos ou conjuntos de dados.
Estabelecer um ecossistema semelhante a um sistema de arquivos: o namespace hierárquico introduz recursos semelhantes a sistemas de arquivos, como pastas, renomeação de pastas e listagem de pastas, que são benéficos para aplicativos orientados a arquivos, como o ecossistema Hadoop e as cargas de trabalho de IA e ML.
Melhoria de desempenho: escalonando cargas de trabalho com uso intensivo de dados para lidar com maior capacidade de processamento, é possível aprimorar o desempenho geral do aplicativo.
Suporte a plataformas
Buckets com namespace hierárquico dão suporte aos seguintes recursos da plataforma Cloud Storage:
Todas as APIs de objetos do Cloud Storage e amplamente usadas dos recursos di Cloud Storage. Para saber mais detalhes sobre os recursos sem suporte, consulte Limitações.
Transferência de dados de um bucket padrão para um bucket com o namespace hierárquico usando o Serviço de transferência do Cloud Storage.
Integração com os seguintes produtos:
Conector do Cloud Storage, mantido pelo Dataproc para cargas de trabalho do Hadoop. Para mais informações, consulte Usar buckets ativados do namespace hierárquico para cargas de trabalho do Hadoop
Cloud Storage FUSE para acesso a buckets semelhantes a sistemas de arquivos usando clientes.
Limitações
Confira a seguir as limitações do namespace hierárquico:
O namespace hierárquico só pode ser ativado ao criar um bucket. Não é possível modificar buckets com um namespace simples para incluir um namespace hierárquico.
Os seguintes recursos do Cloud Storage não têm suporte em visualização para buckets que usam o namespace hierárquico:
- Fazer a exclusão reversível
- Classe automática
- Controle de versões do objeto
- ACLs de objeto
- Bloqueio de retenção de objetos
- Bloqueio de buckets
É possível acessar os buckets criados com o namespace hierárquico no console do Google Cloud, não é possível gerenciar as pastas usando o console do Google Cloud. Recomendamos o uso da linha de comando, APIs REST ou bibliotecas para gerenciamento de pastas.
A seguir
- Criar e gerenciar buckets com o namespace hierárquico ativado.
- Criar e gerenciar pastas.
- Renomear pastas.
- Usar o namespace hierárquico para cargas de trabalho do Hadoop.
Faça um teste
Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho do Cloud Storage em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
Faça uma avaliação gratuita do Cloud Storage