Namespace hierárquico

Visualização

Este produto ou recurso está sujeito aos "Termos das ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos do serviço. Os produtos e recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Esta página fornece uma visão geral do namespace hierárquico, principais recursos, casos de uso, benefícios e limitações que devem ser considerados.

Visão geral

O namespace hierárquico é um recurso oferecido pelo Cloud Storage que permite organizar objetos em pastas. Com o namespace hierárquico, é possível e armazenar os dados em uma estrutura lógica de sistema de arquivos. Organizar os dados em um do sistema de arquivos melhora o desempenho, garante a consistência e simplifica o gerenciamento de cargas de trabalho com uso intensivo de dados e orientadas por arquivos.

As operações de gerenciamento de pastas oferecem confiabilidade e gerenciamento incluindo criar, excluir, listar e renomear pastas. A organização hierárquica de objetos simplifica a organização e as tarefas de gerenciamento de dados.

Uma pasta em um bucket com namespace hierárquico ativado pode conter objetos, outras pastas ou uma combinação dos dois. O diagrama a seguir mostra um exemplo de um bucket com namespace hierárquico ativado, em que os objetos são organizados uma estrutura hierárquica de pastas.

Figura 1. Hierarquia de buckets com pastas e objetos.

Principais recursos

O namespace hierárquico fornece os seguintes recursos:

• Consultas iniciais por segundo (QPS) mais altas: buckets com o namespace hierárquico ativado oferece um QPS inicial mais alto para leitura e de gravação em comparação com buckets sem namespace hierárquico ativado. Quanto maior o QPS inicial, mais fácil é fazer o escalonamento com uso intensivo de dados cargas de trabalho com uma capacidade de processamento aprimorada.

• Pastas: as pastas servem como um contêiner para objetos e outras pastas com suporte para operações como criar, excluir e receber pastas.

• Renomear pastas: a operação de renomear pastas ajuda você a renomear o caminho de uma pasta e as pastas subjacentes sem excluir nenhum objeto. Essa técnica é eficiente e poupa tempo, especialmente para pastas com vários objetos.

• Listar pastas: a operação "Listar pastas" lista todas as pastas no bucket ou abaixo de uma pasta específica, ajudando você a gerenciar e entender a estrutura dos dados armazenados em um bucket.

É possível ativar o namespace hierárquico de um bucket ao criá-lo. Antes de ativar o namespace hierárquico do bucket, considere as limitações do namespace hierárquico. Para informações sobre as limitações de namespace hierárquico, consulte Limitações.

Quando você deve ativar o namespace hierárquico no bucket

Considere ativar o namespace hierárquico ao usar aplicativos que esperam uma hierarquia semântica parecida com um sistema de arquivos. O namespace hierárquico é benéfico para tarefas com uso intensivo de dados, como cargas de trabalho de análise, IA e ML. Estes são alguns cenários comuns em que você deve considerar o uso do namespace hierárquico:

• Processamento baseado em Hadoop: as cargas de trabalho Hadoop e Spark tradicionalmente esperam uma estrutura de armazenamento semelhante a um sistema de arquivos e uma nomenclatura baseada em tempo para arquivos e pastas. O namespace hierárquico é integrado ao conector do Cloud Storage para oferecer capacidade de processamento aprimorada e renomeações atômicas de pastas, aprimorando a integridade e a consistência em muitos pipelines de processamento de dados.

• Processamento de cargas de trabalho orientadas a arquivos: cargas de trabalho como processamento de análise em lote, serviços financeiros ou computação de alto desempenho são estruturadas em partições com base em uma hierarquia de pastas e arquivos. O namespace hierárquico ajuda a gerenciar esses ambientes com uma API dedicada para o gerenciamento de pastas. Além disso, o namespace hierárquico simplifica o gerenciamento de pastas que contêm outras pastas e objetos. Com uma só API , você pode renomear uma pasta rapidamente com todo o conteúdo, salvando recursos e tempo valiosos.

• Processamento de IA e ML: ferramentas de IA e ML, como TensorFlow, Pandas e PyTorch esperam obter acesso e semântica semelhantes a sistemas de arquivos. O namespace hierárquico, especialmente quando combinado com o Cloud Storage FUSE, oferece maior capacidade de processamento e acesso eficiente aos dados. Como resultado, o namespace hierárquico aumenta o desempenho e a confiabilidade do modelo de iteração de ML.

Benefícios do namespace hierárquico

Ao ativar o namespace hierárquico para os buckets, é possível fazer o seguinte:

• Otimizar a organização: é possível organizar os dados em uma estrutura de pastas hierárquica que ajuda a gerenciar e localizar arquivos ou conjuntos de dados.

• Estabelecer um ecossistema semelhante a um sistema de arquivos: o namespace hierárquico introduz recursos semelhantes a sistemas de arquivos, como pastas, renomeação de pastas e listagem de pastas, que são benéficos para aplicativos orientados a arquivos, como o ecossistema Hadoop e as cargas de trabalho de IA e ML.

• Melhoria de desempenho: escalonando cargas de trabalho com uso intensivo de dados para lidar com maior capacidade de processamento, é possível aprimorar o desempenho geral do aplicativo.

Suporte a plataformas

Buckets com namespace hierárquico dão suporte aos seguintes recursos da plataforma Cloud Storage:

• Todas as APIs de objetos do Cloud Storage e amplamente usadas dos recursos di Cloud Storage. Para saber mais detalhes sobre os recursos sem suporte, consulte Limitações.

• Transferência de dados de um bucket padrão para um bucket com o namespace hierárquico usando o Serviço de transferência do Cloud Storage.

• Integração com os seguintes produtos:

  • Conector do Cloud Storage, mantido pelo Dataproc para cargas de trabalho do Hadoop. Para mais informações, consulte Usar buckets ativados do namespace hierárquico para cargas de trabalho do Hadoop

  • Cloud Storage FUSE para acesso a buckets semelhantes a sistemas de arquivos usando clientes.

Limitações

Confira a seguir as limitações do namespace hierárquico:

• Os seguintes recursos do Cloud Storage não têm suporte em visualização para buckets que usam o namespace hierárquico:

  • Fazer a exclusão reversível
  • Classe automática
  • Controle de versões de objetos
  • ACLs de objeto
  • Bloqueio de retenção de objetos
  • Bloqueio de buckets

• É possível acessar os buckets criados com o namespace hierárquico no console do Google Cloud, não é possível gerenciar as pastas usando o console do Google Cloud. Recomendamos o uso da linha de comando, APIs REST ou bibliotecas para gerenciamento de pastas.

A seguir

• Criar e gerenciar buckets com o namespace hierárquico ativado.
• Criar e gerenciar pastas.
• Renomear pastas.
• Usar o namespace hierárquico para cargas de trabalho do Hadoop.

Faça um teste

Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho do Cloud Storage em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

Faça uma avaliação gratuita do Cloud Storage