Spazio dei nomi gerarchico

Questa pagina fornisce una panoramica dello spazio dei nomi gerarchico, delle funzionalità principali, dei casi d'uso comuni, dei vantaggi e delle limitazioni da considerare.

Panoramica

Lo spazio dei nomi gerarchico è una funzionalità offerta da Cloud Storage che consente di organizzare gli oggetti in cartelle. Con lo spazio dei nomi gerarchico, puoi memorizzare i dati in una struttura di file system logica. Organizzare i dati in una struttura del filesystem migliora le prestazioni, garantisce la coerenza e semplifica la gestione dei carichi di lavoro orientati ai file e con un'intensità di dati elevata.

Le operazioni di gestione delle cartelle offrono affidabilità e funzionalità di gestione, tra cui creazione, eliminazione, elencazione e ridenominazione delle cartelle. L'organizzazione gerarchica degli oggetti semplifica l'organizzazione dei dati e snellisce le attività di gestione dei dati. Una cartella in un bucket con spazio dei nomi gerarchico abilitato può contenere oggetti, altre cartelle o una combinazione di entrambi.

Devi scegliere se utilizzare o meno lo spazio dei nomi gerarchico quando crei il bucket. L'impostazione dello spazio dei nomi gerarchico del bucket non può essere modificata dopo la creazione del bucket. Per informazioni su come attivare lo spazio dei nomi gerarchico per il bucket, consulta Creare e gestire i bucket con lo spazio dei nomi gerarchico abilitato.

Il seguente diagramma mostra un esempio di un bucket con spazio dei nomi gerarchico abilitato in cui gli oggetti sono organizzati in una struttura gerarchica di cartelle.

Figura 1. Gerarchia del bucket con cartelle e oggetti.

Funzionalità principali

Lo spazio dei nomi gerarchico fornisce le seguenti funzionalità:

• Numero di query iniziali al secondo (QPS) più elevato: i bucket con lo spazio dei nomi gerarchico abilitato offrono limiti QPS iniziali fino a otto volte superiori per la lettura e la scrittura di oggetti rispetto ai bucket senza spazio dei nomi gerarchico abilitato. Il QPS iniziale più elevato semplifica la scalabilità dei carichi di lavoro che richiedono un uso intensivo dei dati e offre una maggiore velocità in uscita. Per informazioni sui metodi di ottimizzazione delle prestazioni durante l'utilizzo di cartelle nei bucket con spazio dei nomi gerarchico abilitato, consulta Gestione delle cartelle.

• Cartelle: le cartelle fungono da contenitore per oggetti e altre cartelle, con il supporto di operazioni come creazione, eliminazione e recupero di cartelle.

• Rinomina cartelle: l'operazione di rinominazione delle cartelle consente di rinominare in modo atomico il percorso di una cartella e le relative sottocartelle senza eliminare alcun oggetto. Questa tecnica è efficiente e consente di risparmiare tempo, soprattutto per le cartelle di grandi dimensioni con più oggetti.

• Elenca cartelle: l'operazione Elenca cartelle elenca tutte le cartelle nel bucket o all'interno di una cartella specifica, aiutandoti a gestire e comprendere la struttura dei dati archiviati in un bucket.

Quando abilitare lo spazio dei nomi gerarchico per il bucket

Ti consigliamo di attivare lo spazio dei nomi gerarchico quando utilizzi applicazioni che prevedono una gerarchia e una semantica simili a quelle di un file system. Lo spazio dei nomi gerarchico è utile per attività con uso intensivo di dati, come i carichi di lavoro di analisi, AI e ML. Ecco alcuni scenari comuni in cui è consigliabile utilizzare un ambito di nomi gerarchico:

• Elaborazione basata su Hadoop: i carichi di lavoro Hadoop e Spark in genere prevedono una struttura di archiviazione simile a un file system e una denominazione basata sul tempo per file e cartelle. Lo spazio dei nomi gerarchico si integra con il connettore Cloud Storage per fornire un throughput migliorato e ridenominazioni atomiche delle cartelle, migliorando l'integrità e la coerenza dei dati per molte pipeline di elaborazione dei dati.

• Elaborazione di carichi di lavoro orientati ai file: carichi di lavoro come l'elaborazione di analisi in batch, i servizi finanziari o il calcolo ad alte prestazioni sono strutturati in partizioni in base a una gerarchia di cartelle e file. Lo spazio dei nomi gerarchico consente di gestire questi ambienti con un'API dedicata per la gestione delle cartelle. Inoltre, lo spazio dei nomi gerarchico semplifica la gestione delle cartelle che contengono altre cartelle e altri oggetti. Con un unico comando API, puoi rinominare rapidamente una cartella e tutti i relativi contenuti, risparmiando tempo e risorse preziose.

• Elaborazione di IA e ML: gli strumenti di IA e ML come TensorFlow, Pandas e PyTorch si aspettano accessi e semantica simili a quelli del file system. Lo spazio dei nomi gerarchico, soprattutto se combinato con FUSE di Cloud Storage, offre un aumento del throughput e un accesso efficiente ai dati. Di conseguenza, lo spazio dei nomi gerarchico migliora le prestazioni e l'affidabilità dell'iterazione del modello di ML.

Prima di attivare lo spazio dei nomi gerarchico per il bucket, devi prendere in considerazione le limitazioni dello spazio dei nomi gerarchico. Per informazioni sulle limitazioni degli spazi dei nomi gerarchici, consulta Limitazioni.

Vantaggi dello spazio dei nomi gerarchico

Quando attivi lo spazio dei nomi gerarchico per i tuoi bucket, puoi eseguire quanto segue:

• Ottimizza l'organizzazione: puoi organizzare i dati in una struttura di cartelle gerarchica, che ti aiuta a gestire e individuare file o set di dati.

• Stabilire un ecosistema simile a un file system: lo spazio dei nomi gerarchico introduce funzionalità simili a quelle di un file system, come cartelle, ridenominazione di cartelle ed elenco di cartelle, che sono utili per le applicazioni orientate ai file, incluso l'ecosistema Hadoop e i carichi di lavoro di AI e ML.

• Miglioramento delle prestazioni: ridimensionando i carichi di lavoro con un'intensità di dati elevata per gestire un throughput più elevato, puoi migliorare il rendimento complessivo della tua applicazione.

Supporto piattaforme

I bucket con spazio dei nomi gerarchico supportano le seguenti funzionalità della piattaforma Cloud Storage:

• Tutte le API di oggetti Cloud Storage e le funzionalità di Cloud Storage di uso comune. Per informazioni dettagliate sulle funzionalità non supportate, consulta Limiti.

• Trasferimento di dati da un bucket standard a un bucket con un ambito di nomi gerarchico utilizzando Storage Transfer Service.

• Integrazione con i seguenti prodotti:

  • Connettore Cloud Storage, gestito da Dataproc per i carichi di lavoro Hadoop. Per ulteriori informazioni, consulta Utilizzare i bucket con spazi dei nomi gerarchici per i workload Hadoop

  • Cloud Storage FUSE per l'accesso ai bucket come file system utilizzando i client.

Compatibilità con le operazioni e le funzionalità di Cloud Storage

I bucket con spazio di nomi gerarchico abilitato hanno le seguenti interazioni con altre operazioni di Cloud Storage:

Operazioni sugli oggetti

I bucket con spazio dei nomi gerarchico abilitato gestiscono le operazioni sugli oggetti nel seguente modo:

• Operazioni come Upload, Rewrite e Compose creano automaticamente le cartelle principali mancanti, a condizione che tu disponga delle autorizzazioni necessarie. Di conseguenza, non è necessario creare in anticipo le cartelle prima di caricare gli oggetti.
• Sebbene le cartelle possano essere create automaticamente durante le operazioni sugli oggetti, devi eliminarle esplicitamente utilizzando l'operazione DeleteFolder.
• Quando utilizzi l'operazione ListObjects con il parametro delimiter, i bucket restituiscono ogni cartella secondaria come prefix.. Tuttavia, le cartelle vuote sono escluse per impostazione predefinita. Per includere cartelle vuote, in modo simile a una tipica voce del sistema di file, devi impostare il parametro includeFoldersAsPrefixes. Per informazioni sui metodi di ottimizzazione del rendimento durante la pubblicazione di oggetti in bucket con spazio dei nomi gerarchico abilitato, consulta Oggetti della scheda.

Operazioni sulle cartelle gestite

I bucket con spazio dei nomi gerarchico abilitato gestiscono le operazioni sulle cartelle gestite nei seguenti modi:

• I bucket con spazio dei nomi gerarchico abilitato offrono il controllo dell'accesso granulare dell'accesso tramite le cartelle gestite. Per gestire l'accesso all'interno di una cartella, devi creare una cartella gestita con lo stesso nome della cartella e poi applicare i criteri IAM. Una cartella gestita non può esistere senza la cartella corrispondente.
• La creazione di una cartella gestita crea automaticamente le eventuali cartelle principali mancanti, inclusa la cartella con lo stesso nome.
• L'eliminazione di una cartella comporta automaticamente l'eliminazione della cartella gestita associata.
• La ridenominazione di una cartella comporta la ridenominazione automatica delle cartelle gestite associate.
• I bucket con spazio dei nomi gerarchico devono rispettare le regole per i nomi delle cartelle gestite e le regole per i nomi delle cartelle. Sebbene i nomi delle cartelle possano essere nidificati fino a 50 livelli, i nomi delle cartelle gestite possono essere nidificati solo fino a 15 livelli. La dimensione massima del nome della cartella gestita è limitata dalla dimensione massima del nome della cartella, ovvero 512 byte con codifica UTF-8.

Operazioni sui bucket

Puoi eliminare un bucket con spazio dei nomi gerarchico abilitato nello stesso modo di qualsiasi altro bucket. Se un bucket abilitato con uno spazio dei nomi gerarchico contiene solo cartelle vuote e nessun oggetto o cartella gestita, può essere eliminato.

Gestione del ciclo di vita degli oggetti

Gestione del ciclo di vita degli oggetti ti consente di automatizzare le azioni sugli oggetti in base a condizioni, ad esempio età o prefisso. Tuttavia, le regole di Gestione del ciclo di vita degli oggetti possono comportarsi in modo diverso nei bucket con uno spazio dei nomi gerarchico e nei bucket con uno spazio dei nomi piatto a causa dell'operazione RenameFolder:

• Regole di Gestione del ciclo di vita degli oggetti per i bucket con uno spazio dei nomi piatto: l'operazione di rinominazione prevede la ridenominazione di ogni oggetto utilizzando gli strumenti, copiando ogni oggetto in una posizione di destinazione ed eliminando l'oggetto originale dalla posizione di origine. Di conseguenza, nella posizione di destinazione vengono creati nuovi oggetti con nuovi momenti di creazione. Se per la posizione di destinazione vengono applicate regole di gestione del ciclo di vita degli oggetti in base alla data di creazione, queste non verranno applicate immediatamente ai nuovi oggetti perché i relativi tempi di creazione vengono reimpostati.

• Regole di gestione del ciclo di vita degli oggetti per i bucket con spazio dei nomi gerarchico attivo: la ridenominazione di una cartella avviene a livello di cartella, senza dover rinominare ogni singolo oggetto. Di conseguenza, la data di creazione degli oggetti viene conservata, il che significa che le regole di Gestione del ciclo di vita degli oggetti in base alla data di creazione vengono applicate immediatamente agli oggetti rinominati se soddisfano i criteri relativi alla data di creazione.

Come gestire i bucket con uno spazio di nomi gerarchico abilitato

Puoi elencare tutti i bucket con spazio dei nomi gerarchico abilitato, indipendentemente dal loro layout di archiviazione. Il layout di archiviazione di un bucket descrive in che modo gli oggetti sono organizzati all'interno di un bucket, in uno spazio dei nomi piatto o in uno spazio dei nomi gerarchico. Per istruzioni su come visualizzare il layout dello spazio di archiviazione di un bucket, consulta Ottenere il layout dello spazio di archiviazione di un bucket. Per elencare tutti i bucket, segui le istruzioni dettagliate in Elenca i bucket.

Puoi eliminare un bucket con spazio dei nomi gerarchico abilitato nello stesso modo di qualsiasi altro bucket. Ai fini dell'eliminazione, se un bucket con spazio dei nomi gerarchico abilitato contiene solo cartelle vuote e nessun oggetto o cartella gestita, il bucket è considerato vuoto. Per istruzioni sull'eliminazione dei bucket, consulta Eliminare i bucket.

Prezzi

Per informazioni sui prezzi, consulta Prezzi di Cloud Storage.

Limitazioni

Di seguito sono riportate le limitazioni dello spazio dei nomi gerarchico:

• Devi scegliere se utilizzare o meno lo spazio dei nomi gerarchico quando crei il bucket. L'impostazione dello spazio dei nomi gerarchico del bucket non può essere modificata dopo la creazione del bucket.

• Per abilitare lo spazio dei nomi gerarchico, in un bucket deve essere abilitato anche l' accesso uniforme a livello di bucket.

• Le seguenti funzionalità di Cloud Storage non sono supportate per i bucket che utilizzano uno spazio dei nomi gerarchico:

  • Autoclass
  • Blocco bucket
  • Blocchi degli oggetti
  • Blocco della conservazione degli oggetti
  • Controllo delle versioni degli oggetti

Passaggi successivi

• Crea bucket con lo spazio dei nomi gerarchico abilitato.
• Creare e gestire le cartelle.
• Rinominare le cartelle.
• Utilizza lo spazio dei nomi gerarchico per i carichi di lavoro Hadoop.
• Ottimizzare il rendimento.

Provalo

Se non conosci Google Cloud, crea un account per valutare le prestazioni di Cloud Storage in scenari reali. I nuovi clienti ricevono anche 300 $ di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

Prova Cloud Storage gratuitamente