Conservazione dei metadati

Questo documento descrive i metadati che vengono conservati quando utilizzi Storage Transfer Service per trasferire dati tra varie origini e destinazioni.

Panoramica

Storage Transfer Service conserva i seguenti metadati:

  • Metadati personalizzati creati dall'utente per da Cloud Storage, Amazon S3 o L'archiviazione BLOB di Microsoft Azure viene mantenuta.

  • I trasferimenti tra bucket Cloud Storage possono facoltativamente conservare ACL di oggetto, chiavi di crittografia gestite dal cliente, classe di archiviazione, oggetto data di creazione (come valore di un campo customTime) e archiviazioni a fini legali temporanee.

  • Per i trasferimenti da qualsiasi origine a un bucket Cloud Storage, il parametro classe di archiviazione nel bucket di destinazione può essere impostata su qualsiasi classe supportata parte del trasferimento.

  • Le dimensioni del file e l'ora dell'ultima modifica (mtime) vengono mantenute per da file system POSIX. mtime non è e vengono conservati per le cartelle.

  • Facoltativamente, link simbolici, UID numerico, GID numerico e MODE numerica possono essere per i trasferimenti da e verso i file system POSIX.

  • Solo per i trasferimenti tra file system, se UID, GID o MODE vengono conservati: anche i metadati vengono conservati per le cartelle. Ricreazioni di Cloud Storage cartelle sul file system di destinazione e ripristina UID, GID e/o MODE. Sono incluse le cartelle vuote. mtime non viene conservato.

    I metadati a livello di cartella non vengono conservati se il trasferimento avviene tramite manifest.

I campi dei metadati non esplicitamente menzionati in questo documento non sono vengono conservati.

Comportamento di conservazione dei metadati

Le seguenti sezioni elencano esempi di metadati provenienti da fonti diverse sistemi di archiviazione e come Storage Transfer Service conserva metadati di ciascuna sezione. Per un elenco completo dei metadati, consulta le fonti documentazione del sistema di archiviazione.

Archiviazione compatibile con Amazon S3 o S3 in Cloud Storage

Esempio di metadati Comportamento di conservazione
Campi di metadati a chiave fissa Amazon S3, ad esempio: Cache-Control, Content-Disposition e Content-Type. Conservati come metadati a chiave fissa.
Metadati Amazon S3 definiti dall'utente, formattati come coppie chiave-valore. Per ulteriori informazioni, consulta Metadati degli oggetti definiti dall'utente sezione di . Chiave dell'oggetto e metadati.

Conservato come campo di metadati personalizzato nella destinazione Oggetti Cloud Storage, che puoi modificare o rimuovere in un secondo momento.

ETag Conservato come campo di metadati personalizzato con la chiave x-goog-source-etag, che puoi modificare o rimuovere in un secondo momento.
Dimensioni dell'oggetto. Conservato come size.
Elenchi di controllo dell'accesso (ACL) di Amazon S3. Per un elenco completo, vedi Sezione Chiavi di condizione di . Panoramica dell'elenco di controllo dell'accesso (ACL). Non conservato.
Tag di oggetti Amazon S3, definiti da te come coppie chiave-valore. Per ulteriori informazioni le informazioni, vedi Tag degli oggetti. Non conservato.
Metadati Amazon S3 definiti dal sistema, tranne ETag e dimensioni dell'oggetto. Per un elenco completo, vedi Sezione Metadati degli oggetti definiti dal sistema di Chiave dell'oggetto e metadati.

Non conservato.

I metadati di timestamp dell'origine non vengono conservati. Data/ora creazione, timeCreated, riflette l'ora in cui viene creato un oggetto di archiviazione ideale in Cloud Storage. Allo stesso modo, updated riflette alla modifica dei metadati di un oggetto in Cloud Storage.

Classe di archiviazione

Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.

  • Imposta la classe di archiviazione di ogni oggetto su quella della destinazione di sincronizzare la directory di una VM con un bucket. Questo è il comportamento standard.
  • Impostare una classe di archiviazione specifica per tutti gli oggetti da trasferire.

Consulta documentazione di riferimento di metadataOptions per maggiori dettagli.

Da Microsoft Azure a Cloud Storage

Esempio di metadati Comportamento di conservazione
Campi di metadati a chiave fissa di Archiviazione di Microsoft Azure, ad esempio: Cache-Control, Content-Disposition e Content-Type. Conservati come metadati a chiave fissa.
Metadati definiti dall'utente di Archiviazione Microsoft Azure, formattati come coppie chiave-valore. Per ulteriori informazioni, vedi Impostazioni e recupero di proprietà e metadati per il servizio BLOB risorse .

Conservato come campo di metadati personalizzato nella destinazione Oggetti Cloud Storage, che puoi modificare o rimuovere in un secondo momento.

ETag Conservato come campo di metadati personalizzato con la chiave x-goog-source-etag, che puoi modificare o rimuovere in un secondo momento.
Dimensioni dell'oggetto. Conservato come size.
Autorizzazioni del file system POSIX supportate da Azure Data Lake Storage (ADLS) Gen 2. Non conservato.
Controllo dell'accesso ad Archiviazione di Microsoft Azure, in particolare x-ms-blob-public-access. Per ulteriori informazioni, consulta Intestazioni delle risposte di . Recupera ACL container . Non conservato.
Tag di indice di Microsoft Azure Storage. Per ulteriori informazioni, vedi Gestire e trovare i dati di Azure Blob con i tag di indice BLOB . Non conservato.
Metadati timestamp di Archiviazione di Microsoft Azure, ad esempio: Last-Modified, x-ms-creation-time, x-ms-version, x-ms-request-server-encrypted e x-ms-encryption-scope. Per ulteriori informazioni, vedi Imposta metadati BLOB .

Non conservato.

I metadati di timestamp dell'origine non vengono conservati. Data/ora creazione, timeCreated, riflette l'ora in cui viene creato un oggetto di archiviazione ideale in Cloud Storage. Allo stesso modo, updated riflette alla modifica dei metadati di un oggetto in Cloud Storage.

Classe di archiviazione

Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.

  • Imposta la classe di archiviazione di ogni oggetto su quella della destinazione di sincronizzare la directory di una VM con un bucket. Questo è il comportamento standard.
  • Impostare una classe di archiviazione specifica per tutti gli oggetti da trasferire.

Consulta documentazione di riferimento di metadataOptions per maggiori dettagli.

Trasferimenti tra bucket Cloud Storage

Esempio di metadati Comportamento di conservazione

Campi di metadati a chiave fissa di Cloud Storage, ad esempio: Cache-Control, Content-Disposition e Content-Type.

Per ulteriori informazioni, vedi Metadati degli oggetti

Conservati come metadati a chiave fissa.

Metadati definiti dall'utente di Cloud Storage, formattati come coppie chiave-valore. Per ulteriori informazioni, vedi Metadati personalizzati.

Conservato come campo di metadati personalizzato nella destinazione Oggetti Cloud Storage, che puoi modificare o rimuovere in un secondo momento.

Dimensioni oggetto Conservato come size.
Generazione di oggetti Conservato come campo di metadati personalizzato con la chiave x-goog-reserved-source-generation, che potrai modificare in un secondo momento o rimuovere.
Blocchi degli oggetti

I blocchi basati su eventi non vengono conservati. Se il bucket di destinazione contiene basato su eventi predefinito blocco attivato, viene applicato un blocco basato su eventi oggetti trasferiti.

Le conservazioni temporanee vengono conservate per impostazione predefinita. Per ignorare la modifica temporanea blocchi durante il trasferimento, imposta il campo temporaryHold il l'oggetto metadataOptions in TEMPORARY_HOLD_SKIP.

Elenchi di controllo di accesso (ACL)

Gli ACL possono essere conservati. Consulta le documentazione di riferimento di metadataOptions per maggiori dettagli.

Quando proteggi gli ACL, fai attenzione a evitare di creare inaccessibile oggetti.

Per ulteriori informazioni, consulta la Cloud Storage Elenchi di controllo dell'accesso documentazione.

Classe di archiviazione

Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.

  • Imposta la classe di archiviazione di ogni oggetto su quella della destinazione di sincronizzare la directory di una VM con un bucket. Questo è il comportamento standard.
  • Mantiene la classe di archiviazione dell'oggetto di origine.
  • Impostare una classe di archiviazione specifica per tutti gli oggetti da trasferire.

Consulta documentazione di riferimento di metadataOptions per maggiori dettagli.

Chiave di crittografia gestita dal cliente

Se di crittografia gestita dal cliente (CMEK) è in uso su un oggetto, l'oggetto può facoltativamente utilizzare la stessa chiave quando viene scritto del bucket di destinazione.

Il comportamento predefinito è scrivere l'oggetto nel bucket di destinazione utilizzando il metodo di crittografia del bucket.

Quando mantieni la CMEK originale, tieni presente quanto segue limitazioni:

Consulta documentazione di riferimento di metadataOptions per maggiori dettagli.

Metadati timestamp

timeCreated può essere facoltativamente conservato. Il modello preservato viene memorizzato nel campo customTime dell'interfaccia utente in Cloud Storage. Consulta le documentazione di riferimento di metadataOptions per maggiori dettagli.

I metadati updated non vengono conservati.

Altri metadati non modificabili di Cloud Storage, etag e componentCount. Non conservato.

Per un elenco dei metadati in Cloud Storage, vedi Oggetti.

Trasferimento dell'elenco di URL in Cloud Storage

Per ulteriori informazioni sugli elenchi di URL, consulta la sezione Creazione di un URL. elenco predefinito.

Esempio di metadati Comportamento di conservazione
Campi di metadati a chiave fissa come: Cache-Control, Content-Disposition e Content-Type. Conservato come metadati modificabili.
Content-Length e MD5

Vengono conservati come metadati non modificabili.

Se la fonte non fornisce un valore hash MD5: non conserviamo un valore.

Questo comportamento di conservazione è specifico di Content-Length e MD5. Tutti gli altri metadati non modificabili non elencati non sono vengono conservati.

Metadati timestamp, ad esempio ora di creazione, ora di modifica e altro specifici della sorgente.

Non conservato.

I metadati di timestamp dell'origine non vengono conservati. Data/ora creazione, timeCreated, riflette l'ora in cui viene creato un oggetto di archiviazione ideale in Cloud Storage. Allo stesso modo, updated riflette alla modifica dei metadati di un oggetto in Cloud Storage.

Classe di archiviazione

Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.

  • Imposta la classe di archiviazione di ogni oggetto su quella della destinazione di sincronizzare la directory di una VM con un bucket. Questo è il comportamento standard.
  • Impostare una classe di archiviazione specifica per tutti gli oggetti da trasferire.

Consulta documentazione di riferimento di metadataOptions per maggiori dettagli.

Trasferimenti dei file system POSIX

Durante il trasferimento di file dai file system POSIX, Storage Transfer Service può scegliere di conservare alcuni attributi come metadati personalizzati. Se questi file vengono scritti in un secondo momento a un file system, Storage Transfer Service può convertire i metadati conservati torna agli attributi POSIX.

Esempio di metadati Comportamento di conservazione
Data/ora modifica (mtime)

Conservato.

mtime viene conservato come metadati personalizzati con la chiave goog-reserved-file-mtime.

Dimensioni file

Conservato.

La dimensione del file viene mantenuta come size.

UID numerico
GID numerico
MODALITÀ numerica
Link simbolici

Facoltativo.

Il comportamento di conservazione viene specificato metadataOptions. Consulta Conservare i metadati POSIX facoltativi per i dettagli.

Il comportamento predefinito prevede di non conservare i metadati.

Metadati della cartella I metadati a livello di cartella vengono conservati solo per i trasferimenti tra file sistemi diversi. Si applicano le impostazioni di conservazione di UID, GID e MODE del trasferimento a file e cartelle per questi trasferimenti.

mtime non viene conservato per le cartelle. mtime è impostata sull'ora di creazione della cartella nel file system di destinazione.

I metadati della cartella non vengono conservati per trasferimenti del file manifest.

Classe di archiviazione

Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.

  • Imposta la classe di archiviazione di ogni oggetto su quella della destinazione di sincronizzare la directory di una VM con un bucket. Questo è il comportamento standard.
  • Impostare una classe di archiviazione specifica per tutti gli oggetti da trasferire.

Consulta documentazione di riferimento di metadataOptions per maggiori dettagli.

Conservazione dei metadati POSIX facoltativi

Per mantenere uno o più UID numerico, GID numerico, MODE numerica, e i link simbolici, specifica metadataOptions nel corpo del job di trasferimento.

Queste opzioni si applicano sia ai trasferimenti da POSIX a Cloud Storage che Trasferimenti dei dati da Cloud Storage a POSIX. Quest'ultimo, i metadati devono avere durante il trasferimento iniziale dei file in Cloud Storage.

{
  "description": "metadata-example",
  "projectId": "example-project-id"
  "transferSpec": {
    ...
    "transferOptions": {
      "metadataOptions": {
        "gid":     "GID_NUMBER",       # Default is "GID_SKIP"
        "uid":     "UID_NUMBER",       # Default is "UID_SKIP"
        "mode":    "MODE_PRESERVE",    # Default is "MODE_SKIP"
        "symlink": "SYMLINK_PRESERVE"  # Default is "SYMLINK_SKIP"
      }
    }
  }
}

Da POSIX a Cloud Storage

I metadati conservati vengono archiviati in Cloud Storage come metadati personalizzati coppie chiave-valore.

  • Il GID numerico viene memorizzato come goog-reserved-posix-gid.
  • L'UID numerico viene memorizzato come goog-reserved-posix-uid.
  • La MODALITÀ numerica è memorizzata come goog-reserved-posix-mode.

Per i link simbolici, Storage Transfer Service conserva il link di destinazione come oggetto in Cloud Storage con le seguenti qualità:

  • La chiave dell'oggetto è composta dal prefisso di destinazione e dal percorso del collegamento simbolico, rispetto a root_directory.
  • Metadati degli oggetti:
    • Tutti i metadati dei collegamenti simbolici vengono conservati come metadati degli oggetti Cloud Storage.
    • Viene creata una voce di metadati personalizzati: goog-reserved-file-is-symlink:true.
  • Il contenuto dell'oggetto è il target del collegamento simbolico. Ad esempio, per un link simbolico sym-> dir1/target, il contenuto dell'oggetto è "dir1/target".

Storage Transfer Service non convalida il collegamento né copia il file di destinazione.

Da Cloud Storage a POSIX

Se i metadati vengono conservati durante il trasferimento dei file in Cloud Storage, i metadati possono essere riscritti nei file una volta trasferiti nuovamente a un file system POSIX.

Se un'opzione dei metadati è impostata su conservazione, Storage Transfer Service prende quanto segue: azioni:

  • Link simbolici: Storage Transfer Service crea un file di link simbolici che punta allo link di destinazione. Se il file di destinazione non esiste, il collegamento simbolico verrà interrotto.
  • GID, UID e MODE: vengono scritti i valori archiviati nei metadati Cloud Storage al file.

Da POSIX a POSIX

I trasferimenti tra file system possono facoltativamente conservare GID, UID e MODE per e cartelle.

L'ora dell'ultima modifica viene salvata per i file, ma non per le cartelle. mtime è impostato sull'ora di creazione della cartella nel file system di destinazione.

Storage Transfer Service salva i metadati della cartella creando oggetti delle cartelle a 0 byte in del bucket intermedio, quindi copiando i metadati nella cartella file system di destinazione. Per questo motivo, il numero di oggetti creati nel un bucket intermedio può essere maggiore del numero di file trasferito.