Questo documento descrive i metadati che vengono conservati quando utilizzi Storage Transfer Service per trasferire dati tra varie origini e destinazioni.
Panoramica
Storage Transfer Service conserva i seguenti metadati:
Metadati personalizzati creati dall'utente per da Cloud Storage, Amazon S3 o L'archiviazione BLOB di Microsoft Azure viene mantenuta.
I trasferimenti tra bucket Cloud Storage possono facoltativamente conservare ACL di oggetto, chiavi di crittografia gestite dal cliente, classe di archiviazione, oggetto data di creazione (come valore di un campo
customTime
) e archiviazioni a fini legali temporanee.Per i trasferimenti da qualsiasi origine a un bucket Cloud Storage, il parametro classe di archiviazione nel bucket di destinazione può essere impostata su qualsiasi classe supportata parte del trasferimento.
Le dimensioni del file e l'ora dell'ultima modifica (
mtime
) vengono mantenute per da file system POSIX.mtime
non è e vengono conservati per le cartelle.Facoltativamente, link simbolici, UID numerico, GID numerico e MODE numerica possono essere per i trasferimenti da e verso i file system POSIX.
Solo per i trasferimenti tra file system, se UID, GID o MODE vengono conservati: che i metadati vengano conservati anche per le cartelle. Ricreazioni di Cloud Storage cartelle sul file system di destinazione e ripristina UID, GID e/o MODE. Sono incluse le cartelle vuote.
mtime
non viene conservato.I metadati a livello di cartella non vengono conservati se il trasferimento avviene tramite manifest.
I campi dei metadati non esplicitamente menzionati in questo documento non sono vengono conservati.
Comportamento di conservazione dei metadati
Le seguenti sezioni elencano esempi di metadati provenienti da fonti diverse sistemi di archiviazione e come Storage Transfer Service conserva metadati di ciascuna sezione. Per un elenco completo dei metadati, consulta le fonti documentazione del sistema di archiviazione.
Archiviazione compatibile con Amazon S3 o S3 in Cloud Storage
Esempio di metadati | Comportamento di conservazione |
---|---|
Campi di metadati a chiave fissa Amazon S3, ad esempio:
Cache-Control ,
Content-Disposition e
Content-Type .
|
Conservati come metadati a chiave fissa. |
Metadati Amazon S3 definiti dall'utente, formattati come coppie chiave-valore. Per ulteriori informazioni, consulta Metadati degli oggetti definiti dall'utente sezione di . Chiave dell'oggetto e metadati. |
Conservato come campo di metadati personalizzato nella destinazione Oggetti Cloud Storage, che puoi modificare o rimuovere in un secondo momento. |
ETag |
Conservato come campo di metadati personalizzato con la chiave
x-goog-source-etag , che puoi modificare o rimuovere in un secondo momento.
|
Dimensioni dell'oggetto. |
Conservato come size .
|
Elenchi di controllo dell'accesso (ACL) di Amazon S3. Per un elenco completo, vedi Sezione Chiavi di condizione di . Panoramica dell'elenco di controllo dell'accesso (ACL). | Non conservato. |
Tag di oggetti Amazon S3, definiti da te come coppie chiave-valore. Per maggiori informazioni le informazioni, vedi Tag degli oggetti. | Non conservato. |
Metadati Amazon S3 definiti dal sistema, tranne ETag e
dimensioni dell'oggetto. Per un elenco completo, vedi
Sezione Metadati degli oggetti definiti dal sistema di
Chiave dell'oggetto e metadati. |
Non conservato.
I metadati di timestamp dell'origine non vengono conservati. Data/ora creazione,
|
Classe di archiviazione |
Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.
Consulta documentazione di riferimento di metadataOptions per maggiori dettagli. |
Da Microsoft Azure a Cloud Storage
Esempio di metadati | Comportamento di conservazione |
---|---|
Campi di metadati a chiave fissa di Microsoft Azure Storage, ad esempio:
Cache-Control ,
Content-Disposition e
Content-Type .
|
Conservati come metadati a chiave fissa. |
Metadati definiti dall'utente di Archiviazione Microsoft Azure, formattati come coppie chiave-valore. Per ulteriori informazioni, vedi Impostazioni e recupero di proprietà e metadati per il servizio BLOB risorse . |
Conservato come campo di metadati personalizzato nella destinazione Oggetti Cloud Storage, che puoi modificare o rimuovere in un secondo momento. |
ETag
|
Conservato come campo di metadati personalizzato con la chiave
x-goog-source-etag , che puoi modificare o rimuovere in un secondo momento.
|
Dimensioni dell'oggetto. |
Conservato come size .
|
Autorizzazioni del file system POSIX supportate da Azure Data Lake Storage (ADLS) Gen 2. | Non conservato. |
Controllo dell'accesso ad Archiviazione di Microsoft Azure, in particolare
x-ms-blob-public-access . Per ulteriori informazioni, consulta
Intestazioni delle risposte
di
.
Recupera ACL container
.
|
Non conservato. |
Tag di indice di Microsoft Azure Storage. Per ulteriori informazioni, vedi Gestire e trovare i dati di Azure Blob con i tag di indice BLOB . | Non conservato. |
Metadati timestamp di Archiviazione di Microsoft Azure, ad esempio:
Last-Modified ,
x-ms-creation-time ,
x-ms-version ,
x-ms-request-server-encrypted e
x-ms-encryption-scope .
Per ulteriori informazioni, vedi
Imposta metadati BLOB
.
|
Non conservato.
I metadati di timestamp dell'origine non vengono conservati. Data/ora creazione,
|
Classe di archiviazione |
Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.
Consulta documentazione di riferimento di metadataOptions per maggiori dettagli. |
Trasferimenti tra bucket Cloud Storage
Esempio di metadati | Comportamento di conservazione |
---|---|
Campi di metadati a chiave fissa di Cloud Storage, ad esempio:
Per ulteriori informazioni, vedi Metadati degli oggetti |
Conservati come metadati a chiave fissa. |
Metadati definiti dall'utente di Cloud Storage, formattati come coppie chiave-valore. Per ulteriori informazioni, vedi Metadati personalizzati. |
Conservato come campo di metadati personalizzato nella destinazione Oggetti Cloud Storage, che puoi modificare o rimuovere in un secondo momento. |
Dimensioni oggetto |
Conservato come size .
|
Generazione di oggetti |
Conservato come campo di metadati personalizzato con la chiave
x-goog-reserved-source-generation , che potrai modificare in un secondo momento
o rimuovere.
|
Blocchi degli oggetti |
I blocchi basati su eventi non vengono conservati. Se il bucket di destinazione contiene basato su eventi predefinito blocco attivato, viene applicato un blocco basato su eventi oggetti trasferiti. Le conservazioni temporanee vengono conservate per impostazione predefinita. Per ignorare la modifica temporanea
blocchi durante il trasferimento, imposta il campo |
Elenchi di controllo di accesso (ACL) |
Gli ACL possono essere conservati. Consulta le documentazione di riferimento di metadataOptions per maggiori dettagli. Quando proteggi gli ACL, fai attenzione a evitare di creare inaccessibile oggetti. Per ulteriori informazioni, consulta la Cloud Storage Elenchi di controllo dell'accesso documentazione. |
Classe di archiviazione |
Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.
Consulta documentazione di riferimento di metadataOptions per maggiori dettagli. |
Chiave di crittografia gestita dal cliente |
Se di crittografia gestita dal cliente (CMEK) è in uso su un oggetto, l'oggetto può facoltativamente utilizzare la stessa chiave quando viene scritto bucket di destinazione. Il comportamento predefinito è scrivere l'oggetto nel bucket di destinazione utilizzando il metodo di crittografia del bucket. Quando mantieni la CMEK originale, tieni presente quanto segue limitazioni:
Consulta documentazione di riferimento di metadataOptions per maggiori dettagli. |
Metadati timestamp |
I metadati |
Altri metadati non modificabili di Cloud Storage,
etag e componentCount .
|
Non conservato. |
Per un elenco dei metadati in Cloud Storage, vedi Oggetti.
Trasferimento dell'elenco di URL in Cloud Storage
Per ulteriori informazioni sugli elenchi di URL, consulta la sezione Creazione di un URL. elenco predefinito.
Esempio di metadati | Comportamento di conservazione |
---|---|
Campi di metadati a chiave fissa come:
Cache-Control ,
Content-Disposition e
Content-Type .
|
Conservato come metadati modificabili. |
Content-Length e
MD5
|
Vengono conservati come metadati non modificabili.
Se la fonte non fornisce un valore hash
Questo comportamento di conservazione è specifico di |
Metadati timestamp, ad esempio ora di creazione, ora di modifica e altro specifici della sorgente. |
Non conservato.
I metadati di timestamp dell'origine non vengono conservati. Data/ora creazione,
|
Classe di archiviazione |
Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.
Consulta documentazione di riferimento di metadataOptions per maggiori dettagli. |
Trasferimenti dei file system POSIX
Durante il trasferimento di file dai file system POSIX, Storage Transfer Service può scegliere di conservare alcuni attributi come metadati personalizzati. Se questi file vengono scritti in un secondo momento a un file system, Storage Transfer Service può convertire i metadati conservati torna agli attributi POSIX.
Esempio di metadati | Comportamento di conservazione |
---|---|
Data/ora modifica (mtime )
|
Conservato.
|
Dimensioni file |
Conservato. La dimensione del file viene mantenuta come |
UID numerico GID numerico MODALITÀ numerica Link simbolici |
Facoltativo. Il comportamento di conservazione viene specificato
Il comportamento predefinito prevede di non conservare i metadati. |
Metadati della cartella | I metadati a livello di cartella vengono conservati solo per i trasferimenti tra file
sistemi operativi. Si applicano le impostazioni di conservazione di UID, GID e MODE del trasferimento
a file e cartelle per questi trasferimenti.
I metadati della cartella non vengono conservati per trasferimenti del file manifest. |
Classe di archiviazione |
Esistono più opzioni per impostare la classe di archiviazione durante trasferimento.
Consulta documentazione di riferimento di metadataOptions per maggiori dettagli. |
Conservazione dei metadati POSIX facoltativi
Per mantenere uno o più UID numerico, GID numerico, MODE numerica,
e i link simbolici, specifica
metadataOptions
nel corpo del job di trasferimento.
Queste opzioni si applicano sia ai trasferimenti da POSIX a Cloud Storage che Trasferimenti dei dati da Cloud Storage a POSIX. Quest'ultimo, i metadati devono avere durante il trasferimento iniziale dei file in Cloud Storage.
{
"description": "metadata-example",
"projectId": "example-project-id"
"transferSpec": {
...
"transferOptions": {
"metadataOptions": {
"gid": "GID_NUMBER", # Default is "GID_SKIP"
"uid": "UID_NUMBER", # Default is "UID_SKIP"
"mode": "MODE_PRESERVE", # Default is "MODE_SKIP"
"symlink": "SYMLINK_PRESERVE" # Default is "SYMLINK_SKIP"
}
}
}
}
Da POSIX a Cloud Storage
I metadati conservati vengono archiviati in Cloud Storage come metadati personalizzati coppie chiave-valore.
- Il GID numerico viene memorizzato come
goog-reserved-posix-gid
. - L'UID numerico viene memorizzato come
goog-reserved-posix-uid
. - La MODALITÀ numerica è memorizzata come
goog-reserved-posix-mode
.
Per i link simbolici, Storage Transfer Service conserva il link di destinazione come oggetto in Cloud Storage con le seguenti qualità:
- La chiave dell'oggetto è composta dal prefisso di destinazione e dal percorso del collegamento simbolico,
rispetto a
root_directory
. - Metadati degli oggetti:
- Tutti i metadati dei collegamenti simbolici vengono conservati come metadati degli oggetti Cloud Storage.
- Viene creata una voce di metadati personalizzati:
goog-reserved-file-is-symlink:true
.
- Il contenuto dell'oggetto è il target del collegamento simbolico. Ad esempio, per un link simbolico
sym-> dir1/target
, il contenuto dell'oggetto è "dir1/target".
Storage Transfer Service non convalida il collegamento né copia il file di destinazione.
Da Cloud Storage a POSIX
Se i metadati vengono conservati durante il trasferimento dei file in Cloud Storage, i metadati possono essere riscritti nei file una volta trasferiti nuovamente a un file system POSIX.
Se un'opzione dei metadati è impostata su conservazione, Storage Transfer Service prende quanto segue: azioni:
- Link simbolici: Storage Transfer Service crea un file di link simbolici che punta allo link di destinazione. Se il file di destinazione non esiste, il collegamento simbolico verrà interrotto.
- GID, UID e MODE: vengono scritti i valori archiviati nei metadati Cloud Storage al file.
Da POSIX a POSIX
I trasferimenti tra file system possono facoltativamente conservare GID, UID e MODE per e cartelle.
L'ora dell'ultima modifica viene salvata per i file, ma non per le cartelle. mtime
è impostato sull'ora di creazione della cartella nel file system di destinazione.
Storage Transfer Service salva i metadati della cartella creando oggetti delle cartelle a 0 byte in del bucket intermedio, quindi copiando i metadati nella cartella file system di destinazione. Per questo motivo, il numero di oggetti creati nel un bucket intermedio può essere maggiore del numero di file trasferito.