Limitazioni note

Questa pagina documenta le limitazioni note di Cloud Storage e Storage Transfer Service.

Limitazioni comuni

Limite di dimensione degli oggetti di Cloud Storage di 5 TiB

Cloud Storage supporta una dimensione massima di un singolo oggetto fino a 5 tebibyte. Se hai oggetti di dimensioni superiori a 5 TiB, il trasferimento degli oggetti non va a buon fine per Cloud Storage Storage Transfer Service.

Requisiti per i nomi degli oggetti Cloud Storage

Cloud Storage impone requisiti per i nomi degli oggetti che si applicano a tutti i trasferimenti di Storage Transfer Service.

Gli oggetti modificati non vengono trasferiti

Storage Transfer Service non blocca i file di origine durante un trasferimento.

Se i dati di un oggetto vengono aggiornati durante un trasferimento, di seguito viene descritto come risponde Storage Transfer Service:

• Trasferimenti da cloud non Google a Google Cloud: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service non riesce a completare il trasferimento per quel determinato oggetto e l'oggetto non viene trasferito.

• Trasferimenti dai file system a Google Cloud: se i dati di un oggetto vengono aggiornato durante un trasferimento, Storage Transfer Service proverà nuovamente a eseguire il caricamento. Se il caricamento non riesce più volte, Storage Transfer Service registra FILE_MODIFIED_FAILURE. Per ulteriori informazioni, consulta la sezione Risoluzione dei problemi.

• Trasferimenti da Google Cloud a un file system: se i dati di un oggetto vengono aggiornato durante un trasferimento, Storage Transfer Service proverà nuovamente a eseguire il download. Se il download non riesce più volte, Storage Transfer Service registra PRECONDITION_FAILURE. Per ulteriori informazioni, vedi Risoluzione dei problemi.

Per risolvere l'errore:

1. Prova di nuovo a effettuare il trasferimento.

2. Se il trasferimento dell'oggetto continua a non riuscire, assicurati che i relativi dati non possano essere aggiornati durante il trasferimento:

   • Origine Cloud Storage: applica una sospensione dell'oggetto.
   • Origine Amazon S3: imposta un blocco degli oggetti S3.
   • Origine di archiviazione Microsoft Azure: imposta un criterio di immutabilità per l'archiviazione BLOB.
   • Origine file system: imposta i file in modalità di sola lettura o limita in altro modo le scritture ai file in fase di trasferimento.

3. Al termine del trasferimento, puoi riattivare gli aggiornamenti dell'oggetto.

Cartelle in Cloud Storage

Gli oggetti Cloud Storage risiedono all'interno di uno spazio dei nomi semplice all'interno di un bucket. Per Per ulteriori informazioni, consulta Spazio dei nomi dell'oggetto. Per questo motivo, Storage Transfer Service non crea spazi dei nomi gerarchici all'interno di archiviazione ideale in Cloud Storage. Ad esempio, se stai trasferendo da Azure Data Lake Storage (ADLS) Gen 2, Storage Transfer Service non ricrea il ADLS Spazi dei nomi Gen 2 in Cloud Storage.

Eliminazione di oggetti in bucket Amazon S3 con il controllo delle versioni sospeso

Quando utilizzi la funzionalità di eliminazione degli oggetti dall'origine dopo il trasferimento di Storage Transfer Service in un bucket Amazon S3 con la versione sospesa, Storage Transfer Service rimuove l'oggetto con un ID versione nullo, non la versione corrente.

Località dei job di Storage Transfer Service

Storage Transfer Service sceglie la propria località in base alla regione dell'origine nel bucket Cloud Storage. A partire da oggi, creiamo job Storage Transfer Service nel le seguenti località. Questo elenco può cambiare man mano che Storage Transfer Service aggiunge il supporto per nuove regioni.

Se il bucket Cloud Storage di origine si trova in una regione non indicata nell'elenco, sceglieremo la regione predefinita all'interno della regione esterna dell'origine.

• ASIA-EST1
• ASIA-EAST2
• ASIA-NORTHEAST1
• ASIA-NORTHEAST2
• ASIA-NORTHEAST3
• ASIA-SOUTH1
• ASIA-SUD2
• ASIA-SOUTHEAST1
• ASIA-SOUTHEAST2
• AUSTRALIA-SOUTHEAST1
• AUSTRALIA-SOUTHEAST2
• EUROPE-WEST1
• EUROPA-OVEST2
• EUROPA-OVEST3
• EUROPA-OVEST4
• EUROPA-OVEST9
• EUROPE-NORTH1
• EUROPA-SOUTHWEST1
• NORTHAMERICA-NORTHEAST1
• NORTHAMERICA-NORTHEAST2
• US-CENTRAL1
• USA-CENTRALE2
• US-EAST1
• USA-EST4
• USA-OVEST1
• US-WEST2
• US-WEST3
• USA-OVEST4
• NAM4

Limitazioni note dei trasferimenti di file system

Nessuna assistenza in tempo reale

Storage Transfer Service non supporta il rilevamento delle modifiche a una durata inferiore a un'ora. Storage Transfer Service è un servizio di spostamento dei dati in batch che può analizzare l'origine con una frequenza massima di una volta all'ora.

Configurazioni del sistema operativo supportate

Gli agenti di trasferimento richiedono l'installazione di Docker e l'esecuzione su Macchine virtuali (VM) o server Linux. Per copiare i dati su un sistema di file CIFS o SMB, puoi montare il volume su un server o una VM Linux e poi eseguire l'agente dal server o dalla VM Linux.

Requisiti di memoria

Di seguito sono riportati i requisiti di memoria per gli agenti di dati on-premise di Transfer Service for On Premises:

• Memoria minima: 1 GB
• Memoria minima per supportare i caricamenti ad alte prestazioni: 6 GB

Limitazioni della scalabilità

Storage Transfer Service supporta trasferimenti individuali che:

• Con dimensioni di centinaia di terabyte
• Fino a 1 miliardo di file
• Diverse decine di Gbps in velocità di trasferimento

I trasferimenti individuali superiori a queste dimensioni sono affidabili, ma non hanno sono stati testati per le prestazioni.

Se il tuo set di dati è più grande di questi limiti, ti consigliamo di suddividere i dati in più job di trasferimento.

Al momento supportiamo directory di grandi dimensioni, a condizione che ogni agente disponga di almeno 1 GB di memoria disponibile per ogni milione di file nella directory più grande, in modo da poter eseguire l'iterazione sui contenuti della directory senza superare la memoria.

Limitazioni di agenti e pool di agenti

Supportiamo fino a 100 agenti per un singolo pool di agenti. È improbabile che avrai bisogno di più agenti per ottenere prestazioni migliori, considerati i tipici ambienti cloud-native.

Sono supportati fino a 800 pool di agenti per progetto.

Una sola directory per job

Supportiamo il trasferimento solo dei contenuti completi di una directory del file system (in modo ricorsivo). Puoi partizionare il trasferimento creando più job che trasferire diverse sottodirectory del set di dati, ma al momento non il globbing o il filtraggio dei file all'interno di un singolo job.

Nomi di file supportati

Le seguenti regole si applicano a tutti i nomi di file che fanno parte di un trasferimento:

• I nomi dei file devono utilizzare la codifica UTF-8.
• I nomi dei file devono essere compatibili con Unicode.
• Non devono contenere nuove righe (\n) o ritorni a capo (\r).

Se la directory di origine contiene nomi di file non supportati, l'attività di elenco dei file per quella directory.

In questo caso, aggiorna i nomi di file non supportati ed esegui di nuovo il job.

Tipi di file supportati

Storage Transfer Service supporta il trasferimento di file normali e file nascosti Unix-like. I file nascosti in stile Unix sono file che iniziano con un carattere .. Quando Storage Transfer Service incontra un file non regolare, ad esempio un dispositivo, una pipe con nome o una presa, genera un errore UNSUPPORTED_FILE_MODE.

In Cloud Storage non vengono create directory vuote perché gli oggetti non si trovano all'interno di sottodirectory di un bucket. Per ulteriori informazioni, vedi Spazio dei nomi dell'oggetto.

Lunghezza massima del percorso

Storage Transfer Service segue la lunghezza massima del percorso di Cloud Storage di 1024 byte. Il prefisso dell'oggetto di destinazione è incluso nel limite di lunghezza, poiché il prefisso è incorporato nel nome dell'oggetto in Cloud Storage.

Metadati dei file supportati

Per informazioni dettagliate sui metadati conservati per impostazione predefinita o facoltativamente, consulta la sezione Conservazione dei metadati.

Mette in pausa del job estese

I job messi in pausa per più di 30 giorni vengono considerati inattivi. Quando un job è inattivo, il job in pausa viene interrotto e la pianificazione della configurazione del job viene disattivata. Nessuna nuova esecuzione del job viene avviata a meno che non abiliti nuovamente il job in modo esplicito.

Sicurezza dell'origine del file system

Accesso agente

Gli utenti in grado di creare job di trasferimento possono recuperare e scaricare dati ogni directory di file system accessibile all'agente. Se gli agenti vengono eseguiti come root e viene concesso loro l'accesso all'intero file system, un utente malintenzionato potrebbe essere in grado di assumere il controllo dell'host. Ti consigliamo vivamente di limitare l'accesso dell'agente alle directory necessarie.