Questa pagina documenta le limitazioni note di Cloud Storage e Storage Transfer Service.
Limitazioni comuni
Limite dimensioni oggetto di Cloud Storage da 5 TB
Cloud Storage supporta una dimensione massima di un singolo oggetto fino a 5 terabyte. Se hai oggetti di dimensioni superiori a 5 TB, il trasferimento degli oggetti non riesce per Cloud Storage o Storage Transfer Service.
Requisiti di denominazione degli oggetti Cloud Storage
Cloud Storage impone requisiti per i nomi degli oggetti che si applicano a tutti i trasferimenti di Storage Transfer Service.
Gli oggetti modificati non vengono trasferiti
Storage Transfer Service non blocca i file di origine durante un trasferimento.
Se i dati di un oggetto vengono aggiornati durante un trasferimento, quanto segue descrive la risposta di Storage Transfer Service:
Trasferimenti da cloud non Google a Google Cloud: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service non riesce a eseguire il trasferimento per quell'oggetto specifico e l'oggetto non viene trasferito.
Trasferimenti da file system a Google Cloud: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service tenta di nuovo il caricamento. Se il caricamento non riesce più volte, Storage Transfer Service registra un valore
FILE_MODIFIED_FAILURE. Per ulteriori informazioni, consulta la sezione Risoluzione dei problemi.Trasferimenti da Google Cloud a un file system: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service tenta di nuovo il download. Se il download non riesce più volte, Storage Transfer Service registra un
PRECONDITION_FAILURE. Per ulteriori informazioni, consulta la sezione Risoluzione dei problemi.
Per risolvere l'errore:
- Riprova a eseguire il trasferimento.
Se il trasferimento dell'oggetto continua a non riuscire, assicurati che i relativi dati non possano essere aggiornati durante il trasferimento:
- Origine Cloud Storage: inserisci un blocco di oggetti.
- Origine Amazon S3: imposta un blocco dell'oggetto S3.
- Origine Archiviazione Microsoft Azure: Imposta un criterio di immutabilità per l'archiviazione BLOB.
- Origine file system: imposta i file in modalità di sola lettura o limita in altro modo le scritture ai file da trasferire.
Al termine del trasferimento, puoi riattivare gli aggiornamenti dell'oggetto.
Cartelle in Cloud Storage
Gli oggetti Cloud Storage risiedono in uno spazio dei nomi flat all'interno di un bucket. Per ulteriori informazioni, consulta Spazio dei nomi degli oggetti. Per questo motivo, Storage Transfer Service non crea spazi dei nomi gerarchici all'interno di Cloud Storage. Ad esempio, se stai eseguendo il trasferimento da Azure Data Lake Storage (ADLS) Gen 2, Storage Transfer Service non ricrea gli spazi dei nomi ADLS Gen 2 in Cloud Storage.
Eliminazione di oggetti nei bucket Amazon S3 sospesi al controllo delle versioni
Quando utilizzi la funzionalità di eliminazione degli oggetti dall'origine di Storage Transfer Service dopo il trasferimento su un bucket Amazon S3 con sospensione della versione, Storage Transfer Service rimuove l'oggetto con un ID versione nullo, non con la versione corrente.
Posizione dei job di Storage Transfer Service
Storage Transfer Service sceglie la località in base alla regione del bucket Cloud Storage di origine. A partire da oggi, creiamo job di Storage Transfer Service nelle seguenti località. Questo elenco potrebbe cambiare man mano che Storage Transfer Service aggiungerà il supporto per le nuove regioni.
Se il bucket Cloud Storage di origine si trova in una regione non presente nell'elenco, sceglieremo la regione predefinita all'interno della regione esterna dell'origine.
- ASIA-EST1
- ASIA-EST2
- ASIA-NOREST11
- ASIA-NOREST2
- ASIA-NOREST3
- ASIA-SUD1
- ASIA-SOUTH2
- ASIA-SOUTHEAST1
- ASIA-SOUTHEAST2
- AUSTRALIA-SOUTHEAST1
- AUSTRALIA-SOUTHEAST2
- EUROPA-WEST1
- EUROPA-WEST2
- EUROPA-WEST3
- EUROPA-WEST4
- EUROPA-WEST9
- EUROPA-NORD1
- EUROPA-SUDWEST1
- NORDAMERICA-NORTEST1
- NORDAMERICA-NORTEST2
- USA-CENTRALE1
- USA-CENTRALE2
- USA-EAST1
- USA-EAST4
- US-WEST1
- US-WEST2
- US-WEST3
- USA-WEST4
- NAM4
Limitazioni note dei trasferimenti di file system
Nessuna assistenza in tempo reale
Storage Transfer Service non supporta il rilevamento delle modifiche ogni ora. Storage Transfer Service è un servizio di spostamento dei dati in batch che può analizzare l'origine con una frequenza massima di una volta all'ora.
Configurazioni del sistema operativo supportate
Gli agenti di trasferimento richiedono che Docker sia installato ed eseguito su server Linux o macchine virtuali (VM). Per copiare i dati in un file system CIFS o SMB, puoi montare il volume su un server Linux o su una VM, quindi eseguire l'agente dal server Linux o dalla VM.
Requisiti di memoria
Di seguito sono riportati i requisiti di memoria per Transfer Service per i data agent on-premise:- Memoria minima: 1 GiB
- Memoria minima per supportare caricamenti ad alte prestazioni: 6 GiB
Limiti di scalabilità
Storage Transfer Service supporta trasferimenti individuali che sono:
- Centinaia di terabyte
- Fino a 1 miliardo di file
- Velocità di trasferimento diverse da 10 secondi di Gbps
I trasferimenti individuali superiori a queste dimensioni sono affidabili, ma non sono stati testati per le prestazioni.
Se disponi di un set di dati più grande rispetto a questi limiti, ti consigliamo di suddividere i dati tra più job di trasferimento.
Al momento sono supportate directory di grandi dimensioni, a condizione che ogni agente abbia almeno 1 GB di memoria disponibile per ogni milione di file nella directory più grande, in modo da poter eseguire l'iterazione sui contenuti della directory senza eccedere la memoria.
Limitazioni del pool di agenti e di agenti
Supportiamo fino a 100 agenti per un singolo pool di agenti. È improbabile che tu abbia bisogno di più agenti per ottenere prestazioni migliori dati gli ambienti tipici.
Sono supportati fino a 800 pool di agenti per progetto.
Singola directory per job
Supportiamo il trasferimento solo dell'intero contenuto di una directory di file system (in modo ricorsivo). Puoi partizionare il trasferimento creando più job che trasferiscono diverse sottodirectory del tuo set di dati, ma al momento non supportiamo il globbing dei file o l'applicazione di filtri all'interno di un singolo job.
Nomi di file supportati
Le seguenti regole si applicano a tutti i nomi di file che fanno parte di un trasferimento:
- I nomi di file devono utilizzare la codifica UTF8.
- I nomi di file devono essere compatibili con Unicode.
- Non devono contenere ritorni a capo (
\n) o ritorni a capo (\r).
Se la directory di origine contiene nomi di file non supportati, l'attività di elenco dei file per quella directory non va a buon fine.
In questo caso, aggiorna i nomi dei file non supportati ed esegui nuovamente il job.
Tipi di file supportati
Storage Transfer Service supporta il trasferimento di file normali e di file nascosti simili a Unix.
I file nascosti in stile Unix sono file che iniziano con un carattere .. Quando Storage Transfer Service rileva un file non normale, ad esempio un dispositivo, una pipeline denominata o un socket, genera un errore UNSUPPORTED_FILE_MODE.
In Cloud Storage non vengono create directory vuote perché gli oggetti non si trovano nelle sottodirectory di un bucket. Per ulteriori informazioni, consulta Spazio dei nomi degli oggetti.
Lunghezza massima del percorso
Storage Transfer Service segue la lunghezza massima del percorso di Cloud Storage di 1024 byte. Il prefisso dell'oggetto di destinazione è incluso nel limite di lunghezza, in quanto è incorporato nel nome dell'oggetto in Cloud Storage.
Metadati dei file supportati
Consulta Conservazione dei metadati per i dettagli su quali metadati vengono conservati, per impostazione predefinita o facoltativamente.
Mette in pausa del job estese
I job in pausa per più di 30 giorni sono considerati inattivi. Quando un job non è attivo, il job in pausa viene interrotto e la pianificazione di configurazione del job viene disabilitata. Le nuove esecuzioni del job non verranno avviate a meno che non abiliti nuovamente il job in modo esplicito.
Sicurezza dell'origine del file system
Accesso agente
Gli utenti in grado di creare job di trasferimento possono recuperare e scaricare i dati da qualsiasi directory di file system accessibile dall'agente. Se gli agenti vengono eseguiti come root e ricevono l'accesso all'intero file system, un utente malintenzionato potrebbe assumere il controllo dell'host. Ti consigliamo vivamente di limitare l'accesso degli agenti solo alle directory necessarie.