Limitazioni note

Questa pagina documenta le limitazioni note di Cloud Storage e Storage Transfer Service.

Limitazioni comuni

Limite di dimensione dell'oggetto Cloud Storage da 5 TB

Cloud Storage supporta una dimensione massima di un singolo oggetto fino a 5 terabyte. Se gli oggetti hanno dimensioni superiori a 5 TB, il trasferimento degli oggetti non riesce per Cloud Storage o Storage Transfer Service.

Requisiti di denominazione degli oggetti Cloud Storage

Cloud Storage impone requisiti relativi ai nomi degli oggetti applicabili a tutti i trasferimenti di Storage Transfer Service.

Gli oggetti modificati non vengono trasferiti

Storage Transfer Service non blocca i file di origine durante un trasferimento.

Se i dati di un oggetto vengono aggiornati durante un trasferimento, di seguito viene descritto come risponde Storage Transfer Service:

  • Trasferimenti da cloud non Google a Google Cloud: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service non esegue il trasferimento per quell'oggetto specifico e l'oggetto non viene trasferito.

  • Trasferimenti da file system a Google Cloud: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service tenta di nuovo il caricamento. Se il caricamento non riesce più volte, Storage Transfer Service registra un FILE_MODIFIED_FAILURE. Per maggiori informazioni, consulta la pagina Risoluzione dei problemi.

  • Trasferimenti da Google Cloud a un file system: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service tenta di nuovo il download. Se il download non riesce più volte, Storage Transfer Service registra un PRECONDITION_FAILURE. Per maggiori informazioni, consulta la pagina Risoluzione dei problemi.

Per risolvere l'errore:

  1. Riprova a eseguire il trasferimento.

  2. Se il trasferimento dell'oggetto continua a non riuscire, assicurati che i relativi dati non possano essere aggiornati durante il trasferimento:

  3. Al termine del trasferimento, puoi riattivare gli aggiornamenti all'oggetto.

Cartelle in Cloud Storage

Gli oggetti Cloud Storage risiedono in uno spazio dei nomi piatto all'interno di un bucket. Per ulteriori informazioni, consulta la sezione Spazio dei nomi degli oggetti. Per questo motivo, Storage Transfer Service non crea spazi dei nomi gerarchici all'interno di Cloud Storage. Ad esempio, se esegui il trasferimento da Azure Data Lake Storage (ADLS) Gen 2, Storage Transfer Service non ricrea gli spazi dei nomi ADLS Gen 2 in Cloud Storage.

Eliminazione di oggetti nei bucket Amazon S3 sospesi per il controllo delle versioni

Quando utilizzi la funzionalità di eliminazione degli oggetti dall'origine di Storage Transfer Service dopo il trasferimento in un bucket Amazon S3 sospeso dalla versione, Storage Transfer Service rimuove l'oggetto con un ID versione nullo, non con la versione corrente.

Località dei job di Storage Transfer Service

Storage Transfer Service sceglie la sua località in base all'area geografica del bucket Cloud Storage di origine. A partire da oggi, creiamo job di Storage Transfer Service nelle località elencate di seguito. Questo elenco potrebbe cambiare man mano che Storage Transfer Service aggiunge il supporto per le nuove aree geografiche.

  • ASIA-EST
  • ASIA-EST
  • ASIA-NORDATEST1
  • ASIA-NORDATEST2
  • ASIA-NORTHEAST3
  • ASIA-SOUTH1
  • ASIA-SOUTH2
  • ASIA-SOUTHEAST1
  • ASIA-SOUTHEAST2
  • AUSTRALIA-SOUTHEAST2
  • EUROPA-OVEST1
  • EUROPA-OVEST2
  • EUROPA-OVEST3
  • EUROPA-OVEST4
  • EUROPA-OVEST9
  • EUROPA-NORD-1
  • EUROPA-Sud-Ovest1
  • NORD AMERICA-NORD-ATES1
  • NORD AMERICA-NORTHEAST2
  • CENTRALE USA 1
  • USA - CENTRALE 2
  • USA-EST
  • USA-EST
  • Stati Uniti occidentali1
  • Stati Uniti occidentali 2
  • USA-Ovest3
  • USA-Ovest4
  • NAM4

Se il bucket Cloud Storage di origine si trova in una regione diversa da quella sopra menzionata, sceglieremo la regione predefinita al suo interno.

Limitazioni note dei trasferimenti di file system

Nessun supporto in tempo reale

Storage Transfer Service non supporta il rilevamento delle modifiche ogni ora. Storage Transfer Service è un servizio di spostamento dei dati in batch che può eseguire la scansione dell'origine con una frequenza fino a una volta all'ora.

Configurazioni del sistema operativo supportate

Gli agenti di trasferimento richiedono Docker installato e vengono eseguiti su server Linux o macchine virtuali (VM). Per copiare dati su un file system CIFS o SMB, puoi montare il volume su un server Linux o una VM e poi eseguire l'agente dal server Linux o dalla VM.

Requisiti di memoria

Di seguito sono riportati i requisiti di memoria per il servizio di trasferimento per gli agenti di dati on-premise:
  • Memoria minima: 1 GiB
  • Memoria minima per supportare caricamenti ad alte prestazioni: 6 GiB

Limitazioni di scalabilità

Storage Transfer Service supporta trasferimenti individuali che sono:

  • Dimensioni di centinaia di terabyte
  • Fino a 1 miliardo di file
  • Dieci Gbps diversi nella velocità di trasferimento

I singoli trasferimenti di dimensioni superiori sono affidabili, ma non sono state testate per verificarne l'efficacia.

Se hai un set di dati più grande di questi limiti, ti consigliamo di suddividere i dati tra più job di trasferimento.

Al momento supportiamo directory di grandi dimensioni, purché ogni agente abbia almeno 1 GB di memoria disponibile per ogni milione di file nella directory più grande, in modo da poter eseguire l'iterazione sui contenuti della directory senza superare la memoria.

Supportiamo fino a 100 agenti per un singolo pool di agenti. È improbabile che avrai bisogno di più agenti per ottenere prestazioni migliori, considerati gli ambienti tipici.

Una directory per job

Supportiamo il trasferimento ricorsivo di tutti i contenuti di una directory del file system. Puoi eseguire il partizionamento del trasferimento creando più job che trasferiscono sottodirectory del tuo set di dati, ma al momento non supportiamo il supporto del globing o del filtro dei file all'interno di un singolo job.

Nomi file supportati

Le seguenti regole si applicano a tutti i nomi file che fanno parte di un trasferimento:

  • I nomi file devono utilizzare la codifica UTF8.
  • I nomi file devono essere compatibili con Unicode.
  • Non devono contenere caratteri di nuova riga (\n) o ritorni a capo (\r).

Se la directory di origine contiene nomi di file non supportati, l'attività di elenco dei file per quella directory non riesce.

In questo caso, aggiorna i nomi file non supportati ed esegui nuovamente il job.

Tipi di file supportati

Storage Transfer Service supporta il trasferimento di file normali e di file nascosti simili a Unix. I file nascosti in stile Unix sono file che iniziano con un carattere .. Quando Storage Transfer Service rileva un file non regolare, ad esempio un dispositivo, una barra verticale o un socket, genera un errore UNSUPPORTED_FILE_MODE.

Le directory vuote non vengono create in Cloud Storage, perché gli oggetti non risiedono nelle sottodirectory all'interno di un bucket. Per ulteriori informazioni, consulta lo spazio dei nomi degli oggetti.

Lunghezza massima del percorso

Storage Transfer Service segue la lunghezza massima del percorso di Cloud Storage, pari a 1024 byte. Il prefisso dell'oggetto per l'oggetto di destinazione è incluso nella limitazione di lunghezza, in quanto il prefisso è incorporato nel nome dell'oggetto in Cloud Storage.

Metadati dei file supportati

Per maggiori dettagli sui metadati che vengono conservati, o per impostazione predefinita, consulta Conservazione dei metadati.

Periodo di pausa del job esteso

I job in pausa da più di 30 giorni sono considerati inattivi. Quando un job non è attivo, il job in pausa viene interrotto e la pianificazione della configurazione dei job viene disattivata. Non vengono avviate nuove esecuzioni di job, a meno che non abiliti nuovamente il job.

Sicurezza dell'origine del file system

Accesso dell'agente

Gli utenti in grado di creare job di trasferimento possono recuperare e scaricare i dati da qualsiasi directory dei file system accessibile dall'agente. Se gli agenti vengono eseguiti come root e ricevono l'accesso all'intero file system, un utente malintenzionato potrebbe assumere il controllo dell'host. Ti consigliamo vivamente di limitare l'accesso degli agenti solo alle directory necessarie.

Accesso utente Pub/Sub

Gli utenti con accesso a Pub/Sub in un progetto che contiene pool di agenti di Storage Transfer Service possono comunicare con gli agenti di trasferimento, indipendentemente dalle autorizzazioni degli agenti. Per questo motivo, ti consigliamo di eseguire Storage Transfer Service in progetti con ambito appropriato e di limitare l'accesso degli utenti a Pub/Sub nei progetti in trasferimento.