Risolvere i problemi relativi ai trasferimenti del file system

Questo documento descrive come risolvere i problemi relativi a trasferimenti e agenti e dove trovare i log degli agenti per aiutarti a risolvere i problemi.

Errori

La seguente tabella descrive i messaggi di errore relativi al trasferimento e come risolverli:

Messaggio di errore Tipo di errore Significato dell'errore Come risolvere l'errore
Modifica apportata durante il trasferimento FILE_MODIFIED_FAILURE Il file di origine è stato modificato durante il trasferimento ogni volta che Storage Transfer Service ha tentato di copiarlo. Impedisci le scritture nel file specificato durante la successiva operazione di Storage Transfer Service.
Trasferimento non riuscito PRECONDITION_FAILURE L'oggetto Cloud Storage associato al file di origine è stato modificato ogni volta che Storage Transfer Service ha tentato di caricare il file. Per evitare che più job di trasferimento scrivano lo stesso file nello stesso bucket Cloud Storage, utilizza prefissi di oggetti Cloud Storage unici quando crei i job di trasferimento.
Directory di origine non trovata SOURCE_DIR_NOT_FOUND Il percorso di origine specificato non è corretto oppure è corretto, ma non tutti gli agenti hanno accesso al percorso. Controlla la configurazione del job di trasferimento e verifica che:
Impossibile trovare la directory di origine o di destinazione del job ROOT_DIR_NOT_FOUND Il percorso di origine/destinazione specificato non è corretto oppure è corretto, ma non tutti gli agenti hanno accesso al percorso. Controlla la configurazione del job di trasferimento e verifica che:
File non trovato FILE_NOT_FOUND_FAILURE Il file di origine è stato trovato, ma eliminato prima del trasferimento in Cloud Storage. Se il file è stato eliminato per errore, ripristinalo in modo che il successivo job di trasferimento possa caricarlo.
Impossibile trovare il bucket di destinazione BUCKET_NOT_FOUND Il bucket di destinazione non esiste in Cloud Storage. Verifica che la spelling del bucket di destinazione sia corretta e che esista.
Impossibile trovare un oggetto metadati interno METADATA_OBJECT_
NOT_FOUND_FAILURE		 Storage Transfer Service archivia i metadati nel bucket di destinazione con il prefisso storage-transfer. Se i file dei metadati vengono eliminati prima del completamento delle operazioni di trasferimento corrispondenti, viene visualizzato questo errore. Evita di eliminare gli oggetti con il prefisso storage-transfer/ nel bucket di destinazione fino al completamento di tutti i job di trasferimento.
Operazione non riuscita a causa di un nome file non valido INVALID_FILE_NAME Il percorso di un file di origine non è valido. Verifica e correggi il percorso del file specificato. Verifica che il percorso utilizzi caratteri supportati da Cloud Storage.
Operazione non riuscita a causa di una classe di archiviazione non valida INVALID_FILE_STORAGE_CLASS La classe di archiviazione per l'origine specificata non consente le letture. Consulta la documentazione del tuo provider cloud per stabilire come inserire i dati in una classe di archiviazione che consenta di copiarli.
Operazione non riuscita a causa di un URI della sessione di caricamento ripristinabile non valido SESSION_URI_INVALID L'ID caricamento o l'URI sessione riavviabili è scaduto o annullato. Il tentativo di correzione dell'errore non va a buon fine. Contatta l'assistenza.
Operazione non riuscita a causa di dimensioni del file non valide INVALID_FILE_SIZE La dimensione del file non è valida. Verifica che la dimensione del file sia >= 0 e <= 5 TiB (dimensione massima dell'oggetto Cloud Storage) per i trasferimenti a Cloud Storage.
Operazione non riuscita a causa di un problema con le autorizzazioni PERMISSION_FAILURE e UNAUTHENTICATED Un agente di trasferimento non disponeva delle autorizzazioni sufficienti per eseguire un'operazione. Esistono due possibilità per questo errore:
  • Un agente non disponeva di autorizzazioni Google Cloud sufficienti.
  • Un agente non è stato in grado di leggere un file o una directory a causa di autorizzazioni insufficienti sul file system di origine.

Verifica quanto segue:
L'oggetto è soggetto al criterio di conservazione del bucket e non può essere eliminato, sovrascritto o archiviato PERMISSION_FAILURE Nel bucket è attivo un criterio di conservazione e l'oggetto esiste già nel bucket. Storage Transfer Service non può sovrascrivere gli oggetti esistenti nel bucket. Questo errore può essere visualizzato se il file è stato modificato all'origine o se Storage Transfer Service tenta il caricamento due volte a causa delle condizioni di rete e il primo caricamento è andato a buon fine. Verifica che i dati nel bucket Cloud Storage corrispondano alle tue aspettative. Puoi verificare che le dimensioni e la data di modifica (mtime) dei file di origine corrispondano a quelle delle relative controparti degli oggetti Cloud Storage rieseguendo il job e verificando che non siano presenti errori.
Il servizio non disponeva di autorizzazioni sufficienti SERVICE_PERMISSION_FAILURE Storage Transfer Service non disponeva delle autorizzazioni sufficienti per eseguire un'operazione. Storage Transfer Service utilizza un account di servizio gestito da Google, in genere nel formatoproject-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com, per accedere alle risorse. Per determinare il tuo PROJECT_NUMBER specifico, utilizza la chiamata API googleserviceaccounts.get. Verifica che l'account di servizio abbia i seguenti ruoli:
  • roles/storagetransfer.serviceAgent per il progetto.
  • roles/storage.admin per tutti i bucket di destinazione.
Agente non supportato AGENT_UNSUPPORTED_VERSION La versione dell'agente non è più compatibile con Storage Transfer Service. Si tratta di un errore temporaneo relativo a un aggiornamento dell'agente non valido. Se si verifica, procedi come segue:
  1. Interrompi tutti gli agenti.
  2. Esegui il pull dell'immagine Docker più recente eseguendo: sudo docker pull gcr.io/cloud-ingest/tsop-agent
  3. Esegui il comando Docker run per avviare tutti i container agenti.
Se il problema persiste, contatta il team di assistenza.
Operazione non riuscita a causa di una mancata corrispondenza dell'hash HASH_MISMATCH_FAILURE Ogni volta che Storage Transfer Service ha provato a caricare questo file, i byte caricati sono stati danneggiati. Di conseguenza, l'hash del file on-premise non corrisponde all'hash dell'oggetto Cloud Storage risultante. Questo errore può essere causato da una serie di potenziali problemi. Se noti una piccola percentuale di errori di mancata corrispondenza dell'hash (meno dell'1%) in un trasferimento di grandi dimensioni, riprova con i file non riusciti. Se noti una percentuale elevata di errori di mancata corrispondenza dell'hash (1% o superiore), ti consigliamo di esaminare potenziali errori di memoria, CPU o altro hardware sulla macchina dell'agente.
Operazione non riuscita a causa di una modalità file non supportata UNSUPPORTED_FILE_MODE Storage Transfer Service ha rilevato un file con una modalità non supportata, ad esempio un dispositivo, una presa, una pipe denominata o un file irregolare. Rimuovi questi tipi di file speciali dalla directory di origine.
Operazione non riuscita a causa di un errore nel file system FILESYSTEM_ERROR Un agente ha rilevato un errore del file system o del sistema operativo durante l'esecuzione di un'operazione sul file system come lettura, ricerca o stat. Leggi la descrizione dell'errore per capire quale operazione sul file system non è riuscita. Assicurati che il file system sia accessibile all'agente on-premise e risponda alle operazioni di file di base.
Operazione non riuscita a causa di un errore sconosciuto UNKNOWN_FAILURE Si è verificato un errore imprevisto. Leggi la descrizione dell'errore. Se la descrizione dell'errore non contiene informazioni sufficienti per risolvere il problema, contatta l'assistenza.
Operazione non riuscita a causa di una specifica non valida INVALID_SPEC L'agente ha ricevuto una specifica interna danneggiata. Controlla la presenza di errori nei dati sugli host dell'agente e contatta l'assistenza se non ne trovi.
Operazione non riuscita a causa di un file manifest vuoto o non valido CONFORMANCE_FAILURE L'agente non riesce a leggere o ricevere byte CSV validi a causa di formattazione o voci CSV non valide. Assicurati che le voci manifest siano percorsi file validi. Se la descrizione dell'errore non contiene informazioni sufficienti per risolvere il problema, contatta l'assistenza.
Ritorno ai caricamenti riavviabili anziché ai caricamenti suddivisi a causa di un errore di autorizzazione negata PERMISSION_FAILURE I caricamenti suddivisi in più parti sono stati attivati per questo trasferimento, ma le autorizzazioni corrette non sono state impostate sul bucket. Per le autorizzazioni richieste, consulta la sezione Caricamenti suddivisi in più parti di Autorizzazioni del file system.

Visualizzazione dei log dell'agente

I log degli agenti contengono informazioni pertinenti ai processi degli agenti e possono aiutarti a risolvere i problemi di connessione degli agenti. Se gli agenti sono elencati come connessi nella console Google Cloud e stai riscontrando errori di trasferimento, consulta Visualizzazione degli errori per visualizzare un esempio di errori di trasferimento. Per visualizzare i log che contengono un record di ogni file considerato da Storage Transfer Service durante un trasferimento, consulta Visualizzazione dei log di trasferimento.

Per impostazione predefinita, i log degli agenti vengono archiviati in /tmp. Puoi modificare la posizione con l'opzione di riga di comando --log-dir=logs-directory.

I log sono denominati:

agent.hostname.username.log.log-level.timestamp

Dove:

  • hostname: il nome host su cui è in esecuzione l'agente.
  • username: nome utente che esegue l'agente.
  • log-level è uno dei seguenti:
    • INFO - messaggi informativi
    • ERROR: errori riscontrati durante il trasferimento, ma che non impediscono la prosecuzione del job di trasferimento.
    • FATAL: errori riscontrati che impediscono il proseguimento del job di trasferimento.
  • timestamp - timestamp in formato YYYYMMDD-hhmmss.thread-id.

La directory dei log contiene link simbolici ai log più recenti per ciascuno dei livelli di priorità:

  • agent.ERROR
  • agent.FATAL
  • agent.INFO

Velocità di trasferimento lenta

Se il trasferimento dei dati richiede molto tempo, controlla quanto segue:

  1. La velocità in lettura del file system deve essere pari a circa 1,5 volte la velocità di caricamento desiderata. Puoi utilizzare FIO per testare il throughput in lettura del file system.

    Installa fio:

     sudo apt install -y fio

    Crea una nuova directory fiotest:

     TEST_DIR=/mnt/mnt_dir/fiotest
 sudo mkdir -p $TEST_DIR

    Testa la velocità effettiva di lettura:

     sudo fio --directory=$TEST_DIR --direct=1
    --rw=randread --randrepeat=0 --ioengine=libaio --bs=1M --iodepth=8
    --time_based=1 --runtime=180 --name=read_test --size=1G

    Dopo aver eseguito i comandi precedenti, Fio genera un report. La riga etichettata come "bw" rappresenta la larghezza di banda aggregata totale di tutti i thread e può essere utilizzata come sostituto della velocità in lettura.

  2. Utilizza iPerf3 per controllare la larghezza di banda internet disponibile per Storage Transfer Service.

  3. Assicurati che ogni agente di trasferimento disponga di almeno 4 vCPU e 8 GB di RAM.

Se hai controllato le condizioni riportate sopra e i tempi di trasferimento rimangono lunghi, puoi aggiungere altri agenti per aumentare il numero di connessioni simultanee al file system dei tuoi dati.

Per ulteriori informazioni su come massimizzare il rendimento degli agenti di trasferimento, consulta le best practice per gli agenti.

Risolvere gli errori dell'agente

Le sezioni seguenti descrivono come risolvere i problemi e gli errori degli agenti di trasferimento:

Gli agenti non sono connessi

Se gli agenti di trasferimento non sono visualizzati come connessi nella console Google Cloud:

  1. Verifica che gli agenti possano connettersi alle API Cloud Storage:

    1. Esegui il seguente comando dalla stessa macchina dell'agente di trasferimento per verificare la connessione dell'agente alle API Cloud Storage:

      gcloud storage cp test.txt gs://my-bucket

      Sostituisci:

      my-bucket con il nome del tuo bucket Cloud Storage.

  2. Se il tuo progetto utilizza Controlli di servizio VPC, visualizza i log dell'agente per rilevare eventuali errori. Se Controlli di servizio VPC non è configurato correttamente, i log dell'agente INFO conterranno il seguente errore:

    Request is prohibited by organization's policy. vpcServiceControlsUniqueIdentifier: id

    In questo output:

Gli agenti sono connessi, ma i job non vanno a buon fine

Se gli agenti vengono visualizzati come connessi, ma i job di trasferimento non riescono, controlla i dettagli degli errori dei job non riusciti.

Il proxy rifiuta gli indirizzi IP

Se esegui un proxy come Squid e utilizzi una lista consentita, potresti notare che le richieste vengono rifiutate a causa dell'utilizzo di indirizzi IP anziché di nomi host.

Per risolvere il problema, utilizza il comando docker run per eseguire gli agenti e aggiungi il seguente flag:

--transfer-service-endpoint=storagetransfer.googleapis.com:443

Se utilizzi un endpoint alternativo per raggiungere googleapis.com (ad es. per Private Service Connect), sostituisci googleapis.com con l'endpoint alternativo.