Log dei trasferimenti del file system

Questo documento descrive il formato attuale dei log dei trasferimenti di file system.

Nota: il formato del log descritto in questa pagina è soggetto a modifiche. Ti consigliamo di evitare di scrivere script, programmi o processi di progettazione che dipendono dall'ordine, dalla denominazione o dalla presenza di colonne o valori in questo log. Per gli aggiornamenti del formato di log, consulta questa pagina e le note di rilascio di Storage Transfer Service.

Visualizza i log di trasferimento

I trasferimenti di file system producono log di trasferimento dettagliati che puoi utilizzare per verificare i risultati del job di trasferimento. Ogni job produce una raccolta di log di trasferimento archiviati nel bucket Cloud Storage del transer: il bucket di origine, il bucket di destinazione o il bucket intermedio, a seconda della direzione di trasferimento.

I log vengono prodotti mentre è in esecuzione il job di trasferimento. In genere i log completi sono disponibili entro 15 minuti dal completamento del job.

Importante: chiunque abbia accesso al bucket Cloud Storage ha accesso ai log di trasferimento.

Visualizza i log nel bucket Cloud Storage

I log di trasferimento sono archiviati nel bucket Cloud Storage del trasferimento nel seguente percorso:

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

dove:

• bucket-name è il nome del bucket Cloud Storage incluso nel trasferimento.
• job-name è il nome del job, visualizzato nell'elenco dei job.
• operation-name è il nome della singola operazione di trasferimento, composta da timestamp IS08601 e ID generato.

I log vengono aggregati e archiviati come oggetti. A ogni batch di log viene assegnato il nome in base all'ora di creazione. Ad esempio:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Esegui query BigQuery sui log di trasferimento

Per eseguire query BigQuery sui log di trasferimento:

1. Carica i dati di log CSV in BigQuery.

2. Esegui la tua query BigQuery.

Esempi di query

Mostra il numero di file che hanno tentato di trasferire i file e se l'operazione è stata eseguita o meno

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Dove big-query-table è il nome della tabella BigQuery che contiene il log di trasferimento.

Visualizza tutti i file che non è stato possibile trasferire

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Dove big-query-table è il nome della tabella BigQuery che contiene il log di trasferimento.

Visualizza checksum e timestamp per ogni file trasferito correttamente

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Dove big-query-table è il nome della tabella BigQuery che contiene il log di trasferimento.

Visualizza tutte le informazioni di errore per le directory che non è stato possibile trasferire

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Dove big-query-table è il nome della tabella BigQuery che contiene il log di trasferimento.

Descrizione del formato

I log di trasferimento del file system vengono salvati in formato TSV (valori delimitati da tabulazioni) e contengono una riga di intestazione con i nomi dei campi. L'ordine di visualizzazione dei campi è generalmente stabile, ma non è garantito e deve essere dedotto dalla riga di intestazione.

Ogni riga rappresenta un singolo record di log, ovvero un aggiornamento dello stato da parte dell'operazione di trasferimento complessiva.

Nota: Storage Transfer Service non registra le voci di log per i file ignorati.

Nella tabella seguente vengono descritti i campi del file di log:

Campo log	Descrizione
Timestamp	Timestamp conforme allo standard ISO 8601 relativo alla registrazione dell'evento.
Nome operazione	Il nome completo dell'operazione.
Action (Azione)	Descrive l'azione di questa specifica attività. Il valore sarà uno dei seguenti: TROVA: per trovare il lavoro da fare, ad esempio elencare i file on-premise. TRASFERIMENTO: trasferimento di file DELETE: eliminazione dei file nella destinazione
ActionStatus	Lo stato generale dell'azione. Il valore sarà uno dei seguenti: SUCCEEDED: l'azione è stata completata correttamente. FAILED: l'azione non è riuscita. Ulteriori dettagli sull'errore sono disponibili nei campi FailureDetails.
FailureDetails.ErrorType	Una stringa che rappresenta il tipo di errore riscontrato. Ad esempio, FILE_NOT_FOUND. Il campo viene compilato solo se si è verificato un errore.
FailureDetails.GrpcCode	Un valore stringa del codice RPC di Google. Ad esempio FAILED_PRECONDITION. Il campo viene compilato solo se si è verificato un errore.
FailureDetails.Message	Un messaggio leggibile per l'errore. Il campo viene compilato solo se si è verificato un errore.
Src.Type	Stringa che descrive il tipo di sistema di archiviazione dell'origine. Il valore è sempre ON_PREM.
Src.File.Path	Percorso del file on-premise trasferito.
Src.File.LastModified	Il valore POSIX ha modificato l'ora (mtime) del file on-premise.
Src.FileSize	Le dimensioni del file in byte.
Src.File.Crc32C	Il checksum CRC32C dei contenuti del file.
Dst.Type	Stringa che descrive il tipo di sistema di archiviazione di destinazione. È sempre GCS.
Dst.Gcs.BucketName	Il nome del bucket Cloud Storage di destinazione.
Dst.Gcs.ObjectName	Il prefisso dell'oggetto di destinazione.
Dst.Gcs.LastModified	L'ora POSIX modificata (mtime) dell'oggetto di destinazione.
Dst.Gcs.Size	Le dimensioni dell'oggetto in byte.
Dst.Gcs.Crc23C	Il checksum CRC32C dei contenuti dell'oggetto.
Dst.Md5	Il checksum MD5 dell'oggetto finale in Cloud Storage.

Esempio di voce di log

Di seguito è riportato un esempio di due righe di output di log, l'intestazione e una riga di dati:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==