Questo documento descrive il formato attuale dei log dei trasferimenti di file system.
Visualizza i log di trasferimento
I trasferimenti di file system producono log di trasferimento dettagliati che puoi utilizzare per verificare i risultati del job di trasferimento. Ogni job produce una raccolta di log di trasferimento archiviati nel bucket Cloud Storage del transer: il bucket di origine, il bucket di destinazione o il bucket intermedio, a seconda della direzione di trasferimento.
I log vengono prodotti mentre è in esecuzione il job di trasferimento. In genere i log completi sono disponibili entro 15 minuti dal completamento del job.
Visualizza i log nel bucket Cloud Storage
I log di trasferimento sono archiviati nel bucket Cloud Storage del trasferimento nel seguente percorso:
bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name
dove:
bucket-name
è il nome del bucket Cloud Storage incluso nel trasferimento.job-name
è il nome del job, visualizzato nell'elenco dei job.operation-name
è il nome della singola operazione di trasferimento, composta da timestamp IS08601 e ID generato.
I log vengono aggregati e archiviati come oggetti. A ogni batch di log viene assegnato il nome in base all'ora di creazione. Ad esempio:
my
bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log
Esegui query BigQuery sui log di trasferimento
Per eseguire query BigQuery sui log di trasferimento:
Esegui la tua query BigQuery.
Esempi di query
Mostra il numero di file che hanno tentato di trasferire i file e se l'operazione è stata eseguita o meno
select ActionStatus, count(*) as num_files from big-query-table where Action="TRANSFER" group by 1;
Dove big-query-table
è il nome della tabella BigQuery che contiene il log di trasferimento.
Visualizza tutti i file che non è stato possibile trasferire
select Src_File_Path from big-query-table where Action="TRANSFER" and ActionStatus="FAILED";
Dove big-query-table
è il nome della tabella BigQuery che contiene il log di trasferimento.
Visualizza checksum e timestamp per ogni file trasferito correttamente
select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size, Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size, Dst_Gcs_Crc32C, Dst_Gcs_Md5 from big-query-table where Action="TRANSFER" and ActionStatus="SUCCEEDED";
Dove big-query-table
è il nome della tabella BigQuery che contiene il log di trasferimento.
Visualizza tutte le informazioni di errore per le directory che non è stato possibile trasferire
select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message from big-query-table where Action="FIND" and ActionStatus="FAILED";
Dove big-query-table
è il nome della tabella BigQuery che contiene il log di trasferimento.
Descrizione del formato
I log di trasferimento del file system vengono salvati in formato TSV (valori delimitati da tabulazioni) e contengono una riga di intestazione con i nomi dei campi. L'ordine di visualizzazione dei campi è generalmente stabile, ma non è garantito e deve essere dedotto dalla riga di intestazione.
Ogni riga rappresenta un singolo record di log, ovvero un aggiornamento dello stato da parte dell'operazione di trasferimento complessiva.
Nella tabella seguente vengono descritti i campi del file di log:
Campo log | Descrizione |
---|---|
Timestamp | Timestamp conforme allo standard ISO 8601 relativo alla registrazione dell'evento. |
Nome operazione | Il nome completo dell'operazione. |
Action (Azione) | Descrive l'azione di questa specifica attività. Il valore sarà uno dei seguenti:
|
ActionStatus | Lo stato generale dell'azione. Il valore sarà uno dei seguenti:
|
FailureDetails.ErrorType | Una stringa che rappresenta il tipo di errore riscontrato. Ad esempio, FILE_NOT_FOUND. Il campo viene compilato solo se si è verificato un errore. |
FailureDetails.GrpcCode | Un valore stringa del codice RPC di Google. Ad esempio FAILED_PRECONDITION. Il campo viene compilato solo se si è verificato un errore. |
FailureDetails.Message | Un messaggio leggibile per l'errore. Il campo viene compilato solo se si è verificato un errore. |
Src.Type | Stringa che descrive il tipo di sistema di archiviazione dell'origine. Il valore è sempre ON_PREM. |
Src.File.Path | Percorso del file on-premise trasferito. |
Src.File.LastModified | Il valore POSIX ha modificato l'ora (mtime) del file on-premise. |
Src.FileSize | Le dimensioni del file in byte. |
Src.File.Crc32C | Il checksum CRC32C dei contenuti del file. |
Dst.Type | Stringa che descrive il tipo di sistema di archiviazione di destinazione. È sempre GCS . |
Dst.Gcs.BucketName | Il nome del bucket Cloud Storage di destinazione. |
Dst.Gcs.ObjectName | Il prefisso dell'oggetto di destinazione. |
Dst.Gcs.LastModified | L'ora POSIX modificata (mtime) dell'oggetto di destinazione. |
Dst.Gcs.Size | Le dimensioni dell'oggetto in byte. |
Dst.Gcs.Crc23C | Il checksum CRC32C dei contenuti dell'oggetto. |
Dst.Md5 | Il checksum MD5 dell'oggetto finale in Cloud Storage. |
Esempio di voce di log
Di seguito è riportato un esempio di due righe di output di log, l'intestazione e una riga di dati:
Timestamp OperationName Action ActionStatus FailureDetails.ErrorType FailureDetails.GrpcCode FailureDetails.Message Src.Type Src.File.Path Src.File.LastModified Src.File.Size Src.File.Crc32C Dst.Type Dst.Gcs.BucketName Dst.Gcs.ObjectName Dst.Gcs.LastModified Dst.Gcs.Size Dst.Gcs.Crc32C Dst.Gcs.Md5 2019-10-18T21:06:17Z transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448 TRANSFER SUCCEEDED ON_PREM_FILE /mnt/disks/disk-1/directory1/file.txt 1561409931 406 3089075447 GCS_OBJECT destination-gcs-bucket file.txt 1571432776 406 3089075447 FDjya7dWbd0OrgnZ7g9ZJw==