Visualizzare i log inviati a Cloud Storage

Questo documento spiega come trovare le voci di log instradate da Cloud Logging ai bucket Cloud Storage.

Le voci dei log vengono salvate nei bucket Cloud Storage in batch orari. Potrebbero essere necessarie da 2 a 3 ore prima che inizino a comparire le prime voci.

Prima di iniziare

Per una discussione concettuale degli elementi di destinazione, consulta Panoramica dei modelli di routing e archiviazione: elementi di destinazione.

Per istruzioni su come instradare i log, consulta Instradare i log verso le destinazioni supportate.

Visualizza i log

Per visualizzare i log inviati a Cloud Storage:

  1. Nella console Google Cloud, vai alla pagina Bucket:

    Vai a Bucket

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Cloud Storage.

  2. Seleziona il bucket Cloud Storage che utilizzi come destinazione del routing.

Organizzazione dei log

Quando inoltri i log a un bucket Cloud Storage, Logging scrive un insieme di file nel bucket.

I file sono organizzati in gerarchie di directory in base al tipo di log e alla data. Il tipo di log, denominato [LOG_ID] nella documentazione di riferimento LogEntry, può essere un nome semplice come syslog o un nome composto come appengine.googleapis.com/request_log. Se questi log fossero archiviati in un bucket chiamato my-gcs-bucket, le directory verrebbero denominate come nell'esempio seguente:

my-gcs-bucket/syslog/YYYY/MM/DD/
my-gcs-bucket/appengine.googleapis.com/request_log/YYYY/MM/DD/

Un singolo bucket Cloud Storage può contenere log di più tipi di risorse. La dimensione massima del file è 3,5 GB.

La registrazione non garantisce la deduplica delle voci di log provenienti da sink contenenti query identiche o sovrapposte. Le voci di log di questi sink potrebbero essere scritte più volte in un bucket Cloud Storage.

Le directory principali (DD/) contengono più file, ognuno dei quali contiene le voci di log instradate per un periodo di tempo specificato nel nome del file. I file sono suddivisi in parti e i relativi nomi terminano con un numero di shard, Sn o An (n=0, 1, 2, ...). Ad esempio, di seguito sono riportati due file che potrebbero essere archiviati nella directory my-gcs-bucket/syslog/2015/01/13/:

08:00:00_08:59:59_S0.json
08:00:00_08:59:59_S1.json

Insieme, questi due file contengono le voci di log syslog per tutte le istanze nell'ora che inizia alle 08:00:00 UTC e termina alle 08:59:59 UTC. I timestamp voce di log sono espressi in UTC (Coordinated Universal Time).

Le voci di log che arrivano con un receiveTimestamp all'interno della finestra allineata di 60 minuti del loro timestamp vengono scritte nei file dello shard principale. Ad esempio, nel file dello shard principale è memorizzata una voce di log con timestamp pari a 08:00:00 e receiveTimestamp pari a 08:10:00.

Questi file includono uno shard principale numerato nel suffisso: _Sn.json.

Le voci di log che arrivano con un timestamp in una finestra di 60 minuti diversa da quella del receiveTimestamp vengono scritte nei file addendum shard. Ad esempio, una voce di log con un timestamp di 08:00:00 e un receiveTimestamp di 09:10:00 viene archiviata in un file shard di addendum.

Questi file includono uno shard dell'addendum numerato con il suffisso _An:Unix_timestamp.json.

Ad esempio, una voce di log con un timestamp tra le ore 08:00:00 e 08:59:59, ma un receiveTimestamp in un'altra finestra allineata di 60 minuti, viene scritta in un file con il suffisso _An:Unix_timestamp.json, dove il timestamp Unix identifica l'ora in cui il file è stato inoltrato a Cloud Storage. Se una voce di log aveva un valore timestamp di 08:50:00 e un valore receiveTimestamp di 09:10:00 ed è stata inoltrata alle 09:15:00 il 25 marzo 2021, il file dell'addendum verrà scritto come segue:

08:00:00_08:59:59_A0:1616681700.json

Per ottenere tutte le voci di log, devi leggere tutti i frammenti per ogni periodo di tempo, in questo caso i frammenti di file 0 e 1. Il numero di frammenti di file scritti può variare per ogni periodo di tempo.

All'interno dei singoli file suddivisi in parti, le voci di log vengono archiviate come elenco di oggetti LogEntry. Per un esempio di voce syslog, consulta Organizzazione delle voci di log.

Tieni presente che l'ordine di ordinamento delle voci di log all'interno dei file non è uniforme né garantito in altro modo.

Voci di log in ritardo

Le voci di log con routing vengono salvate nei bucket Cloud Storage in batch orari. Potrebbero essere necessarie da 2 a 3 ore prima che inizino a comparire le prime voci. I frammenti di file di log indirizzati con il suffisso An ("Append") contengono le voci di log arrivate in ritardo.

Se la destinazione presenta un'interruzione, Cloud Logging mette in buffer i dati fino al termine dell'interruzione.

Se non sono presenti log nella destinazione della canalizzazione, controlla le metriche di sistema di esportazione. Le metriche di sistema di esportazione indicano quante voci di log vengono instradate e quante vengono eliminate a causa di errori. Se le metriche del sistema di esportazione indicano che nessuna voce di log è stata inoltrata alla destinazione, controlla [filter][export-query] per verificare che le voci di log corrispondenti al tuo filtro siano arrivate di recente in Logging.

Nella console Google Cloud, vai alla pagina Log Router:

Vai a Router dei log

Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

Voci di log di App Engine

App Engine combina più voci secondarie di tipo google.appengine.logging.v1.LogLine (chiamate anche AppLog o AppLogLine) in una voce di log principale di tipo google.appengine.logging.v1.RequestLog per la richiesta che causa l'attività di log. Ogni riga del log ha un "ID richiesta" che identifica la voce principale. Esplora log mostra le righe del log con la voce di log delle richieste. Il logging tenta di inserire tutte le righe di log nel batch con la richiesta originale, anche se i relativi timestamp le collocherebbero nel batch successivo. Se non è possibile, nella voce del log delle richieste potrebbero mancare alcune righe di log e potrebbero essere presenti righe di log "orfane" senza una richiesta nel batch successivo. Se questa possibilità è importante per te, preparati a ricollegare i componenti della richiesta quando elabori i log.

Risoluzione dei problemi

Se nella destinazione del sink sembrano mancare dei log o se sospetti che il sink non stia instradando correttamente i log, consulta Risolvere i problemi relativi all'instradamento dei log.

Prezzi

Cloud Logging non addebita alcun costo per il routing dei log a una destinazione supportata. Tuttavia, la destinazione potrebbe applicare dei costi. Ad eccezione del bucket di log _Required, Cloud Logging addebita lo streaming dei log nei bucket di log e per l'archiviazione per un periodo superiore al periodo di conservazione predefinito del bucket di log.

Cloud Logging non addebita alcun costo per la copia dei log, per la definizione degli ambiti dei log o per le query inviate tramite le pagine Esplora log o Analisi dei log.

Per ulteriori informazioni, consulta i seguenti documenti: