Visualizza i log con routing a Cloud Storage

Questo documento spiega come trovare le voci di log instradate da cui hai eseguito il routing. Da Cloud Logging a bucket Cloud Storage.

Le voci di log vengono salvate nei bucket Cloud Storage in batch orari. Potrebbe prendi da 2 a 3 ore prima dell'inizio delle prime voci vengono visualizzate.

Prima di iniziare

Per una discussione concettuale sui sink, vedi Panoramica dei modelli di routing e archiviazione: sink.

Per istruzioni su come eseguire il routing dei log, consulta Esegui il routing dei log alle destinazioni supportate.

Visualizza i log

Per visualizzare i log con routing a Cloud Storage, segui questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Bucket:

    Vai a Bucket.

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Cloud Storage.

  2. Seleziona il bucket Cloud Storage che stai utilizzando come routing destinazione.

Organizzazione dei log

Quando esegui il routing dei log su un bucket Cloud Storage, Logging scrive un set di file nel bucket.

I file sono organizzati in gerarchie di directory per tipo di log e data. Il log denominato [LOG_ID] nel riferimento LogEntry, può essere un nome semplice come syslog o un nome composto come appengine.googleapis.com/request_log. Se questi log erano archiviati in un bucket denominato my-gcs-bucket, le directory vengono denominate come nell'esempio seguente:

my-gcs-bucket/syslog/YYYY/MM/DD/
my-gcs-bucket/appengine.googleapis.com/request_log/YYYY/MM/DD/

Un singolo bucket Cloud Storage può contenere log di più tipi di risorse. La dimensione massima del file è 3,5 GiB.

Il logging non garantisce la deduplicazione delle voci di log da sink contenenti query identiche o sovrapposte; voci di log dai sink potrebbero essere scritte più volte in un bucket Cloud Storage.

Le directory foglia (DD/) contengono più file, ognuno dei quali contiene voci di log indirizzate per un periodo di tempo specificato nel nome del file. I file sono sharding e i loro nomi terminano con un numero di shard, Sn o An (n=0, 1, 2, ...). Ad esempio, ecco due file che potrebbero essere archiviati nella directory my-gcs-bucket/syslog/2015/01/13/:

08:00:00_08:59:59_S0.json
08:00:00_08:59:59_S1.json

Questi due file insieme contengono l'elemento syslog voci di log per tutte le istanze a partire dalle ore 08:00:00 UTC fino alla fine 08:59:59 UTC. La voce di log i timestamp sono espressi nel fuso orario UTC (Coordinated Universal Time).

Voci di log ricevute con un receiveTimestamp nell'intervallo di 60 minuti allineato dei timestamp vengono scritti di shard principali. Ad esempio, una voce di log con timestamp di 08:00:00. e receiveTimestamp di 08:10:00 viene archiviato nel file shard principale.

Questi file includono uno shard principale numerato nel suffisso: _Sn.json.

Voci di log ricevute con un timestamp in un altro intervallo di 60 minuti finestra allineata rispetto a quella di receiveTimestamp vengono scritte nello shard con partizioni aggiuntive . Ad esempio, una voce di log con timestamp pari a 08:00:00 e un receiveTimestamp delle 09:10:00 è archiviato in un file shard dell'appendice.

Questi file includono uno shard addendum numerato con il suffisso: _An:Unix_timestamp.json.

Ad esempio, una voce di log con timestamp tra 08:00:00 e 08:59:59 ma receiveTimestamp in un'altra finestra allineata di 60 minuti viene scritto in un file con i token _An:Unix_timestamp.json , dove il timestamp Unix identifica l'ora in cui il file è stato indirizzato di archiviazione ideale in Cloud Storage. Se una voce di log aveva un timestamp di 08:50:00 e receiveTimestamp delle 09:10:00, ed è stato percorso alle 09:15:00 del 25 marzo 2021, il file dell'appendice sarebbe scritto come segue:

08:00:00_08:59:59_A0:1616681700.json

Per ottenere tutte le voci di log, devi leggere tutti gli shard per ogni volta (in questo caso, gli shard del file 0 e 1). Il numero di shard del file possono cambiare per ogni periodo di tempo.

All'interno dei singoli file con sharding, le voci di log vengono archiviate come elenco di LogEntry oggetti. Per un esempio di voce syslog, consulta: Organizzazione delle voci di log.

Tieni presente che l'ordinamento delle voci di log all'interno dei file non è né uniforme né altrimenti garantito.

Voci di log in arrivo

Le voci di log instradate vengono salvate nei bucket Cloud Storage in batch orari. L'operazione potrebbe richiedere da 2 a 3 ore prima dell'inizio delle prime voci vengono visualizzate. shard del file di log instradati con il suffisso An ("Aggiungi") contiene le voci di log arrivate in ritardo.

Se si verifica un'interruzione nella destinazione, Cloud Logging esegue il buffer dati fino al termine dell'interruzione.

Se non sono presenti log nella destinazione del sink, controlla la esportare metriche di sistema. Le metriche del sistema di esportazione indicano quante voci di log sono instradate e come molte vengono eliminate a causa di errori. Se le metriche del sistema di esportazione indicano voci di log sono state indirizzate alla destinazione, controlla il filtro a verifica che le voci di log corrispondenti al filtro siano state incluse di recente Logging.

Nella console Google Cloud, vai alla pagina Router dei log:

Vai a Router dei log

Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

Voci di log di App Engine

App Engine combina più voci secondarie di tipo google.appengine.logging.v1.LogLine (denominato anche AppLog o AppLogLine) sotto una voce di log principale di tipo google.appengine.logging.v1.RequestLog per la richiesta causa l'attività di log. Ciascuna riga del log ha un "ID richiesta" che identifica la voce principale. Esplora log visualizza le righe del log con la richiesta voce di log. Logging tenta di inserire tutte le righe di log nella batch con la richiesta originale, anche se i relativi timestamp le posizionavano nel batch successivo. Se non è possibile, è possibile che manchi la voce di log della richiesta alcune righe di log e potrebbe esserci la dicitura "orfana" di righe di log senza una richiesta batch successivo. Se questa possibilità è importante per te, preparati a rimetterti in contatto le parti della richiesta quando elabori i log.

Risoluzione dei problemi

Se i log sembrano non essere presenti nella destinazione del sink o sospetti in altro modo se il sink non esegue correttamente il routing dei log, Risolvi i problemi relativi ai log di routing.

Prezzi

Cloud Logging non addebita alcun costo per il routing dei log a un destinazione supportata; ma la destinazione potrebbe applicare dei costi. Ad eccezione del bucket di log _Required, Cloud Logging addebita un costo per trasferire i log nei bucket di log. per un'archiviazione più lunga del periodo di conservazione predefinito del bucket di log.

Cloud Logging non addebita alcun costo per la copia dei log o per le query eseguite tramite Esplora log o tramite la pagina Analisi dei log.

Per ulteriori informazioni, consulta i seguenti documenti: