Esegui query e analizza i log con Log Analytics

Questo documento descrive come eseguire query e analizzare i dati di log archiviati nei bucket di log di cui è stato eseguito l'upgrade per utilizzare Analisi dei log. Puoi eseguire query sui log in questi bucket utilizzando SQL, che ti consente di filtrare e aggregare i log. Per visualizzare i risultati della query, puoi utilizzare il formato tabulare o visualizzare i dati con i grafici. Queste tabelle e questi grafici possono essere salvati nelle dashboard personalizzate.

Puoi utilizzare Esplora log per visualizzare le voci di log archiviate nei bucket di log nel progetto, indipendentemente dal fatto che sia stato eseguito o meno l'upgrade del bucket di log per l'utilizzo di Analisi dei log.

Log Analytics non deduplica le voci dei log, il che potrebbe influire sul modo in cui scrivi le query. Inoltre, esistono alcune limitazioni per l'utilizzo di Log Analytics. Per ulteriori informazioni su questi argomenti, consulta i seguenti documenti:

Informazioni sui set di dati collegati

Log Analytics supporta la creazione di set di dati BigQuery collegati, che consentono a BigQuery di avere accesso in lettura ai dati sottostanti. Se scegli di creare un set di dati collegato, puoi:

Questo documento non descrive come creare un set di dati collegato o come configurare Log Analytics per eseguire query sugli slot riservati. Se ti interessano questi argomenti, consulta Eseguire una query su un set di dati collegato in BigQuery.

Prima di iniziare

Prima di utilizzare Log Analytics:

  • Per ottenere le autorizzazioni necessarie per utilizzare Log Analytics, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

    • Per eseguire query sui bucket di log _Required e _Default: Visualizzatore log (roles/logging.viewer)
    • Per eseguire query su tutte le visualizzazioni dei log in un progetto: Logs View Accessor (roles/logging.viewAccessor)

    Puoi limitare un'entità a una visualizzazione di log specifica aggiungendo una condizione IAM alla concessione del ruolo Accesso alla visualizzazione dei log effettuata a livello di progetto oppure aggiungendo un'associazione IAM al file del criterio della visualizzazione di log. Per ulteriori informazioni, consulta Controllare l'accesso a una visualizzazione dei log.

    Si tratta delle stesse autorizzazioni necessarie per visualizzare le voci di log nella pagina Esplora log. Per informazioni sui ruoli aggiuntivi necessari per eseguire query sulle visualizzazioni dei bucket definiti dall'utente o per eseguire query sulla visualizzazione _AllLogs del bucket di log _Default, consulta Ruoli di Cloud Logging.

  • Assicurati che sia stato eseguito l'upgrade dei bucket di log per utilizzare Analisi dei log:

    1. Nella console Google Cloud, vai alla pagina Archiviazione dei log:

      Vai ad Archiviazione dei log

      Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

    2. Per ogni bucket di log con una vista log per cui vuoi eseguire una query, assicurati che la colonna Log Analytics disponibile mostri Aperto. Se viene visualizzato Esegui l'upgrade, fai clic su Esegui l'upgrade e completa la finestra di dialogo.

Esegui una query su una visualizzazione di log

Quando risolvi un problema, potresti voler contare le voci di log con un campo che corrisponde a un pattern o calcolare la latenza media per la richiesta HTTP. Puoi eseguire queste azioni eseguendo una query SQL in una visualizzazione dei log.

Per eseguire una query SQL in una visualizzazione dei log:

  1. Nella console Google Cloud, vai alla pagina Log Analytics:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Nell'elenco Visualizzazioni log, trova la visualizzazione e seleziona Query. Il riquadro Query viene compilato con una query predefinita, che include il nome della tabella per il nome della visualizzazione del log su cui viene eseguita la query. Questo nome ha il formato project_ID.region.bucket_ID.view_ID.

    Puoi anche inserire una query nel riquadro Query o modificare una query visualizzata. Per esempi di query, consulta Query di esempio.

    Per specificare un intervallo di tempo, ti consigliamo di utilizzare il selettore dell'intervallo di tempo. Tuttavia, puoi aggiungere una clausola WHERE che specifica il campo timestamp. Quando una query include un campo timestamp, il timestamp ha la precedenza sull'intervallo di tempo selezionato nel selettore dell'intervallo di tempo e il selettore dell'intervallo di tempo viene disattivato.

  3. Nella barra degli strumenti, assicurati che sia visualizzato un pulsante denominato Esegui query.

    Se nella barra degli strumenti viene visualizzato Esegui in BigQuery, fai clic su Impostazioni e seleziona Log Analytics (predefinito).

  4. Esegui la query.

    La query viene eseguita e il risultato viene visualizzato nella scheda Risultati.

    Puoi utilizzare le opzioni della barra degli strumenti per formattare la query, cancellarla e aprire la documentazione di riferimento di BigQuery SQL.

  5. (Facoltativo) Crea un grafico o salva i risultati in una dashboard personalizzata.

    Per impostazione predefinita, i risultati della query vengono presentati come tabella. Tuttavia, puoi creare un grafico e salvare la tabella o il grafico in una dashboard personalizzata.

    Per informazioni su come creare e configurare un grafico e su come memorizzare un risultato di query in una dashboard, consulta Graficare i risultati delle query SQL.

Visualizza lo schema di una visualizzazione di log

Lo schema di una visualizzazione dei log ne definisce la struttura e il tipo di dati per ogni campo. Queste informazioni sono importanti per te perché determinano come costruisci le query. Ad esempio, supponiamo di voler calcolare la latenza media delle richieste HTTP. Devi sapere come accedere al campo della latenza e se è memorizzato come numero intero come 100 o come stringa come "100". Quando i dati sulla latenza sono archiviati come stringa, la query deve eseguire il casting del valore in un valore numerico prima di calcolare una media.

Quando il tipo di dati di una colonna è JSON, lo schema non elenca i campi disponibili per la colonna. Ad esempio, una voce di log può avere un campo con il nome json_payload. Quando viene eseguito l'upgrade di un bucket di log per l'utilizzo di Analisi dei log, il campo viene mappato a una colonna con un tipo di dati JSON. Lo schema non indica i campi secondari della colonna. In altre parole, non puoi utilizzare lo schema per determinare se json_payload.url è un riferimento valido.

Per identificare lo schema di una visualizzazione dei log:

  1. Nella console Google Cloud, vai alla pagina Log Analytics:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Nell'elenco Visualizzazioni log, trova la visualizzazione di log e seleziona il suo nome.

    Viene visualizzato lo schema. Puoi utilizzare il campo Filtra per individuare campi specifici. Non puoi modificare lo schema.

Passaggi successivi