Query e analisi dei log con Analisi dei log

Questo documento descrive come eseguire query e analizzare i dati di log archiviati in bucket di log upgrade eseguito per l'utilizzo di Analisi dei log. Puoi eseguire query sui log in questi bucket utilizzando SQL, che ti consente di filtrare e aggregare i log. Per visualizzare i risultati della query: puoi utilizzare il formato tabulare o visualizzare i dati sotto forma di grafici. Queste tabelle e questi grafici possono essere salvati nelle dashboard personalizzate.

Puoi utilizzare Esplora log per visualizzare le voci di log archiviate in bucket di log nel progetto, indipendentemente dal fatto che il bucket di log sia stato eseguito l'upgrade per utilizzare l'Analisi dei log.

Esistono alcune limitazioni per l'utilizzo di Log Analytics. Per ulteriori informazioni, consulta Log Analytics: limitazioni.

Informazioni sui set di dati collegati

Analisi dei log supporta la creazione di set di dati BigQuery collegati, che consentivano BigQuery ha accesso in lettura ai dati sottostanti. Se scegli di creare un set di dati collegato, puoi fare quanto segue:

  • Unisci i dati delle voci di log ad altri set di dati BigQuery.
  • Esegui una query sui dati dei log da un altro servizio come il BigQuery Studio o Looker Studio.
  • Migliora le prestazioni delle query eseguite dall'Analisi dei log eseguendole sul tuo Slot prenotati BigQuery.

Questo documento non descrive come creare un set di dati collegato o come configurare Log Analytics per eseguire query sugli slot riservati. Se ti interessano questi argomenti, consulta Eseguire una query su un set di dati collegato in BigQuery.

Prima di iniziare

Prima di utilizzare Log Analytics:

  • Per ottenere le autorizzazioni necessarie per utilizzare Analisi dei log, chiedi all'amministratore di concederti i seguenti ruoli IAM sul tuo progetto:

    • Per eseguire query sui bucket di log _Required e _Default: Visualizzatore log (roles/logging.viewer)
    • Per eseguire query su tutte le visualizzazioni dei log in un progetto: Logs View Accessor (roles/logging.viewAccessor)

    Puoi limitare un'entità a una visualizzazione dei log specifica aggiungendo una condizione IAM alla concessione del ruolo Accesso alla visualizzazione dei log effettuata a livello di progetto oppure aggiungendo un'associazione IAM al file del criterio della visualizzazione dei log. Per ulteriori informazioni, consulta Controllare l'accesso a una visualizzazione dei log.

    Si tratta delle stesse autorizzazioni necessarie per visualizzare le voci di log della pagina Esplora log. Per informazioni su ruoli aggiuntivi necessari per eseguire query sulle viste sui bucket definiti dall'utente per eseguire query sulla vista _AllLogs di _Default bucket di log, consulta Ruoli di Cloud Logging.

  • Assicurati di aver eseguito l'upgrade dei bucket di log per utilizzare Analisi dei log:

    1. Nella console Google Cloud, vai alla pagina Archiviazione dei log:

      Vai ad Archiviazione dei log

      Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

    2. Per ogni bucket di log con una visualizzazione di log su cui vuoi eseguire una query, devi assicurarti che La colonna Analisi dei log disponibile mostra Apri. Se viene visualizzato Esegui l'upgrade, fai clic su Esegui l'upgrade e completa la finestra di dialogo.

Esegui una query su una visualizzazione del log

Quando risolvi un problema, potresti voler contare le voci di log con un campo che corrisponde a un pattern o calcolare la latenza media per la richiesta HTTP. Puoi eseguire queste azioni eseguendo una query SQL in una visualizzazione dei log.

Per eseguire una query SQL su una vista log, segui questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Log Analytics:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Nell'elenco Visualizzazioni log, trova la visualizzazione e seleziona Query. Il riquadro Query viene compilato con una query predefinita, che include il nome della tabella per il nome della visualizzazione del log su cui viene eseguita la query. Questo nome è nel formato project_ID.region.bucket_ID.view_ID.

    Puoi anche inserire una query nel riquadro Query o modificare una query visualizzata. Per query di esempio, consulta Query di esempio.

    Per specificare un intervallo di tempo, consigliamo di utilizzare il selettore dell'intervallo di tempo. Tuttavia, puoi aggiungere una clausola WHERE che specifichi il campo timestamp. Quando una query include un campo timestamp, il timestamp sostituisce il valore intervallo di tempo selezionato nel selettore dell'intervallo di tempo e dell'intervallo di tempo è disabilitata.

  3. Nella barra degli strumenti, assicurati che sia visualizzato un pulsante denominato Esegui query.

    Se nella barra degli strumenti è visualizzato Esegui in BigQuery: fai clic su Impostazioni e seleziona Analisi dei log (impostazione predefinita).

  4. Esegui la query.

    La query viene eseguita e il risultato viene mostrato nel Scheda Risultati.

    Puoi utilizzare le opzioni della barra degli strumenti per formattare la query, cancellarla e aprire la documentazione di riferimento di BigQuery SQL.

  5. (Facoltativo) Crea un grafico o salva i risultati in una dashboard personalizzata.

    Per impostazione predefinita, i risultati della query vengono presentati in una tabella. Tuttavia, puoi creare un grafico e anche salvare la tabella o il grafico in una dashboard personalizzata.

    Per informazioni su come creare e configurare un grafico e su come memorizzare un risultato di query in una dashboard, consulta Graficare i risultati delle query SQL.

Visualizza lo schema di una visualizzazione log

Lo schema di una visualizzazione dei log ne definisce la struttura e il tipo di dati per ogni campo. Queste informazioni sono importanti per te perché determinano come costruisci le query. Ad esempio, supponiamo di voler calcolare la latenza media delle richieste HTTP. Devi sapere come accedere al campo della latenza e se è memorizzato come numero intero come 100 o come stringa come "100". Quando i dati di latenza vengono archiviati come stringa, la query deve trasmettere il valore a un valore numerico prima di calcolare una media.

Quando il tipo di dati di una colonna è JSON, lo schema non elenca i campi disponibili per la colonna. Ad esempio, una voce di log può avere campo con il nome json_payload. Quando viene eseguito l'upgrade di un bucket di log per l'utilizzo Analisi dei log, il campo è mappato a una colonna con un tipo di dati JSON. Lo schema non indica i campi secondari della colonna. In altre parole, non puoi utilizzare lo schema per determinare se json_payload.url è un riferimento valido.

Per identificare lo schema per una visualizzazione del log:

  1. Nella console Google Cloud, vai alla pagina Log Analytics:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Nell'elenco Visualizzazioni log, individua la visualizzazione del log, quindi seleziona la del nome della visualizzazione log.

    Viene visualizzato lo schema. Puoi utilizzare il campo Filtro per individuare campi specifici. Non puoi modificare lo schema.

Passaggi successivi