Crea un grafico dei risultati delle query con Analisi dei log

Questo documento descrive come creare un grafico dei risultati delle query di Analisi dei log, consente di identificare pattern e tendenze nei dati di log. Analisi dei log consente di cercare e aggregare i log per generare insight utili utilizzando SQL query.

Dopo aver eseguito una query, i relativi risultati possono essere visualizzati in una tabella o convertiti in un grafico. Ad esempio, per vedere quali tipi di gravità sono associati ai log stai generando, crea un grafico che visualizza il conteggio dei log le ultime 12 ore e suddividere i log per severity. Le seguenti screenshot mostra i punti dati suddivisi in diversi tipi di gravità:

Prima di iniziare

Nota: le autorizzazioni necessarie per visualizzare le voci di log ed eseguire query nella La pagina Analisi dei log corrisponde a quelle che devi visualizzare della pagina Esplora log. Per informazioni su ruoli aggiuntivi necessari per eseguire query sulle viste sui bucket definiti dall'utente per eseguire una query sulla vista _AllLogs del bucket di log _Default, consulta Ruoli di Cloud Logging.

1. Per ottenere le autorizzazioni necessarie per utilizzare Analisi dei log per eseguire query, visualizzare i log e creare grafici, chiedi all'amministratore di concederti i seguenti ruoli IAM sul tuo progetto:

   • Per eseguire una query sui bucket di log _Required e _Default: Visualizzatore log (roles/logging.viewer)
   • Per eseguire query sui bucket di log personalizzati: Funzione di accesso alla visualizzazione dei log (roles/logging.viewAccessor)
   • (Facoltativo) Per salvare i grafici nelle dashboard: Editor di Monitoring (roles/monitoring.editor)

   Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

   Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

2. Per le viste dei log su cui vuoi eseguire una query, vai alla pagina Archiviazione dei log e verificare che i bucket di log archiviano di queste viste log viene eseguito l'upgrade dell'analisi dei log. Se necessario, eseguire l'upgrade del bucket di log.

   Nella console Google Cloud, vai alla pagina Archiviazione dei log:

   Vai ad Archiviazione dei log

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

3. (Facoltativo) Se vuoi eseguire query sui dati di log utilizzando un set di dati BigQuery, quindi crea un set di dati BigQuery collegato.

Seleziona i dati da rappresentare in un grafico

Per configurare quali dati visualizzare in un grafico, crea una query utilizzando SQL. Quando selezioni la scheda Grafico, Logging genera automaticamente un grafico basato sulla query che consentono di analizzare i dati e visualizzare i risultati. Dopo aver eseguito la query e generato un grafico, puoi: personalizza la configurazione del grafico modificando il tipo di grafico e selezionando colonne per visualizzare dati diversi.

Per visualizzare i risultati della query sotto forma di grafico, esegui una query nel seguente modo:

1. Nella console Google Cloud, vai alla pagina Analisi dei log:

   Vai ad Analisi dei log

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

2. Nel riquadro Query, inserisci una query e fai clic su Esegui.

3. Al termine della query, seleziona la modalità che preferisci nella scheda Risultati. per visualizzare i risultati della query:

   • Tabella: visualizza solo una tabella dei risultati della query.

   • Grafico: visualizza solo un grafico dei risultati della query.

   • Entrambe: visualizza una tabella e un grafico uno accanto all'altro.

4. Se hai selezionato la scheda Grafico o Entrambe, puoi personalizzare la configurazione del grafico modificandone il tipo e personalizzare le righe e le colonne da rappresentare nei grafici. Per ulteriori informazioni vedi Personalizzare la configurazione del grafico.

Personalizzare la configurazione del grafico

Puoi personalizzare la configurazione del grafico modificando il tipo di grafico, selezionando la dimensione e la misura al grafico e applicando una suddivisione. La La dimensione, che è il valore dell'asse X, viene utilizzata per raggruppare o classificare le righe. La Misura, o valore dell'asse Y, è una serie di dati tracciata in base al Asse Y.

Cambia tipo di grafico

Puoi scegliere tra i seguenti tipi di grafici, a seconda del tipo di righe e le colonne selezionate come dimensione e misura e come vuoi che dati da visualizzare.

• Grafico a barre (predefinito)

  I grafici a barre tracciano i dati su due assi. Se il grafico utilizza una categoria o una stringa come dimensione, puoi impostare la configurazione di un grafico a barre su orizzontale o verticale, in cui gli assi di dimensione e misura sono scambiati.

• Grafico a linee

  Puoi utilizzare i grafici a linee per mostrare le variazioni dei dati nel tempo. Quando utilizzi una linea grafico, ogni serie temporale viene visualizzata da una linea diversa che corrisponde le misure che hai selezionato.

  Se l'asse X è basato sul tempo, ogni punto dati è posizionato all'inizio un intervallo di tempo. Ogni punto dati è collegato da interpolazione lineare.

• Grafico ad area Un grafico ad area è basato su un grafico a linee e l'area sotto ogni linea è ombreggiato. Nei grafici ad area, le serie di dati sono in pila. Ad esempio, se disponi due serie identiche, la serie si sovrappone in un grafico a linee, ma l'area ombreggiata è impilata in un grafico ad area.

• Grafico a torta

  Un grafico a torta mostra la correlazione tra le categorie di un set di dati e l'intero set di dati utilizzando il cerchio per rappresentare l'intero set di dati e i cunei nel cerchio per rappresentare le categorie nel set di dati. Le dimensioni di un supporto inclinato indica in che misura, spesso in percentuale, la categoria contribuisce a il tutto.

• Indicatori e prospetti

  Indicatori e prospetti mostrano la misurazione più recente rispetto a un di soglie con colori diversi. Gli indicatori mostrano solo i dati più recenti mentre i prospetti mostrano anche una cronologia delle misurazioni recenti. Questi widget sono inoltre codificati per colore. Quando il valore più recente è con previsti, i dati sono mostrati in verde. Quando il valore si trova in un di avviso, i dati vengono visualizzati in ambra. Analogamente, quando il valore è un'area di pericolo, viene visualizzato il rosso.

  Non puoi specificare una suddivisione quando visualizzi i risultati della query utilizzando un indicatore o un prospetto.

Cambia dimensione e misura

Puoi scegliere le righe e le colonne da includere nei grafici selezionando la dimensione e misurare i campi.

Nota: se i risultati della query contengono una colonna con stringhe lunghe, come messaggi di errore e selezioni questa colonna come dimensione o allora il grafico potrebbe presentare errori o valori imprevisti.

• Dimensioni

  La dimensione deve essere una colonna con timestamp, numeri o stringhe. Per impostazione predefinita, la dimensione è impostata su la prima colonna basata su timestamp nello schema. Se nella query non è presente alcun timestamp, viene selezionata come dimensione la prima colonna. Puoi anche personalizzare il contenuto della dimensione nel riquadro Visualizzazione del grafico. Quando viene selezionata una colonna timestamp come dimensione, il grafico mostra come cambiano i dati nel tempo.

  Per impostazione predefinita, l'intervallo per i timestamp ma puoi anche selezionare un intervallo personalizzato. Modifica intervalli automatici basati sul selettore dell'intervallo di tempo per mantenere gruppi di dimensioni simili.

  Puoi anche disabilitare l'intervallo, che ti consente di specificare aggregazioni e intervalli di tempo all'interno della query per analisi più complesse. La disattivazione dell'intervallo imposta la funzione di aggregazione delle misure a none. Sono consentite solo misure numeriche quando l'intervallo di dimensioni è disabilitata.

  Nota: solo la colonna TIMESTAMP può essere utilizzata come dimensione del timestamp. A utilizzare DATE e DATETIME, devi utilizzare la funzione CAST() per convertire tipi di dati per TIMESTAMP.

• Misura

  Puoi selezionare più misure nel riquadro Visualizzazione grafico. Quando selezioni una misura, deve anche selezionare la funzione di aggregazione affinché venga eseguita sui relativi valori raggruppati, count, sum, average e percentile-99. Ad esempio, count-distinct restituisce il numero di valori univoci in una determinata colonna.

  Se selezioni la casella di controllo Disattiva intervallo per la dimensione, la colonna L'opzione della funzione di aggregazione none è disponibile. Se la dimensione è un la casella di controllo Disattiva intervallo non viene visualizzata. Tuttavia, L'impostazione delle funzioni di aggregazione di una misura su none disattiva anche la intervallo di tempo.

Aggiungi una suddivisione

Per suddividere una singola serie di dati in più serie in base a un'altra colonna, aggiungi una suddivisione.

Quando selezioni una suddivisione, scegli colonne contenenti un numero di etichette brevi e significative, come region_name, al posto dei campi che possono contenere un grande numero di stringhe o stringhe lunghe, textPayload.

Ad esempio, vedi la seguente configurazione del grafico, in cui il campo Dimensione il campo è impostato su type, il campo Misura è impostato su Conteggio righe e Il campo Suddivisione è impostato su gravità:

Di seguito è riportato un esempio di grafico con una suddivisione aggiunta:

Nello screenshot precedente è visualizzata una serie di dati in pila, in cui la risorsa il tipo k8s_container è suddiviso in diversi tipi di severity. Questo consente di identificare quanti log di ogni tipo di gravità sono stati generati da una determinata risorsa.

Nota: se il grafico contiene più di una misura, non puoi aggiungere una misura durante l'analisi.

Salvare un grafico in una dashboard personalizzata

Dopo aver generato un grafico dalla tua query, puoi salvarlo in un dashboard personalizzata. Le dashboard personalizzate ti consentono visualizzare e organizzare le informazioni che ti sono utili utilizzando una tipi di widget. Ad esempio, puoi creare una dashboard che fornisca dettagli sull'utilizzo dei bucket Cloud Storage:

Per salvare il grafico in una dashboard, segui questi passaggi:

1. Nella console Google Cloud, vai alla pagina Analisi dei log:

   Vai ad Analisi dei log

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

2. Esegui una query per generare un grafico, poi fai clic su Salva grafico nella scheda Grafico.

3. Nella finestra di dialogo Salva nella dashboard, inserisci un titolo per il grafico e seleziona la dashboard in cui vuoi salvare il grafico.

4. (Facoltativo) Per visualizzare la dashboard personalizzata, nel messaggio popup Fai clic su Visualizza dashboard.

Per visualizzare un elenco di dashboard personalizzate che contengono grafici generati Query SQL di analisi dei log, vai al pulsante Salva grafico e fai clic Menu.

Modificare un grafico salvato in una dashboard personalizzata

Per modificare i grafici generati dalle query SQL di Analisi dei log salvate in un consulta Modificare la configurazione di un widget. Nella finestra di dialogo Configura widget, puoi modificare la query utilizzata per generare un grafico oppure personalizzarne la configurazione diversi.

Limitazioni

• Se il progetto Google Cloud si trova in una cartella che utilizza Assured Workloads, i grafici che generi non potranno essere visualizzati in una dashboard personalizzata.

• I filtri a livello di dashboard non si applicano ai grafici generati da un Query SQL di analisi dei log.

Query di esempio

Questa sezione fornisce query SQL di esempio per creare grafici dei risultati delle query. Per ottenere insight più utili dai log, personalizza la configurazione del grafico. Per utilizzare le query di esempio, segui questi passaggi:

1. Nella console Google Cloud, vai alla pagina Analisi dei log:

   Vai ad Analisi dei log

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

2. Identifica il nome della tabella per una vista log eseguendo la query predefinita:

   Nell'elenco Visualizzazioni log, individua la visualizzazione del log e seleziona Query. Il riquadro Query viene compilato con una query predefinita, che include il nome della tabella su cui viene eseguita la query. Il nome della tabella contiene formato project_ID.region.bucket_ID.view_ID.

   Per ulteriori informazioni su come accedere alla query predefinita, vedi Eseguire una query su una vista log.

3. Sostituisci TABLE con il nome della tabella corrispondente alla vista su cui vuoi eseguire la query, poi copiala.

4. Incolla la query nel riquadro Query, quindi fai clic su Esegui query.

Voci di log del grafico per località e gravità

La seguente query seleziona location e severity, con la posizione trasmetti come stringa:

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `TABLE`

La configurazione di un grafico e di un grafico di esempio è simile alla seguente:

Nello screenshot precedente, la configurazione del grafico ha le seguenti caratteristiche: configurazione del grafico:

• Tipo di grafico: grafico a barre, orizzontale
• Dimensione: location, con un limite di 10
• Misura: conteggia le righe
• Suddivisione: severity, con un limite di cinque

Crea grafici degli audit log di accesso ai dati di BigQuery

I seguenti filtri di query per il controllo data_access di BigQuery log e seleziona alcuni campi, ad esempio user_email, ip, auth_permission, e job_execution_project. Ad esempio, puoi creare un grafico che mostri la frequenza di utilizzo dell'API BigQuery di ciascuna entità nel tempo.

SELECT 
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

La configurazione di un grafico e di un grafico di esempio è simile alla seguente:

Nello screenshot precedente, la configurazione del grafico ha il seguente grafico configurazione:

• Tipo di grafico: grafico a barre, verticale
• Dimensione: user_email, con un limite di cinque
• Misura: conteggia le righe
• Suddivisione: auth_permission, con un limite di cinque

Limitazioni

• Le colonne selezionate devono avere almeno una riga con un valore diverso da null.

• Se salvi una query e personalizzi la configurazione del grafico, i valori personalizzati configurazione del grafico non salvata.

• Se la query contiene già aggregazioni, il grafico generato potrebbe essere diversa a causa di un'aggregazione aggiuntiva applicata automaticamente da Analisi dei log.

• I percorsi JSON devono essere trasmessi in stringhe e numeri per poter essere rappresentati in un grafico.

Passaggi successivi

• Per una panoramica di Analisi dei log, consulta Analisi dei log.

• Per query di esempio, consulta Query SQL di esempio.

• Per scoprire come eseguire l'analisi con gli audit log utilizzando Analisi dei log, vedi Query SQL per approfondimenti sulla sicurezza.