Flow Analyzer analizza i dati dei log di flusso VPC archiviati in un formato record. I record di log contengono campi di base, che sono i campi principali di ogni record di log. e i campi dei metadati, che forniscono ulteriori informazioni. I record del log per il monitoraggio dei flussi di traffico è costituito da tre componenti principali:
- Informazioni sulle risorse
- Tipi di metriche
- Serie temporale
Informazioni sulle risorse
I record dei log includono i seguenti dati sulle risorse:
- Dettagli della connessione
- Dati di Reporter
- Dettagli di GKE
- Dettagli istanza
- Dettagli geografici
- Dettagli VPC
Tipi di metriche
I record di log includono dati per i seguenti tipi di metriche:
- Byte inviati: contiene informazioni sui volumi del payload e non include le intestazioni. Questo valore della metrica può essere zero perché alcuni pacchetti contengono solo intestazioni e non includono payload.
- Pacchetti inviati: indica il numero di pacchetti inviati dall'origine alla destinazione.
Dati di serie temporali non elaborati
La quantità di dati metriche non elaborati in una singola serie temporale può essere enorme e di solito ci sono molte serie temporali associate a un tipo di metrica. Per analizzare l'intero insieme di dati alla ricerca di elementi comuni, tendenze o outlier, è necessario eseguire un po' di elaborazione sulle serie temporali nell'insieme. In caso contrario, ci sono troppi dati da considerare.
Per introdurre il campionamento e l'aggregazione degli esempi in questa pagina, utilizza una piccola di serie temporali ipotetiche. Ad esempio, il seguente diagramma mostra alcuni minuti di dati non elaborati per il tipo di metrica byte per secondo:
I dati non elaborati delle serie temporali devono essere manipolati prima di poter essere analizzati e l'analisi comporta spesso il campionamento dei dati e l'aggregazione di alcuni di essi. In questa pagina vengono descritte due tecniche principali per perfezionare i dati non elaborati:
- Campionamento, che rimuove alcuni dati dalla valutazione. Google Cloud esegue il campionamento e utilizza i dati richiesti dai record di log per eseguire le operazioni indicate nelle query.
- Aggregazione, che combina più dati in un cluster impostati in base alle dimensioni da te specificate.
Il campionamento e l'aggregazione sono potenti strumenti per identificare, tra le altre cose, modelli interessanti ed evidenziare tendenze o valori anomali nei dati.
Informazioni sul periodo di allineamento
Il primo passaggio per l'aggregazione dei dati delle serie temporali è l'allineamento. L'allineamento crea una nuova serie temporale in cui i dati non elaborati vengono regolarizzati nel tempo in modo da poter essere combinati con altre serie temporali allineate. L'allineamento produce serie temporali con dati a intervalli regolari.
L'allineamento prevede due passaggi:
- Dividere le serie temporali in intervalli di tempo regolari, chiamato anche eseguire il bucket dei dati. Questo intervallo è chiamato periodo di allineamento.
- Calcolo di un singolo valore della metrica per i punti nel periodo di allineamento. Sei tu a scegliere come viene calcolato quel singolo punto; puoi sommare tutti i valori, o calcolare la media, oppure utilizzare il valore massimo.
Il seguente diagramma mostra come viene utilizzato il periodo di allineamento per eseguire il bucketing i dati tra l'ora di inizio e l'ora di fine.
Il seguente diagramma mostra il risultato dell'utilizzo di un periodo di allineamento di di cinque minuti svolgendo i seguenti passaggi:
- Creazione di un periodo di allineamento con intervallo di tempo di cinque minuti.
- Calcolo del valore della metrica singola mediante la somma dei valori della metrica dai dati non elaborati.
Granularità
Se sai che è successo qualcosa nell'arco di un paio di minuti e più a fondo, probabilmente vorrai usare un periodo di un minuto allineamento.
Se ti interessa esplorare le tendenze per periodi di tempo più lunghi, potrebbe essere più appropriato. In genere, periodi di allineamento di grandi dimensioni non utile per guardare condizioni anomale a breve termine, come picchi di breve durata. nel traffico. Se utilizzi, ad esempio, un periodo di allineamento di più settimane, l'esistenza di un'anomalia in quel periodo può essere ancora rilevata, ma i dati allineati potrebbero essere troppo generici per essere di grande aiuto.
Per periodi di tempo elevati, un periodo di allineamento più breve non è utile. Per Ad esempio, se selezioni un allineamento di 1 minuto per un periodo di 30 giorni, Flow Analyzer genera più di 43.000 punti dati. Poiché 43.000 punti dati sono 10 volte più numerosi dei pixel del display 4K, non puoi visualizzare tutti i dettagli e alcune opzioni sono disattivate per durate temporali elevate.
Opzioni di allineamento
Le opzioni di allineamento includono la somma dei valori o l'individuazione del valore massimo, minimo o medio dei valori, trovando un determinato valore percentile, contando i valori e altri. Con Flow Analyzer puoi usare varie aggregazioni di metriche come opzioni di allineamento.
Se selezioni Byte inviati come tipo di metrica e Sorgente e destinazione come aggregazione del traffico, sono disponibili le seguenti opzioni.
- Traffico totale
- Frequenza media di traffico
- Frequenza mediana di traffico
- Frequenza di traffico P95
- Frequenza massima di traffico
Se selezioni Pacchetti inviati come tipo di metrica e Origine e destinazione come aggregazione del traffico, sono disponibili le seguenti opzioni.
- Pacchetti aggregati
- Velocità media pacchetti
- Frequenza mediana di pacchetti
- Frequenza di pacchetti P95
- Velocità massima di pacchetti
Il seguente diagramma mostra il risultato dell'utilizzo di due opzioni di allineamento di traffico totale e percentuale di traffico media.
Utilizzo del periodo di allineamento
Puoi utilizzare l'opzione Periodo di allineamento per aggregare i flussi di traffico in intervalli di tempo della durata selezionata. Puoi ingrandire ulteriormente il grafico per vedere i dettagli specifici, se necessario.
Passaggi successivi
- Analizzare i flussi di traffico
- Abilita Analisi dei log
- Configura un bucket centrale
- Esegui Connectivity Tests da Flow Analyzer
- Monitorare i flussi di traffico
- Risolvere i problemi relativi ai dati in Flow Analyzer