Panoramica dell'estrazione automatica
Questo documento fornisce una panoramica di come vengono estratti automaticamente i dati per migliorare la capacità di importarli, elaborarli e analizzarli.
Google Security Operations utilizza parser predefiniti per estrarre e strutturare i dati dei log utilizzando lo schema Unified Data Model (UDM). La gestione e la manutenzione di questi analizzatori può essere complessa a causa di diversi limiti: estrazione incompleta dei dati, numero crescente di analizzatori da gestire e necessità di aggiornamenti frequenti con l'evoluzione dei formati dei log.
Per risolvere questi problemi, puoi utilizzare la funzionalità di estrazione automatica. Questa funzionalità estrae automaticamente le coppie chiave-valore dai log in formato JSON importati in Google SecOps. Questi dati estratti vengono archiviati in un campo UDM di tipo mappa chiamato extracted
. Puoi quindi utilizzare questi dati nelle query di ricerca UDM, nelle dashboard di anteprima e nelle regole YARA-L. L'analisi autonoma supporta i log in formato JSON.
Come best practice, le ricerche UDM che utilizzano i campi estratti devono includere metadata.log_type
nella query per migliorare il rendimento delle query di ricerca.
Il vantaggio dell'estrazione automatica è la ridotta dipendenza dai parser, che garantisce che i dati rimangano disponibili anche quando un parser non è presente o non riesce a analizzare un log.
Analizza ed estrae i dati dal log non elaborato
Analisi: Google SecOps tenta di analizzare i log utilizzando un parser specifico per il tipo di log, se disponibile. Se non esiste un parser specifico o se l'analisi sintattica non va a buon fine, Google SecOps utilizza un parser generale per estrarre informazioni di base come timestamp importato, tipo di log ed etichette dei metadati.
Estrazione dati: tutti i punti dati vengono estratti automaticamente dai log.
Arricchimento degli eventi: Google SecOps combina i dati analizzati e eventuali campi con formato personalizzato per creare eventi arricchiti, fornendo più contesto e dettagli.
Trasferimento di dati a valle: questi eventi arricchiti vengono poi inviati ad altri sistemi per ulteriori analisi ed elaborazioni.