Panoramica dell'estrazione automatica

Supportato in:

Questo documento fornisce una panoramica di come vengono estratti automaticamente i dati per migliorare la capacità di importarli, elaborarli e analizzarli.

Google Security Operations utilizza parser predefiniti per estrarre e strutturare i dati dei log utilizzando lo schema Unified Data Model (UDM). La gestione e la manutenzione di questi analizzatori può essere complessa a causa di diversi limiti: estrazione incompleta dei dati, numero crescente di analizzatori da gestire e necessità di aggiornamenti frequenti con l'evoluzione dei formati dei log.

Per risolvere questi problemi, puoi utilizzare la funzionalità di estrazione automatica. Questa funzionalità estrae automaticamente le coppie chiave-valore dai log in formato JSON importati in Google SecOps. Questi dati estratti vengono archiviati in un campo UDM di tipo mappa chiamato extracted. Puoi quindi utilizzare questi dati nelle query di ricerca UDM, nelle dashboard di anteprima e nelle regole YARA-L. L'analisi autonoma supporta i log in formato JSON.

Come best practice, le ricerche UDM che utilizzano i campi estratti devono includere metadata.log_type nella query per migliorare il rendimento delle query di ricerca.

Il vantaggio dell'estrazione automatica è la ridotta dipendenza dai parser, che garantisce che i dati rimangano disponibili anche quando un parser non è presente o non riesce a analizzare un log.

Analizza ed estrae i dati dal log non elaborato

  1. Analisi: Google SecOps tenta di analizzare i log utilizzando un parser specifico per il tipo di log, se disponibile. Se non esiste un parser specifico o se l'analisi sintattica non va a buon fine, Google SecOps utilizza un parser generale per estrarre informazioni di base come timestamp importato, tipo di log ed etichette dei metadati.

  2. Estrazione dati: tutti i punti dati vengono estratti automaticamente dai log.

  3. Arricchimento degli eventi: Google SecOps combina i dati analizzati e eventuali campi con formato personalizzato per creare eventi arricchiti, fornendo più contesto e dettagli.

  4. Trasferimento di dati a valle: questi eventi arricchiti vengono poi inviati ad altri sistemi per ulteriori analisi ed elaborazioni.