Dati di Google Security Operations in BigQuery

Supportato in:

Google Security Operations fornisce un data lake gestito di informazioni normalizzate e sulle minacce arricchite di telemetria esportando i dati in BigQuery. In questo modo, puoi:

  • Esegui query ad hoc direttamente in BigQuery.
  • Usare i tuoi strumenti di business intelligence, come Looker o Microsoft Power BI, per creare dashboard, report e analisi.
  • Unisci i dati di Google Security Operations con set di dati di terze parti.
  • Esegui analisi utilizzando strumenti di data science o machine learning.
  • Crea report utilizzando dashboard predefinite e personalizzate.

Google Security Operations esporta le seguenti categorie di dati in BigQuery:

  • Record di eventi UDM:record UDM creati dai dati di log importati dai clienti. Questi record sono arricchiti con informazioni sull'alias.
  • Corrispondenze di regole (rilevamenti): casi in cui una regola corrisponde a uno o più eventi.
  • Corrispondenze IoC: artefatti (ad esempio domini, indirizzi IP) di eventi che di corrispondenza dei feed Indicator of Compromise (IoC). Sono incluse le corrispondenze con i feed globali e i feed specifici per i clienti.
  • Metriche di importazione: includono statistiche come il numero di righe di log importati, numero di eventi prodotti dai log, numero di errori di log che indicano che non è stato possibile analizzare i log e lo stato degli forwarding di Google Security Operations. Per maggiori informazioni, consulta Schema BigQuery delle metriche di importazione.
  • Grafico di entità e relazioni tra entità: archivia la descrizione del entità e le loro relazioni con altre entità.

Flusso di esportazione dei dati

Il flusso di esportazione dei dati è il seguente:

  1. Un insieme di dati di Google Security Operations, specifici di un caso d'uso, viene esportato in un Istanza BigQuery esistente in un progetto Google Cloud specifico del cliente ed è gestito da Google. I dati per ogni caso d'uso vengono esportati in una tabella separata. Questo viene esportato da Google Security Operations a BigQuery in un progetto specifico del cliente.
  2. Nell'ambito dell'esportazione, Google Security Operations crea un modello dei dati Looker predefinito per ogni caso d'uso.
  3. Le dashboard predefinite di Google Security Operations vengono create utilizzando i modelli di dati di Looker predefiniti. Puoi creare dashboard personalizzate in Google Security Operations utilizzando i modelli dei dati di Looker.
  4. I clienti possono scrivere query ad hoc sui dati di Google Security Operations archiviati in e tabelle BigQuery.

  5. I clienti possono anche creare analisi più avanzate utilizzando altri strumenti di terze parti che si integrano con BigQuery.

    Esportazione dei dati da elaborare in BigQuery

L'istanza BigQuery viene creata nella stessa regione di Google Security Operations tenant. Viene creata un'istanza BigQuery per ogni ID cliente. I log non elaborati non vengono esportati nel data lake Google Security Operations in BigQuery. I dati sono esportate in base al riempimento. Poiché i dati vengono importati e normalizzati Google Security Operations viene esportato in BigQuery. Non puoi eseguire il backfill dei dati acquisiti in precedenza. Il periodo di conservazione dei dati in tutte le tabelle BigQuery è di 365 giorni.

Per le connessioni Looker, contatta il tuo rappresentante Google Security Operations per l'assistenza credenziali dell'account che ti consentono di connettere l'istanza di Looker a Google Security Operations in BigQuery. L'account di servizio avrà l'autorizzazione di sola lettura.

Panoramica delle tabelle

Google Security Operations crea il set di dati datalake in BigQuery e le seguenti tabelle:

  • entity_enum_value_to_name_mapping: per i tipi enumerati nella tabella entity_graph, mappa i valori numerici ai valori di stringa.
  • entity_graph: archivia i dati relativi alle entità UDM.
  • events: archivia i dati relativi agli eventi UDM.
  • ingestion_metrics: Archivia statistiche relative all'importazione e alla normalizzazione dei dati provenienti da specifiche come gli forwarding, i feed e l'API di importazione di Google Security Operations.
  • ioc_matches: memorizza le corrispondenze IOC trovate in base agli eventi UDM.
  • job_metadata: una tabella interna utilizzata per monitorare l'esportazione dei dati in in BigQuery.
  • rule_detections: archivia i rilevamenti restituiti dalle regole eseguite in Google Security Operations.
  • rulesets: archivia informazioni sui rilevamenti selezionati di Google Security Operations, tra cui la categoria a cui appartiene ciascuna serie di regole, l'eventuale attivazione e lo stato di avviso attuale.
  • udm_enum_value_to_name_mapping: per i tipi enumerati negli eventi mappa i valori numerici ai valori stringa.
  • udm_events_aggregates: archivia i dati aggregati riepilogati per ora di eventi normalizzati.

Accedere ai dati in BigQuery

Puoi eseguire query direttamente in BigQuery o collegare la tua attività come Looker o Microsoft Power BI, a BigQuery.

Per abilitare l'accesso all'istanza BigQuery, utilizza il metodo Google Security Operations CLI o API BigQuery Access di Google Security Operations. Puoi fornire un indirizzo email per un utente o un gruppo di tua proprietà. Se configurare l'accesso a un gruppo, utilizza il gruppo per gestire i membri del team che possono per accedere all'istanza BigQuery.

Per connettere Looker o un altro strumento di business intelligence a BigQuery, contatta il tuo rappresentante Google Security Operations per conoscere le credenziali dell'account di servizio che ti consentono connettere un'applicazione al set di dati BigQuery di Google Security Operations. L'account di servizio avrà il ruolo Visualizzatore dati BigQuery IAM (roles/bigquery.dataViewer) e il ruolo Visualizzatore job BigQuery (roles/bigquery.jobUser).

Passaggi successivi