Google Security Operations-Daten in BigQuery

Unterstützt in:

Google Security Operations bietet einen verwalteten Datensee mit normalisierter und durch Bedrohungsinformationen angereicherter Telemetrie, indem Daten in BigQuery exportiert werden. Dadurch haben Sie folgende Möglichkeiten:

  • Ad-hoc-Abfragen direkt in BigQuery ausführen
  • Verwenden Sie Ihre eigenen Business-Intelligence-Tools wie Looker oder Microsoft Power BI, um Dashboards, Berichte und Analysen zu erstellen.
  • Google Security Operations-Daten mit Datensätzen von Drittanbietern zusammenführen
  • Analysen mit Data Science- oder Machine-Learning-Tools ausführen
  • Berichte mit vordefinierten Standard- und benutzerdefinierten Dashboards ausführen

Google Security Operations exportiert die folgenden Datenkategorien nach BigQuery:

  • UDM-Ereignisdatensätze:UDM-Ereignisdatensätze, die aus von Kunden aufgenommenen Protokolldaten erstellt wurden. Diese Einträge werden mit Aliasinformationen angereichert.
  • Übereinstimmungen mit Regeln (Erkenntnisse): Fälle, in denen eine Regel mit einem oder mehreren Ereignissen übereinstimmt.
  • IoC-Übereinstimmungen: Artefakte (z. B. Domains, IP-Adressen) aus Ereignissen, die mit IoC-Feeds (Indicator of Compromise) übereinstimmen. Dazu gehören Übereinstimmungen aus globalen und kundenspezifischen Feeds.
  • Aufnahmemesswerte:Dazu gehören Statistiken wie die Anzahl der aufgenommenen Logzeilen, die Anzahl der aus Protokollen generierten Ereignisse, die Anzahl der Protokollfehler, die darauf hinweisen, dass Protokolle nicht geparst werden konnten, und der Status der Google Security Operations-Weiterleitungen. Weitere Informationen finden Sie im BigQuery-Schema für Messwerte zur Datenaufnahme.
  • Entitätsgraph und Entitätsbeziehungen: Hier werden die Beschreibung von Entitäten und ihre Beziehungen zu anderen Entitäten gespeichert.

Ablauf des Datenexports

Der Ablauf des Datenexports sieht so aus:

  1. Eine Reihe von Google Security Operations-Daten, die für einen Anwendungsfall spezifisch sind, werden in eine BigQuery-Instanz exportiert, die in einem kundenspezifischen Google Cloud-Projekt vorhanden ist und von Google verwaltet wird. Die Daten für jeden Anwendungsfall werden in eine separate Tabelle exportiert. Diese werden aus Google Security Operations in ein kundenspezifisches Projekt nach BigQuery exportiert.
  2. Im Rahmen des Exports erstellt Google Security Operations für jeden Anwendungsfall ein vordefiniertes Looker-Datenmodell.
  3. Die Standard-Dashboards von Google Security Operations werden mit den vordefinierten Looker-Datenmodellen erstellt. Mit den vordefinierten Looker-Datenmodellen können Sie in Google Security Operations benutzerdefinierte Dashboards erstellen.
  4. Kunden können Ad-hoc-Abfragen auf Google Security Operations-Daten ausführen, die in BigQuery-Tabellen gespeichert sind.

  5. Kunden können auch erweiterte Analysen mit anderen Drittanbietertools erstellen, die in BigQuery eingebunden sind.

    Datenexport zur Verarbeitung in BigQuery

Die BigQuery-Instanz wird in derselben Region wie der Google Security Operations-Tenant erstellt. Für jede Kunden-ID wird eine BigQuery-Instanz erstellt. Rohprotokolle werden nicht in den Google Security Operations-Datensee in BigQuery exportiert. Die Daten werden nach dem Prinzip „Vorwärtsausfüllen“ exportiert. Wenn Daten in Google Security Operations aufgenommen und normalisiert werden, werden sie in BigQuery exportiert. Bereits aufgenommene Daten können nicht nachträglich eingefügt werden. Die Aufbewahrungsdauer für Daten in allen BigQuery-Tabellen beträgt 365 Tage.

Wenn Sie eine Looker-Verbindung herstellen möchten, wenden Sie sich an Ihren Google Security Operations-Ansprechpartner, um Anmeldedaten für ein Dienstkonto zu erhalten, mit dem Sie Ihre Looker-Instanz mit Google Security Operations-Daten in BigQuery verbinden können. Das Dienstkonto hat Lesezugriff.

Tabellenübersicht

Google Security Operations erstellt das datalake-Dataset in BigQuery und die folgenden Tabellen:

  • entity_enum_value_to_name_mapping: Ordnet für enumerierte Typen in der Tabelle entity_graph die numerischen Werte den Stringwerten zu.
  • entity_graph: Hier werden Daten zu UDM-Entitäten gespeichert.
  • events: Hier werden Daten zu UDM-Ereignissen gespeichert.
  • ingestion_metrics: Hier werden Statistiken zur Aufnahme und Normalisierung von Daten aus bestimmten Aufnahmequellen gespeichert, z. B. von Google Security Operations-Weiterleitungen, Feeds und der Ingestion API.
  • ioc_matches: Hier werden IOC-Übereinstimmungen gespeichert, die mit UDM-Ereignissen gefunden wurden.
  • job_metadata: Eine interne Tabelle, mit der der Export von Daten nach BigQuery nachverfolgt wird.
  • rule_detections: Hier werden Erkennungen gespeichert, die von Regeln zurückgegeben werden, die in Google Security Operations ausgeführt werden.
  • rulesets: Hier werden Informationen zu von Google Security Operations ausgewählten Erkennungen gespeichert, einschließlich der Kategorie, zu der jeder Regelsatz gehört, ob er aktiviert ist und dem aktuellen Benachrichtigungsstatus.
  • udm_enum_value_to_name_mapping: Ordnet für enumerierte Typen in der Tabelle „Ereignisse“ die numerischen Werte den Stringwerten zu.
  • udm_events_aggregates: Hier werden aggregierte Daten nach Stunde normalisierter Ereignisse gespeichert.

Auf Daten in BigQuery zugreifen

Sie können Abfragen direkt in BigQuery ausführen oder Ihr eigenes Business Intelligence-Tool wie Looker oder Microsoft Power BI mit BigQuery verbinden.

Verwenden Sie entweder die Google Security Operations-Befehlszeile oder die Google Security Operations BigQuery Access API, um den Zugriff auf die BigQuery-Instanz zu aktivieren. Sie können eine E-Mail-Adresse für einen Nutzer oder eine Gruppe angeben, deren Inhaber Sie sind. Wenn Sie den Zugriff auf eine Gruppe konfigurieren, können Sie mit dieser Gruppe verwalten, welche Teammitglieder auf die BigQuery-Instanz zugreifen können.

Wenn Sie Looker oder ein anderes Business Intelligence-Tool mit BigQuery verbinden möchten, wenden Sie sich an Ihren Google Security Operations-Ansprechpartner, um Anmeldedaten für ein Dienstkonto zu erhalten, mit dem Sie eine Anwendung mit dem BigQuery-Dataset von Google Security Operations verbinden können. Das Dienstkonto hat die IAM-Rolle „BigQuery-Datenbetrachter“ (roles/bigquery.dataViewer) und die Rolle „BigQuery-Jobbetrachter“ (roles/bigquery.jobUser).

Nächste Schritte