Google Security Operations-Daten in BigQuery

Unterstützt in:

Google Security Operations bietet einen verwalteten Datensee mit normalisierter und durch Bedrohungsinformationen angereicherter Telemetrie, indem Daten in BigQuery exportiert werden. Dadurch haben Sie folgende Möglichkeiten:

  • Führen Sie Ad-hoc-Abfragen direkt in BigQuery aus.
  • Verwenden Sie Ihre eigenen Business-Intelligence-Tools wie Looker oder Microsoft Power BI, um Dashboards, Berichte und Analysen zu erstellen.
  • Google Security Operations-Daten mit Datensätzen von Drittanbietern zusammenführen
  • Analysen mit Data Science- oder Machine-Learning-Tools ausführen
  • Sie können Berichte mit vordefinierten Standard-Dashboards und benutzerdefinierten Dashboards erstellen.

Google Security Operations exportiert die folgenden Datenkategorien nach BigQuery:

  • UDM-Ereignisdatensätze: UDM-Datensätze, die aus von Kunden aufgenommenen Protokolldaten erstellt wurden. Diese Einträge werden mit Aliasing-Informationen angereichert.
  • Regelübereinstimmungen (Erkennungen): Instanzen, bei denen eine Regel mit einem oder weitere Ereignisse.
  • IoC-Übereinstimmungen: Artefakte (z. B. Domains oder IP-Adressen) aus Ereignissen, die Übereinstimmungsindikatoren-Feeds (IoC) Dazu gehören Übereinstimmungen aus globalen und kundenspezifischen Feeds.
  • Aufnahmemesswerte: Dazu gehören Statistiken wie die Anzahl der aufgenommenen Logzeilen, die Anzahl der aus Protokollen generierten Ereignisse, die Anzahl der Protokollfehler, die darauf hinweisen, dass Protokolle nicht geparst werden konnten, und der Status der Google Security Operations-Weiterleitungen. Weitere Informationen finden Sie im BigQuery-Schema für Messwerte zur Datenaufnahme.
  • Entitätsgraph und Entitätsbeziehungen: Hier werden die Beschreibung von Entitäten und ihre Beziehungen zu anderen Entitäten gespeichert.

Datenexport

Der Datenexport läuft so ab:

  1. Ein Satz von Google Security Operations-Daten, die spezifisch für einen Anwendungsfall sind, wird BigQuery-Instanz, die in einem kundenspezifischen Google Cloud-Projekt vorhanden ist und wird von Google verwaltet. Die Daten für jeden Anwendungsfall werden in eine separate Tabelle exportiert. Diese werden aus Google Security Operations in ein kundenspezifisches Projekt nach BigQuery exportiert.
  2. Im Rahmen des Exports erstellt Google Security Operations ein vordefiniertes Looker-Datenmodell für jeden Anwendungsfall.
  3. Die Standard-Dashboards von Google Security Operations werden mit den vordefinierten Looker-Daten erstellt Modelle. Mit den vordefinierten Looker-Datenmodellen können Sie in Google Security Operations benutzerdefinierte Dashboards erstellen.
  4. Kunden können Ad-hoc-Abfragen auf Google Security Operations-Daten ausführen, die in BigQuery-Tabellen gespeichert sind.

  5. Kunden können erweiterte Analysen auch mit anderen Drittanbietertools erstellen, die sich in BigQuery einbinden lassen.

    Datenexport zur Verarbeitung nach BigQuery

Die BigQuery-Instanz wird in derselben Region wie die Google Security Operations erstellt Mandant. Für jede Kundennummer wird eine BigQuery-Instanz erstellt. Rohlogs werden nicht in den Google Security Operations-Datensee in BigQuery exportiert. Die Daten werden nach dem Prinzip „Vorwärtsausfüllen“ exportiert. Wenn Daten in Google Security Operations aufgenommen und normalisiert werden, werden sie nach BigQuery exportiert. Bereits aufgenommene Daten können nicht nachträglich eingefügt werden. Die Aufbewahrungsdauer für Daten in allen BigQuery-Tabellen beträgt 365 Tage.

Wenn Sie eine Looker-Verbindung herstellen möchten, wenden Sie sich an Ihren Google Security Operations-Ansprechpartner, um Anmeldedaten für ein Dienstkonto zu erhalten, mit dem Sie Ihre Looker-Instanz mit Google Security Operations-Daten in BigQuery verbinden können. Das Dienstkonto hat nur eine Leseberechtigung.

Tabellenübersicht

Google Security Operations erstellt das datalake-Dataset in BigQuery und die folgenden Tabellen:

  • entity_enum_value_to_name_mapping: für Aufzählungstypen in der entity_graph die numerischen Werte den Stringwerten zu.
  • entity_graph: Speichert Daten zu UDM-Entitäten.
  • events: Hier werden Daten zu UDM-Ereignissen gespeichert.
  • ingestion_metrics: Hier werden Statistiken zur Aufnahme und Normalisierung von Daten aus bestimmten Aufnahmequellen gespeichert, z. B. von Google Security Operations-Weiterleitungen, Feeds und der Ingestion API.
  • ioc_matches: Hier werden IOC-Übereinstimmungen gespeichert, die mit UDM-Ereignissen gefunden wurden.
  • job_metadata: eine interne Tabelle zum Verfolgen des Exports von Daten nach BigQuery
  • rule_detections: Hier werden Erkennungen gespeichert, die von Regeln zurückgegeben werden, die in Google Security Operations ausgeführt werden.
  • rulesets: speichert Informationen zu von Google Security Operations ausgewählten Erkennungen einschließlich der Kategorie, zu der jeder Regelsatz gehört, ob er aktiviert ist den aktuellen Benachrichtigungsstatus.
  • udm_enum_value_to_name_mapping: für Aufzählungstypen in den Ereignissen ordnet die numerischen Werte den Zeichenfolgenwerten zu.
  • udm_events_aggregates: speichert aggregierte Daten, zusammengefasst nach Stunde des und normalisierten Ereignissen.

Auf Daten in BigQuery zugreifen

Sie können Abfragen direkt in BigQuery ausführen oder Ihr eigenes Business Intelligence-Tool wie Looker oder Microsoft Power BI mit BigQuery verbinden.

Verwenden Sie entweder die Google Security Operations-Befehlszeile oder die Google Security Operations BigQuery Access API, um den Zugriff auf die BigQuery-Instanz zu aktivieren. Sie können eine E-Mail-Adresse für einen Nutzer oder eine Gruppe angeben, deren Inhaber Sie sind. Wenn Sie konfigurieren Sie den Zugriff auf eine Gruppe. Verwenden Sie die Gruppe, um zu verwalten, welche Teammitglieder auf die BigQuery-Instanz zugreifen.

Wenn Sie Looker oder ein anderes Business Intelligence-Tool mit BigQuery verbinden möchten, wenden Sie sich an Ihren Google Security Operations-Ansprechpartner, um Anmeldedaten für ein Dienstkonto zu erhalten, mit dem Sie eine Anwendung mit dem BigQuery-Dataset von Google Security Operations verbinden können. Dienst Konto hat die IAM-Rolle BigQuery-Datenbetrachter (roles/bigquery.dataViewer) und BigQuery-Job-Betrachter (roles/bigquery.jobUser).

Nächste Schritte