Google Security Operations-Daten in BigQuery

Google Security Operations bietet einen verwalteten Data Lake mit normalisierten und mit Bedrohungsinformationen angereicherten Telemetriedaten. Dazu werden Daten nach BigQuery exportiert. Dadurch haben Sie folgende Möglichkeiten:

  • Führen Sie Ad-hoc-Abfragen direkt in BigQuery aus.
  • Verwenden Sie Ihre eigenen Business-Intelligence-Tools wie Looker oder Microsoft Power BI, um Dashboards, Berichte und Analysen zu erstellen.
  • Google Security Operations-Daten mit Datasets von Drittanbietern zusammenführen.
  • Führen Sie Analysen mit Data-Science- oder ML-Tools aus.
  • Sie können Berichte mit vordefinierten Standard-Dashboards und benutzerdefinierten Dashboards erstellen.

Google Security Operations exportiert die folgenden Datenkategorien nach BigQuery:

  • UDM-Ereigniseinträge:UDM-Einträge, die aus Logdaten erstellt werden, die von Kunden aufgenommen wurden. Diese Datensätze werden mit Aliasing-Informationen angereichert.
  • Regelübereinstimmungen (Erkennungen): Instanzen, bei denen eine Regel mit einem oder mehreren Ereignissen übereinstimmt.
  • IoC-Übereinstimmungen: Artefakte (z. B. Domains oder IP-Adressen) aus Ereignissen, die mit Feeds des Indicator of Compromise (IoC) übereinstimmen. Dazu gehören Übereinstimmungen aus globalen Feeds und kundenspezifischen Feeds.
  • Datenaufnahmemesswerte:beinhalten Statistiken wie die Anzahl der aufgenommenen Logzeilen, die Anzahl der aus Logs generierten Ereignisse, die Anzahl der Logfehler, die darauf hinweisen, dass Logs nicht geparst werden konnten, und den Status der Google Security Operations-Forwarder. Weitere Informationen findest du unter BigQuery-Schema für Aufnahmemesswerte.
  • Entitätsgrafik und Entitätsbeziehungen: Speichert die Beschreibung von Entitäten und deren Beziehungen zu anderen Entitäten.

Datenexport

Der Datenexport läuft so ab:

  1. Ein für einen Anwendungsfall spezifischer Satz von Google Security Operations-Daten wird in eine BigQuery-Instanz exportiert, die sich in einem kundenspezifischen Google Cloud-Projekt befindet und von Google verwaltet wird. Die Daten für jeden Anwendungsfall werden in eine separate Tabelle exportiert. Diese wird in einem kundenspezifischen Projekt von Google Security Operations nach BigQuery exportiert.
  2. Im Rahmen des Exports erstellt Google Security Operations für jeden Anwendungsfall ein vordefiniertes Looker-Datenmodell.
  3. Die Standard-Dashboards von Google Security Operations werden mithilfe der vordefinierten Looker-Datenmodelle erstellt. Sie können in Google Security Operations mithilfe der vordefinierten Looker-Datenmodelle benutzerdefinierte Dashboards erstellen.
  4. Kunden können Ad-hoc-Abfragen für Google Security Operations-Daten schreiben, die in BigQuery-Tabellen gespeichert sind.

  5. Kunden können erweiterte Analysen auch mit anderen Drittanbietertools erstellen, die sich in BigQuery einbinden lassen.

    Datenexport zur Verarbeitung nach BigQuery

Die BigQuery-Instanz wird in derselben Region wie der Google Security Operations-Mandant erstellt. Für jede Kundennummer wird eine BigQuery-Instanz erstellt. Rohlogs werden nicht in den Google Security Operations-Data Lake in BigQuery exportiert. Die Daten werden nach der Füllung exportiert. Wenn Daten in Google Security Operations aufgenommen und normalisiert werden, werden sie nach BigQuery exportiert. Ein Backfill für zuvor aufgenommene Daten ist nicht möglich. Die Aufbewahrungsdauer für Daten in allen BigQuery-Tabellen beträgt 180 Tage.

Wenn Sie Looker-Verbindungen herstellen möchten, wenden Sie sich an Ihren Google Security Operations-Vertreter, um die Anmeldedaten für ein Dienstkonto zu erhalten, mit denen Sie Ihre Looker-Instanz mit Google Security Operations-Daten in BigQuery verbinden können. Das Dienstkonto hat nur eine Leseberechtigung.

Übersicht über die Tabellen

Google Security Operations erstellt das Dataset datalake in BigQuery und die folgenden Tabellen:

  • entity_enum_value_to_name_mapping: ordnet für Aufzählungstypen in der Tabelle entity_graph die numerischen Werte den Stringwerten zu.
  • entity_graph: Speichert Daten zu UDM-Entitäten.
  • events: Speichert Daten zu UDM-Ereignissen
  • ingestion_metrics: speichert Statistiken zur Aufnahme und Normalisierung von Daten aus bestimmten Aufnahmequellen wie Google Security Operations-Forwardern, ‐Feeds und der Ingestion API.
  • ioc_matches: Speichert gefundene IOC-Übereinstimmungen für UDM-Ereignisse.
  • job_metadata: Eine interne Tabelle, mit der der Export von Daten nach BigQuery verfolgt wird.
  • rule_detections: Speichert Erkennungen, die von Regeln zurückgegeben werden, die in Google Security Operations ausgeführt werden.
  • rulesets: speichert Informationen zu von Google Security Operations ausgewählten Erkennungen, einschließlich der Kategorie, zu der jeder Regelsatz gehört, ob er aktiviert ist und der aktuelle Benachrichtigungsstatus.
  • udm_enum_value_to_name_mapping: Bei Enum-Typen in der Ereignistabelle werden die numerischen Werte den Stringwerten zugeordnet.
  • udm_events_aggregates: speichert aggregierte Daten, die nach Stunde normalisierter Ereignisse zusammengefasst sind.

Auf Daten in BigQuery zugreifen

Sie können Abfragen direkt in BigQuery ausführen oder Ihr eigenes Business-Intelligence-Tool wie Looker oder Microsoft Power BI mit BigQuery verbinden.

Den Zugriff auf die BigQuery-Instanz können Sie über die Google Security Operations CLI oder die Google Security Operations BigQuery Access API aktivieren. Sie können eine E-Mail-Adresse für einen Nutzer oder eine Gruppe, deren Inhaber Sie sind, angeben. Wenn Sie den Zugriff auf eine Gruppe konfigurieren, verwenden Sie die Gruppe, um zu verwalten, welche Teammitglieder auf die BigQuery-Instanz zugreifen können.

Wenn Sie Looker oder ein anderes Business-Intelligence-Tool mit BigQuery verbinden möchten, fragen Sie Ihren Google Security Operations-Vertreter nach den Anmeldedaten für Dienstkonten, mit denen Sie eine Anwendung mit dem BigQuery-Dataset von Google Security Operations verbinden können. Das Dienstkonto hat die IAM-Rollen „BigQuery-Datenbetrachter“ (roles/bigquery.dataViewer) und die Rolle „BigQuery-Jobbetrachter“ (roles/bigquery.jobUser).

Nächste Schritte