Données Google Security Operations dans BigQuery

Compatible avec :

Google Security Operations fournit un lac de données géré de télémétrie normalisée et enrichie d'informations sur les menaces en exportant des données vers BigQuery. Cela vous permet d'effectuer suivantes:

  • Exécutez des requêtes ad hoc directement dans BigQuery.
  • Utilisez vos propres outils d'informatique décisionnelle, tels que Looker ou Microsoft Power BI, pour créer des tableaux de bord, des rapports et des analyses.
  • Associer les données Google Security Operations à des ensembles de données tiers
  • Exécuter des analyses à l'aide d'outils de data science ou de machine learning
  • Générez des rapports à l'aide de tableaux de bord par défaut prédéfinis et de tableaux de bord personnalisés.

Google Security Operations exporte les catégories de données suivantes vers BigQuery:

  • Enregistrements d'événements UDM:enregistrements UDM créés à partir des données des journaux ingérés par les clients. Ces enregistrements sont enrichis d'informations de création d'alias.
  • Correspondances au niveau des règles (détections): instances où une règle correspond à un ou plus d'événements.
  • Correspondances IoC: artefacts (domaines, adresses IP, etc.) des événements qui de correspondance avec l'indicateur de compromission (IoC). Cela inclut les correspondances avec et des flux spécifiques aux clients.
  • Métriques d'ingestion : incluent des statistiques telles que le nombre de lignes de journal ingérées, le nombre d'événements générés à partir des journaux, le nombre d'erreurs de journal indiquant que les journaux n'ont pas pu être analysés et l'état des transferts Google Security Operations. Pour en savoir plus, consultez la section Schéma BigQuery des métriques d'ingestion.
  • Graphique d'entité et relations entre entités: stocke la description des entités et leurs relations avec d'autres entités.

Flux d'exportation de données

Le flux d'exportation des données est le suivant :

  1. Un ensemble de données Google Security Operations, spécifiques à un cas d'utilisation, est exporté vers un Instance BigQuery existante dans un projet Google Cloud propre à un client et est géré par Google. Les données de chaque cas d'utilisation sont exportées vers une table distincte. Il est exporté de Google Security Operations vers BigQuery dans un projet spécifique au client.
  2. Dans le cadre de l'exportation, Google Security Operations crée un modèle de données Looker prédéfini pour chaque cas d'utilisation.
  3. Les tableaux de bord par défaut de Google Security Operations sont créés à l'aide des données Looker prédéfinies des modèles de ML. Vous pouvez créer des tableaux de bord personnalisés dans Google Security Operations à l'aide des ressources prédéfinies les modèles de données Looker.
  4. Les clients peuvent écrire des requêtes ad hoc sur les données Google Security Operations stockées dans dans les tables BigQuery.

  5. Les clients peuvent également créer des analyses plus avancées à l'aide d'autres outils tiers qui s'intègrent à BigQuery.

    Exportation des données à traiter vers BigQuery

L'instance BigQuery est créée dans la même région que la suite Google Security Operations et le locataire. Une instance BigQuery est créée pour chaque ID client. Les journaux bruts ne sont pas exportés vers le lac de données Google Security Operations dans BigQuery. Les données sont exportés en fonction d'un remplissage. Lorsque les données sont ingérées et normalisées dans Google Security Operations, elles sont exportées vers BigQuery. Vous ne pouvez pas remplir de remplissage précédemment ingéré données. La période de conservation des données dans toutes les tables BigQuery est de 365 jours.

Pour les connexions Looker, contactez votre représentant Google Security Operations pour obtenir des identifiants de compte qui vous permettent de connecter votre instance Looker à Google Security Operations dans BigQuery. Le compte de service dispose d'une autorisation en lecture seule.

Présentation des tableaux

Google Security Operations crée l'ensemble de données datalake dans BigQuery et les tables suivantes :

  • entity_enum_value_to_name_mapping: pour les types énumérés dans entity_graph, mappe les valeurs numériques aux valeurs de chaîne.
  • entity_graph: stocke des données sur les entités UDM.
  • events : stocke les données sur les événements UDM.
  • ingestion_metrics : stocke les statistiques liées à l'ingestion et à la normalisation des données provenant de sources d'ingestion spécifiques, telles que les transferts Google Security Operations, les flux et l'API Ingestion.
  • ioc_matches: stocke les correspondances IOC trouvées pour les événements UDM.
  • job_metadata : table interne utilisée pour suivre l'exportation de données vers BigQuery.
  • rule_detections: stocke les détections renvoyées par les règles exécutées dans Google Security Operations.
  • rulesets: stocke des informations sur les détections sélectionnées par Google Security Operations indiquant la catégorie à laquelle appartient chaque jeu de règles, si celui-ci est activé et l'état d'alerte actuel.
  • udm_enum_value_to_name_mapping : pour les types énumérés dans le tableau des événements, met en correspondance les valeurs numériques avec les valeurs de chaîne.
  • udm_events_aggregates: stocke les données globales résumées par heure de des événements normalisés.

Accéder aux données dans BigQuery

Vous pouvez exécuter des requêtes directement dans BigQuery ou connecter votre propre entreprise comme Looker ou Microsoft Power BI, vers BigQuery.

Pour activer l'accès à l'instance BigQuery, utilisez l'une des méthodes Google Security Operations CLI ou API Google Security Operations BigQuery Access. Vous pouvez fournir une adresse e-mail pour un utilisateur ou pour un groupe dont vous êtes le propriétaire. Si vous configurer l'accès à un groupe, l'utiliser pour gérer les membres de l'équipe autorisés à accéder à l'instance BigQuery.

Pour connecter Looker ou un autre outil de veille stratégique à BigQuery, contactez votre représentant Google Security Operations pour obtenir les identifiants du compte de service qui vous permettent de connecter une application à l'ensemble de données BigQuery Google Security Operations. Le compte de service dispose des rôles IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) et Lecteur de tâches BigQuery (roles/bigquery.jobUser).

Étape suivante