Données Google Security Operations dans BigQuery

Compatible avec:

Google Security Operations fournit un lac de données géré de télémétrie normalisée et enrichie d'informations sur les menaces en exportant des données vers BigQuery. Vous pouvez ainsi effectuer les opérations suivantes:

  • Exécutez des requêtes ad hoc directement dans BigQuery.
  • Utilisez vos propres outils d'informatique décisionnelle, tels que Looker ou Microsoft Power BI, pour créer des tableaux de bord, des rapports et des analyses.
  • Associer les données Google Security Operations à des ensembles de données tiers
  • Exécuter des analyses à l'aide d'outils de data science ou de machine learning
  • Exécutez des rapports à l'aide de tableaux de bord par défaut et personnalisés prédéfinis.

Google Security Operations exporte les catégories de données suivantes vers BigQuery:

  • Enregistrements d'événements UDM:enregistrements UDM créés à partir des données de journal ingérées par les clients. Ces enregistrements sont enrichis d'informations d'aliasing.
  • Correspondances de règles (détections): cas où une règle correspond à un ou plusieurs événements.
  • Correspondances IoC: artefacts (par exemple, domaines, adresses IP) d'événements correspondant aux flux d'indicateurs de compromission (IoC). Cela inclut les correspondances à partir de flux globaux et de flux spécifiques au client.
  • Métriques d'ingestion:incluent des statistiques telles que le nombre de lignes de journal ingérées, le nombre d'événements générés à partir des journaux, le nombre d'erreurs de journal indiquant que les journaux n'ont pas pu être analysés et l'état des transferts Google Security Operations. Pour en savoir plus, consultez le schéma BigQuery des métriques d'ingestion.
  • Graphe des entités et relations entre les entités: stocke la description des entités et leurs relations avec d'autres entités.

Flux d'exportation des données

Le flux d'exportation des données est le suivant:

  1. Un ensemble de données Google Security Operations, spécifique à un cas d'utilisation, est exporté vers une instance BigQuery qui existe dans un projet Google Cloud spécifique au client et est géré par Google. Les données de chaque cas d'utilisation sont exportées vers un tableau distinct. Il est exporté de Google Security Operations vers BigQuery dans un projet spécifique au client.
  2. Lors de l'exportation, Google Security Operations crée un modèle de données Looker prédéfini pour chaque cas d'utilisation.
  3. Les tableaux de bord par défaut de Google Security Operations sont créés à l'aide des modèles de données Looker prédéfinis. Vous pouvez créer des tableaux de bord personnalisés dans Google Security Operations à l'aide des modèles de données Looker prédéfinis.
  4. Les clients peuvent écrire des requêtes ad hoc sur les données Google Security Operations stockées dans des tables BigQuery.

  5. Les clients peuvent également créer des analyses plus avancées à l'aide d'autres outils tiers intégrés à BigQuery.

    Exportation de données vers BigQuery

L'instance BigQuery est créée dans la même région que le locataire Google Security Operations. Une instance BigQuery est créée pour chaque ID client. Les journaux bruts ne sont pas exportés vers le lac de données Google Security Operations dans BigQuery. Les données sont exportées en fonction de la progression. Lorsque les données sont ingérées et normalisées dans Google Security Operations, elles sont exportées vers BigQuery. Vous ne pouvez pas insérer des données précédemment ingérées. La période de conservation des données de toutes les tables BigQuery est de 365 jours.

Pour les connexions Looker, contactez votre représentant Google Security Operations pour obtenir les identifiants du compte de service qui vous permettent de connecter votre instance Looker aux données Google Security Operations dans BigQuery. Le compte de service disposera d'une autorisation en lecture seule.

Présentation des tableaux

Google Security Operations crée l'ensemble de données datalake dans BigQuery et les tables suivantes:

  • entity_enum_value_to_name_mapping: pour les types énumérés dans le tableau entity_graph, mappe les valeurs numériques aux valeurs de chaîne.
  • entity_graph: stocke des données sur les entités UDM.
  • events: stocke les données sur les événements UDM.
  • ingestion_metrics : stocke les statistiques liées à l'ingestion et à la normalisation des données provenant de sources d'ingestion spécifiques, telles que les transferts Google Security Operations, les flux et l'API Ingestion.
  • ioc_matches: stocke les correspondances IoC trouvées pour les événements UDM.
  • job_metadata: table interne utilisée pour suivre l'exportation de données vers BigQuery.
  • rule_detections: stocke les détections renvoyées par les règles exécutées dans Google Security Operations.
  • rulesets: stocke des informations sur les détections sélectionnées par Google Security Operations, y compris la catégorie à laquelle chaque ensemble de règles appartient, s'il est activé et l'état actuel des alertes.
  • udm_enum_value_to_name_mapping: pour les types énumérés dans le tableau des événements, met en correspondance les valeurs numériques avec les valeurs de chaîne.
  • udm_events_aggregates: stocke les données agrégées résumées par heure des événements normalisés.

Accéder aux données dans BigQuery

Vous pouvez exécuter des requêtes directement dans BigQuery ou connecter votre propre outil d'intelligence métier, tel que Looker ou Microsoft Power BI, à BigQuery.

Pour activer l'accès à l'instance BigQuery, utilisez la CLI Google Security Operations ou l'API Google Security Operations BigQuery Access. Vous pouvez indiquer l'adresse e-mail d'un utilisateur ou d'un groupe dont vous êtes propriétaire. Si vous configurez l'accès à un groupe, utilisez-le pour gérer les membres de l'équipe qui peuvent accéder à l'instance BigQuery.

Pour connecter Looker ou un autre outil de veille stratégique à BigQuery, contactez votre représentant Google Security Operations pour obtenir les identifiants du compte de service qui vous permettent de connecter une application à l'ensemble de données BigQuery Google Security Operations. Le compte de service dispose des rôles IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) et Lecteur de tâches BigQuery (roles/bigquery.jobUser).

Étape suivante

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.