Datos de Google Security Operations en BigQuery

Se admite en los siguientes países:

Google Security Operations proporciona un data lake administrado de telemetría normalizada y enriquecida con inteligencia contra amenazas mediante la exportación de datos a BigQuery. Esto te permite hacer lo siguiente: lo siguiente:

  • Ejecuta consultas ad hoc directamente en BigQuery.
  • Usa tus propias herramientas de inteligencia empresarial, como Looker o Microsoft Power BI, para crear paneles, informes y estadísticas.
  • Une los datos de Google Security Operations con conjuntos de datos de terceros.
  • Ejecuta análisis con herramientas de ciencia de datos o de aprendizaje automático.
  • Ejecuta informes con paneles predeterminados predefinidos y paneles personalizados.

Google Security Operations exporta las siguientes categorías de datos a BigQuery:

  • Registros de eventos de la AUA: Son registros de la AUA creados a partir de datos de registro que transfieren los clientes. Estos registros están enriquecidos con información de alias.
  • Coincidencias de reglas (detecciones): instancias en las que una regla coincide con uno o más eventos.
  • Coincidencias de IoC: artefactos (por ejemplo, dominios, direcciones IP) de eventos que con los feeds del indicador de compromiso (IoC). Se incluyen las coincidencias con feeds y feeds específicos de clientes.
  • Métricas de transferencia: Incluyen estadísticas, como la cantidad de líneas de registro. transferidos, cantidad de eventos producidos a partir de registros, cantidad de errores de registro que indican que no se pudieron analizar los registros y el estado de los servidores de reenvío de Google Security Operations. Para obtener más información, consulta Esquema de BigQuery de las métricas de transferencia.
  • Gráfico de entidades y relaciones entre entidades: Almacena la descripción de las entidades y sus relaciones con otras entidades.

Flujo de exportación de datos

El flujo de exportación de datos es el siguiente:

  1. Se exporta un conjunto de datos de Google Security Operations, específicos para un caso de uso, a un Instancia de BigQuery que existe en un proyecto de Google Cloud específico del cliente y Google la administra. Los datos de cada caso de uso se exportan a una tabla independiente. Se exportó de Google Security Operations a BigQuery en un proyecto específico del cliente.
  2. Como parte de la exportación, Google Security Operations crea un modelo de datos predefinido de Looker para cada caso de uso.
  3. Los paneles predeterminados de Google Security Operations se crean con los modelos de datos predefinidos de Looker. Puedes crear paneles personalizados en Google Security Operations con el Modelos de datos de Looker.
  4. Los clientes pueden escribir consultas ad hoc en los datos de Google Security Operations almacenados en Tablas de BigQuery.

  5. Los clientes también pueden crear estadísticas más avanzadas con otras herramientas de terceros que se integran en BigQuery.

    Exportación de datos para procesarlos en BigQuery

La instancia de BigQuery se crea en la misma región que el inquilino de Google Security Operations. Se crea una instancia de BigQuery para cada ID de cliente. Los registros sin procesar no se exportan al data lake de Google Security Operations en BigQuery. Los datos son se exportan con base en el relleno. A medida que los datos se transfieren y se normalizan en Google Security Operations, se exportan a BigQuery. No puedes reabastecer una transferencia anterior de datos no estructurados. El período de retención de los datos en todas las tablas de BigQuery es de 365 días.

Para las conexiones de Looker, comunícate con tu representante de Google Security Operations para obtener las credenciales de la cuenta de servicio que te permitan conectar tu instancia de Looker a los datos de Google Security Operations en BigQuery. La cuenta de servicio tendrá permiso de solo lectura.

Descripción general de las tablas

Google Security Operations crea el conjunto de datos datalake en BigQuery y las siguientes tablas:

  • entity_enum_value_to_name_mapping: Para los tipos enumerados en la La tabla entity_graph asigna los valores numéricos a los valores de string.
  • entity_graph: Almacena datos sobre las entidades del UDM.
  • events: Almacena datos sobre eventos de UDM.
  • ingestion_metrics: almacena estadísticas relacionadas con la transferencia y normalización de datos de fuentes de transferencia, como los servidores de reenvío de Google Security Operations, los feeds y la API de transferencia
  • ioc_matches: Almacena las coincidencias de IOC que se encontraron con los eventos de la AUA.
  • job_metadata: Es una tabla interna que se usa para hacer un seguimiento de la exportación de datos a BigQuery.
  • rule_detections: Almacena las detecciones que muestran las reglas que se ejecutan en Google Security Operations.
  • rulesets: Almacena información sobre las detecciones seleccionadas de Google Security Operations. incluida la categoría a la que pertenece cada conjunto de reglas, si está habilitada y el estado de alerta actual.
  • udm_enum_value_to_name_mapping: Para los tipos enumerados en los eventos asigna los valores numéricos a los valores de cadena.
  • udm_events_aggregates: Almacena datos agregados resumidos por hora de eventos normalizados.

Accede a los datos en BigQuery

Puedes ejecutar consultas directamente en BigQuery o conectar tu propia herramienta de inteligencia empresarial, como Looker o Microsoft Power BI, a BigQuery.

Para habilitar el acceso a la instancia de BigQuery, usa el Google Security Operations CLI o API de acceso a BigQuery de Google Security Operations. Puedes proporcionar una dirección de correo electrónico de un usuario o un grupo que te pertenezca. Si configurar el acceso a un grupo, usar el grupo para administrar qué miembros del equipo pueden acceder a la instancia de BigQuery.

Para conectar Looker o alguna otra herramienta de inteligencia empresarial a BigQuery, comunícate con tu representante de Google Security Operations para obtener credenciales de cuenta de servicio que te permitan conectar una aplicación al conjunto de datos de BigQuery de Google Security Operations. La cuenta de servicio tendrá el rol de visualizador de datos de BigQuery de IAM (roles/bigquery.dataViewer) y el rol de visualizador de trabajos de BigQuery (roles/bigquery.jobUser).

¿Qué sigue?