Dados das Operações de segurança do Google no BigQuery

Compatível com:

O Google Security Operations oferece um data lake gerenciado de telemetria normalizada e enriquecida com informações sobre ameaças exportando dados para o BigQuery. Isso permite que você faça seguintes:

  • Execute consultas ad hoc diretamente no BigQuery.
  • Use suas próprias ferramentas de Business Intelligence, como Looker ou Microsoft Power BI para criar painéis, relatórios e análises.
  • Junte os dados das Operações de segurança do Google a conjuntos de dados de terceiros.
  • Execute análises usando ferramentas de ciência de dados ou machine learning.
  • Gerar relatórios usando painéis padrão predefinidos e painéis personalizados.

O Google Security Operations exporta as seguintes categorias de dados para o BigQuery:

  • Registros de eventos de UDM:registros UDM criados com base em dados de registros ingeridos pelos clientes. Esses registros são enriquecidos com informações de alias.
  • Correspondências de regras (detecções): instâncias em que uma regra corresponde a um ou mais eventos.
  • Correspondências de IoC: artefatos (por exemplo, domínios, endereços IP) de eventos que correspondem aos feeds de indicadores de comprometimento (IoC). Isso inclui correspondências com resultados e feeds específicos do cliente.
  • Métricas de ingestão: incluem estatísticas, como o número de linhas de registro ingeridas, o número de eventos produzidos a partir de registros, o número de erros de registro indicando que os registros não puderam ser analisados e o estado dos encaminhadores de operações de segurança do Google. Para mais informações, consulte Esquema do BigQuery para métricas de ingestão.
  • Gráfico de entidade e relações de entidade: armazena a descrição de entidades e as relações delas com outras entidades.

Fluxo de exportação de dados

O fluxo de exportação de dados é o seguinte:

  1. Um conjunto de dados das Operações de segurança do Google, específico para um caso de uso, é exportado para um Instância do BigQuery que existe em um projeto do Google Cloud específico do cliente e é gerenciada pelo Google. Os dados de cada caso de uso são exportados para uma tabela separada. Esses dados são exportados das Operações de segurança do Google para o BigQuery em um projeto específico do cliente.
  2. Como parte da exportação, as Operações de segurança do Google criam um modelo de dados predefinido do Looker para cada caso de uso.
  3. Os painéis padrão do Google Security Operations são criados usando os modelos de dados predefinidos do Looker. É possível criar painéis personalizados nas Operações de segurança do Google usando Modelos de dados do Looker.
  4. Os clientes podem escrever consultas ad hoc sobre os dados das Operações de segurança do Google armazenados em tabelas do BigQuery.

  5. Os clientes também podem criar análises mais avançadas usando outras ferramentas de terceiros que se integram ao BigQuery.

    Exportação de dados para processamento no BigQuery

A instância do BigQuery é criada na mesma região do locatário do Google Security Operations. Uma instância do BigQuery é criada para cada ID de cliente. Os registros brutos não são exportados para o data lake das Operações de segurança do Google no BigQuery. Dados são exportada com base no preenchimento automático. À medida que os dados são ingeridos e normalizados no Google Security Operations, eles são exportados para o BigQuery. Não é possível preencher ingeridas anteriormente dados. O período de armazenamento dos dados em todas as tabelas do BigQuery é de 365 dias.

Para conexões do Looker, entre em contato com seu representante de Operações de segurança do Google para solicitar o serviço credenciais de conta que permitem conectar sua instância do Looker às Operações de segurança do Google dados no BigQuery. A conta de serviço terá permissão somente leitura.

Visão geral das tabelas

O Google Security Operations cria o conjunto de dados datalake no BigQuery e as seguintes tabelas:

  • entity_enum_value_to_name_mapping: para tipos enumerados na entity_graph, mapeia os valores numéricos para os valores de string.
  • entity_graph: armazena dados sobre entidades do UDM.
  • events: armazena dados sobre eventos do UDM.
  • ingestion_metrics: armazena estatísticas relacionadas à ingestão e à normalização de dados de origens de ingestão específicas, como encaminhadores, feeds e a API Ingestion do Google Security Operations.
  • ioc_matches: armazena correspondências de IOC encontradas em eventos do UDM.
  • job_metadata: uma tabela interna usada para rastrear a exportação de dados para no BigQuery.
  • rule_detections: armazena detecções retornadas por regras executadas nas Operações de segurança do Google.
  • rulesets: armazena informações sobre as detecções selecionadas do Google Security Operations, incluindo a categoria a que cada conjunto de regras pertence, se está ativado e o status atual do alerta.
  • udm_enum_value_to_name_mapping: para tipos enumerados nos eventos mapeia os valores numéricos para os valores de string.
  • udm_events_aggregates: armazena dados agregados resumidos por hora de eventos normalizados.

Acessar dados no BigQuery

Você pode executar consultas diretamente no BigQuery ou conectar sua própria empresa uma ferramenta de inteligência artificial, como o Looker ou o Microsoft Power BI, para o BigQuery.

Para ativar o acesso à instância do BigQuery, use o CLI do Google Security Operations ou a API BigQuery Access das Operações de segurança do Google. Você pode informar o endereço de e-mail de um usuário ou grupo que você possui. Se você configurar o acesso a um grupo, use o grupo para gerenciar quais membros da equipe podem acessar a instância do BigQuery.

Para conectar o Looker ou outra ferramenta de Business Intelligence ao BigQuery, entre em contato com seu representante de Operações de Segurança do Google para receber as credenciais da conta de serviço que permitem conectar um aplicativo ao conjunto de dados do BigQuery das Operações de segurança do Google. A conta de serviço terá a função de leitor de dados do BigQuery do IAM (roles/bigquery.dataViewer) e a função de leitor de jobs do BigQuery (roles/bigquery.jobUser).

A seguir