Dados do Google Security Operations no BigQuery

Compatível com:

O Google Security Operations oferece um data lake gerenciado de telemetria normalizada e enriquecida com informações sobre ameaças exportando dados para o BigQuery. Isso permite que você faça o seguinte:

  • Execute consultas ad hoc diretamente no BigQuery.
  • Use suas próprias ferramentas de Business Intelligence, como o Looker ou o Microsoft Power BI, para criar painéis, relatórios e análises.
  • Junte dados das Operações de segurança do Google com conjuntos de dados de terceiros.
  • Execute análises usando ferramentas de ciência de dados ou machine learning.
  • Gerar relatórios usando painéis padrão predefinidos e painéis personalizados.

O Google Security Operations exporta as seguintes categorias de dados para o BigQuery:

  • Registros de eventos da UDM:registros da UDM criados com base em dados de registro ingeridos pelos clientes. Esses registros são enriquecidos com informações de pseudônimo.
  • Correspondências de regras (detecções): instâncias em que uma regra corresponde a um ou mais eventos.
  • Correspondências de IoC: artefatos (por exemplo, domínios, endereços IP) de eventos que correspondem aos feeds de indicadores de comprometimento (IoC). Isso inclui correspondências de feeds globais e específicos do cliente.
  • Métricas de ingestão:incluem estatísticas, como o número de linhas de registro ingeridas, o número de eventos produzidos a partir de registros, o número de erros de registro indicando que os registros não puderam ser analisados e o estado dos encaminhadores de operações de segurança do Google. Para mais informações, consulte Esquema do BigQuery para métricas de ingestão.
  • Gráfico de entidades e relacionamentos de entidades: armazena a descrição de entidades e as relações delas com outras entidades.

Fluxo de exportação de dados

O fluxo de exportação de dados é o seguinte:

  1. Um conjunto de dados de operações de segurança do Google, específico para um caso de uso, é exportado para uma instância do BigQuery que existe em um projeto do Google Cloud específico do cliente e é gerenciado pelo Google. Os dados de cada caso de uso são exportados para uma tabela separada. Esses dados são exportados das Operações de segurança do Google para o BigQuery em um projeto específico do cliente.
  2. Como parte da exportação, as Operações de segurança do Google criam um modelo de dados predefinido do Looker para cada caso de uso.
  3. Os painéis padrão do Google Security Operations são criados usando os modelos de dados predefinidos do Looker. É possível criar painéis personalizados no Google Security Operations usando os modelos de dados predefinidos do Looker.
  4. Os clientes podem escrever consultas ad hoc com base nos dados das Operações de segurança do Google armazenados nas tabelas do BigQuery.

  5. Os clientes também podem criar análises mais avançadas usando outras ferramentas de terceiros integradas ao BigQuery.

    Exportação de dados para processamento no BigQuery

A instância do BigQuery é criada na mesma região do locatário do Google Security Operations. Uma instância do BigQuery é criada para cada ID do cliente. Os registros brutos não são exportados para o lago de dados do Google Security Operations no BigQuery. Os dados são exportados com base no preenchimento. À medida que os dados são ingeridos e normalizados no Google Security Operations, eles são exportados para o BigQuery. Não é possível preencher dados ingeridos anteriormente. O período de armazenamento dos dados em todas as tabelas do BigQuery é de 365 dias.

Para conexões do Looker, entre em contato com seu representante do Google Security Operations para receber as credenciais da conta de serviço que permitem conectar sua instância do Looker aos dados do Google Security Operations no BigQuery. A conta de serviço terá permissão de leitura somente.

Visão geral das tabelas

As Operações de segurança do Google criam o conjunto de dados datalake no BigQuery e as seguintes tabelas:

  • entity_enum_value_to_name_mapping: para tipos enumerados na tabela entity_graph, mapeia os valores numéricos para os valores de string.
  • entity_graph: armazena dados sobre entidades do UDM.
  • events: armazena dados sobre eventos do UDM.
  • ingestion_metrics: armazena estatísticas relacionadas à ingestão e à normalização de dados de origens de ingestão específicas, como encaminhadores, feeds e a API Ingestion do Google Security Operations.
  • ioc_matches: armazena correspondências de IOC encontradas em eventos do UDM.
  • job_metadata: uma tabela interna usada para acompanhar a exportação de dados para o BigQuery.
  • rule_detections: armazena as detecções retornadas pelas regras executadas nas operações de segurança do Google.
  • rulesets: armazena informações sobre as detecções selecionadas do Google Security Operations, incluindo a categoria a que cada conjunto de regras pertence, se está ativado e o status atual de alerta.
  • udm_enum_value_to_name_mapping: para tipos enumerados na tabela de eventos, mapeia os valores numéricos para os valores de string.
  • udm_events_aggregates: armazena dados agregados resumidos por hora de eventos normalizados.

Acessar dados no BigQuery

É possível executar consultas diretamente no BigQuery ou conectar sua própria ferramenta de inteligência de negócios, como o Looker ou o Microsoft Power BI, ao BigQuery.

Para permitir o acesso à instância do BigQuery, use a CLI do Google Security Operations ou a API BigQuery Access do Google Security Operations. Você pode informar o endereço de e-mail de um usuário ou grupo que você possui. Se você configurar o acesso a um grupo, use-o para gerenciar quais membros da equipe podem acessar a instância do BigQuery.

Para conectar o Looker ou outra ferramenta de business intelligence ao BigQuery, entre em contato com seu representante do Google Security Operations para receber as credenciais da conta de serviço que permitem conectar um aplicativo ao conjunto de dados do BigQuery do Google Security Operations. A conta de serviço terá a função de leitor de dados do BigQuery do IAM (roles/bigquery.dataViewer) e a função de leitor de jobs do BigQuery (roles/bigquery.jobUser).

A seguir