Dados das Operações de segurança do Google no BigQuery

O Google Security Operations fornece um data lake gerenciado de telemetria normalizada e enriquecida com inteligência contra ameaças, exportando dados para o BigQuery. Isso permite que você faça o seguinte:

  • Execute consultas ad hoc diretamente no BigQuery.
  • Use suas próprias ferramentas de Business Intelligence, como o Looker ou o Microsoft Power BI, para criar painéis, relatórios e análises.
  • Combine os dados das Operações de segurança do Google com conjuntos de dados de terceiros.
  • Execute análises usando ferramentas de ciência de dados ou machine learning.
  • Gere relatórios usando painéis padrão predefinidos e painéis personalizados.

O Google Security Operations exporta as seguintes categorias de dados para o BigQuery:

  • Registros de eventos de UDM:registros UDM criados com base em dados de registros ingeridos pelos clientes. Esses registros são enriquecidos com informações de alias.
  • Correspondências de regras (detecções): instâncias em que uma regra corresponde a um ou mais eventos.
  • Correspondências de IoC: artefatos (por exemplo, domínios, endereços IP) de eventos que correspondem a feeds de Indicador de Comprometimento (IoC). Isso inclui correspondências de feeds globais e específicos de clientes.
  • Métricas de ingestão:incluem estatísticas, como número de linhas de registro ingeridas, número de eventos produzidos a partir de registros, número de erros de registro indicando que os registros não puderam ser analisados e o estado dos encaminhadores do Google Security Operations. Para mais informações, consulte Esquema do BigQuery de métricas de ingestão.
  • Gráfico de entidade e relações de entidade: armazena a descrição de entidades e as relações delas com outras entidades.

Fluxo de exportação de dados

O fluxo de exportação de dados é o seguinte:

  1. Um conjunto de dados do Google Security Operations, específico para um caso de uso, é exportado para uma instância do BigQuery que existe em um projeto do Google Cloud específico do cliente e é gerenciado pelo Google. Os dados de cada caso de uso são exportados para uma tabela separada. Eles são exportados das Operações de segurança do Google para o BigQuery em um projeto específico do cliente.
  2. Como parte da exportação, as Operações de segurança do Google criam um modelo de dados predefinido do Looker para cada caso de uso.
  3. Os painéis padrão do Google Security Operations são criados usando os modelos de dados predefinidos do Looker. É possível criar painéis personalizados nas Operações de segurança do Google usando os modelos de dados predefinidos do Looker.
  4. Os clientes podem gravar consultas ad hoc nos dados das operações de segurança do Google armazenados nas tabelas do BigQuery.

  5. Os clientes também podem criar análises mais avançadas usando outras ferramentas de terceiros que se integram ao BigQuery.

    Exportação de dados para processamento no BigQuery

A instância do BigQuery é criada na mesma região que o locatário do Google Security Operations. Uma instância do BigQuery é criada para cada ID de cliente. Os registros brutos não são exportados para o data lake das Operações de segurança do Google no BigQuery. Os dados são exportados com base no preenchimento. À medida que os dados são ingeridos e normalizados no Google Security Operations, eles são exportados para o BigQuery. Não é possível preencher dados ingeridos anteriormente. O período de armazenamento dos dados em todas as tabelas do BigQuery é de 180 dias.

Para conexões do Looker, entre em contato com o representante de operações de segurança do Google para receber as credenciais da conta de serviço que permitem conectar sua instância do Looker aos dados das operações de segurança do Google no BigQuery. A conta de serviço terá permissão somente leitura.

Visão geral das tabelas

O Google Security Operations cria o conjunto de dados datalake no BigQuery e as seguintes tabelas:

  • entity_enum_value_to_name_mapping: para tipos enumerados na tabela entity_graph, mapeia os valores numéricos para os valores de string.
  • entity_graph: armazena dados sobre entidades de UDM.
  • events: armazena dados sobre eventos de UDM.
  • ingestion_metrics: armazena estatísticas relacionadas à ingestão e normalização de dados de fontes de ingestão específicas, como encaminhadores do Google Security Operations, feeds e a API Ingestion.
  • ioc_matches: armazena correspondências de IOC encontradas em eventos de UDM.
  • job_metadata: uma tabela interna usada para rastrear a exportação de dados para o BigQuery.
  • rule_detections: armazena detecções retornadas por regras executadas nas Operações de segurança do Google.
  • rulesets: armazena informações sobre as detecções selecionadas das Operações de segurança do Google, incluindo a categoria a que cada conjunto de regras pertence, se ele está ativado e o status de alerta atual.
  • udm_enum_value_to_name_mapping: para tipos enumerados na tabela de eventos, mapeia os valores numéricos para os valores de string.
  • udm_events_aggregates: armazena dados agregados resumidos por hora de eventos normalizados.

Acessar dados no BigQuery

É possível executar consultas diretamente no BigQuery ou conectar sua própria ferramenta de Business Intelligence, como o Looker ou o Microsoft Power BI, ao BigQuery.

Para ativar o acesso à instância do BigQuery, use a CLI do Google Security Operations ou a API BigQuery Access do Google Security Operations. Você pode fornecer um endereço de e-mail para um usuário ou grupo de sua propriedade. Se você configurar o acesso a um grupo, use o grupo para gerenciar quais membros da equipe podem acessar a instância do BigQuery.

Para conectar o Looker ou outra ferramenta de Business Intelligence ao BigQuery, entre em contato com seu representante de Google Security Operations para receber credenciais de conta de serviço que permitam conectar um aplicativo ao conjunto de dados do BigQuery do Google Security Operations. A conta de serviço terá o papel de Leitor de dados do BigQuery do IAM (roles/bigquery.dataViewer) e de Leitor de jobs do BigQuery (roles/bigquery.jobUser).

A seguir