Configurar e gerenciar pipelines de tratamento de dados

Compatível com:

O recurso Pipeline de processamento de dados oferece controle robusto sobre a ingestão de dados do Google Security Operations. Com os pipelines de processamento de dados, é possível manipular os dados recebidos antes que eles sejam analisados pelas Operações de segurança do Google. Por exemplo, filtre e transforme eventos ou oculte valores sensíveis. Esse processo pode ajudar a otimizar os dados para o Google SecOps, reduzir custos, proteger informações sensíveis e melhorar a compatibilidade.

Este documento mostra como usar o console do Bindplane para configurar uma conexão com uma instância de destino do Google SecOps, criar um novo fluxo, configurar o pipeline de processamento de dados (origens e processadores), implantá-lo para iniciar o processamento de dados e visualizar origens e processadores de pipeline no console do Google SecOps. Como exemplos de casos de uso, temos:

  • Remover pares de chave-valor vazios dos registros brutos.
  • Editar dados confidenciais
  • Adicione rótulos de ingestão do conteúdo bruto do registro.
  • Em ambientes de várias instâncias, aplique rótulos de ingestão aos dados de registro de ingestão direta para indicar de qual instância de origem os dados vieram (por exemplo, Google Cloud, Workspace).
  • Filtre dados do Palo Alto Cortex por valores de campo.
  • Reduza os dados do SentinelOne por categoria.
  • Analise hosts de feeds e registros de ingestão direta no campo ingestion_source para o Cloud Monitoring.

É possível configurar pipelines de processamento de dados para fontes de dados locais e na nuvem usando o console de gerenciamento do Bindplane ou diretamente com as APIs públicas do pipeline de dados do Google SecOps.

Um pipeline de tratamento de dados consiste nos seguintes elementos:

  • Fontes: uma ou mais fontes de dados alimentam o pipeline de processamento de dados, cada uma configurada para diferentes tipos de fontes.
  • Nó de processador: um pipeline de processamento de dados tem um nó de processador que contém um ou mais processadores. Cada processador especifica uma ação a ser realizada nos dados (por exemplo, filtrar, transformar e encobrir) à medida que eles fluem pelo pipeline.
  • Destino: a instância de destino do Google SecOps é onde os dados processados são enviados.

Pré-requisitos

Se você pretende usar o console do Bindplane para gerenciar seu pipeline de processamento de dados do Google SecOps, siga estas etapas:

  1. No console do Google Security Operations, conceda ao instalador os papéis de administrador predefinidos necessários. Para mais detalhes, consulte Atribuir a função de administrador do IAM do projeto em um projeto dedicado. Em Atribuir papéis, selecione os seguintes papéis predefinidos do Identity and Access Management:
    • Administrador da API Chronicle (roles/chronicle.admin)
    • Administrador de serviço do Chronicle (roles/chroniclesm.admin)
    • Administrador do Chronicle SOAR Beta (roles/chronicle.soarAdmin)
    • Administrador de IAM do projeto (roles/resourcemanager.projectIamAdmin)
  2. Instale o console do servidor do Bindplane. Para SaaS ou no local, consulte Instalar o console do servidor Bindplane.
  3. No console do BindPlane, conecte uma instância de destino do Google SecOps à sua organização do BindPlane. Para mais detalhes, consulte Conectar-se a uma instância do Google SecOps.

Possível aumento no tempo de confirmação para streams de baixo volume

Os usuários da API Ingestion que configuram o próprio agente podem ter um aumento no tempo de confirmação para fluxos de baixo volume no pipeline de processamento de dados. O tempo médio esperado de confirmação pode aumentar de 700 ms para até 2 segundos. Nesse caso, talvez seja necessário aumentar os períodos de tempo limite e a memória. O tempo de confirmação diminui à medida que a capacidade de dados aumenta para mais de 4 MBps.

Conectar a uma instância do Google SecOps

Conecte-se a uma instância do Google SecOps, que vai servir como destino da saída dos seus pipelines de processamento de dados.

Para se conectar a uma instância do Google SecOps usando o console do Bindplane:

  1. No console do Bindplane, acesse a página Gerenciar sua organização.
  2. Acesse o card Integrações e clique em Conectar ao Google SecOps.

  3. Na janela Editar integração que é aberta, insira os detalhes da instância de destino do Google SecOps, que vai ingerir a saída dos seus pipelines de processamento de dados, da seguinte maneira:

    Campo Descrição
    Região A região da sua instância do Google SecOps. Para encontrar a instância, acesse o consoleGoogle Cloud , navegue até a página Google Security Operations e clique em Detalhes da instância.
    ID do cliente O ID de cliente da sua instância do Google SecOps. No console do Google SecOps, acesse Configurações > Perfil > Detalhes da organização.
    Google Cloud número do projeto O Google Cloud número do projeto da sua instância do Google SecOps.
    Para encontrar o número do projeto no console do Google SecOps, acesse Configurações > Perfil > Detalhes da organização.
    Credenciais Credenciais da conta de serviço para acessar as APIs do Google SecOps Data Pipeline.
    Esse é um valor JSON disponível no arquivo de credenciais da conta de serviço do Google. A conta de serviço precisa estar no mesmo projeto da sua instância do Google SecOps. Para informações sobre como criar uma conta de serviço e fazer o download do arquivo JSON, consulte Criar e excluir chaves de conta de serviço.

  4. Clique em Conectar. Se os detalhes da conexão estiverem corretos e você se conectar ao Google SecOps, espere o seguinte:

    • Os detalhes da instância do Google SecOps (criptografados) são salvos no objeto Organização.
    • Uma conexão com a instância do Google SecOps é aberta.
    • Ao se conectar pela primeira vez, você pode acessar a guia Fluxos no console do Bindplane.
    • O console do Bindplane agora mostra todos os pipelines de processamento de dados que você configurou anteriormente para essa instância usando a API. O sistema converte alguns processadores configurados usando a API em processadores do Bindplane e mostra outros no formato bruto da linguagem de transformação do OpenTelemetry (OTTL). É possível usar o console do Bindplane para editar pipelines e processadores configurados anteriormente usando a API.

  5. Depois de criar uma conexão com uma instância do Google SecOps, é possível criar um fluxo e configurar o pipeline de tratamento de dados. Para mais detalhes, consulte Configurar um pipeline de processamento de dados usando o console do Bindplane.

Configurar um pipeline de tratamento de dados usando o console do Bindplane

Com o console do Bindplane, é possível gerenciar seus pipelines de processamento de dados do Google SecOps, incluindo aqueles configurados usando a API.

Siga estas etapas para criar um novo fluxo e configurar o pipeline de processamento de dados, configurar fontes e processadores do pipeline de processamento de dados e implantar um pipeline de processamento de dados para iniciar o processamento:

  1. Criar um novo fluxo
  2. Configurar um pipeline de processamento de dados
    1. Configurar fontes
    2. Configurar processadores
  3. Implantar um pipeline de processamento de dados

Criar um novo stream

Um stream é um contêiner para configurar um pipeline de processamento de dados.
Para criar um stream, faça o seguinte:

  1. No console do Bindplane, clique na guia Fluxos para abrir a página Fluxos.
  2. Clique em Criar stream.
  3. Na janela Criar nova stream, defina o Tipo de stream como Google SecOps (padrão).
  4. Insira um Nome do stream e uma Descrição.
  5. Clique em Criar.

Configurar um pipeline de tratamento de dados

Um pipeline de tratamento de dados especifica fontes de dados para ingestão e processadores (por exemplo, filtrar, transformar ou redigir) para manipular os dados à medida que eles fluem para a instância de destino do Google SecOps.

Um card de configuração de pipeline é uma visualização do pipeline de processamento de dados em que você pode configurar as fontes de dados e o nó Processador. O nó Processor consiste em processadores que manipulam os dados à medida que eles fluem para a instância Destination do Google SecOps.

Para configurar um pipeline de processamento de dados, primeiro crie uma transmissão e faça o seguinte:

  1. No console do Bindplane, clique na guia Fluxos para abrir a página Fluxos.
  2. Selecione o fluxo em que você quer configurar o novo pipeline de tratamento de dados. O card de configuração Pipeline é aberto.

  3. Faça as configurações a seguir:

    1. Uma fonte. Consulte Configurar fontes para mais detalhes.

    2. O nó de processador:

      • Para adicionar um processador usando o console do Bindplane, consulte Configurar processadores para mais detalhes.
      • Alguns processadores personalizados permitem editar o código OTTL bruto diretamente.

  4. Depois de concluir essas configurações, consulte Lançar um pipeline de processamento de dados para começar a processar os dados.

Configurar fontes

Uma origem ingere dados de acordo com as especificações configuradas e os envia para o pipeline. Um pipeline de processamento de dados pode ter uma ou mais origens, cada uma configurada para uma fonte de dados diferente.

Para adicionar uma Origem, faça o seguinte:

  1. No card de configuração Pipeline, clique em adicionar Adicionar origem para abrir a janela Criar fonte de dados de SecOps.

  2. Na janela Criar fonte de dados de SecOps, insira detalhes para estes campos:

    Campo Descrição
    Tipo de registro Tipo de registro dos dados a serem ingeridos.
    Selecione o tipo de registro a ser ingerido. Por exemplo, "CrowdStrike Falcon (CS_EDR)".

    Observação: não é possível selecionar um tipo de registro com um ícone de aviso aviso.
    Um ícone de aviso indica que o tipo de registro já está configurado em outra origem (neste ou em outro pipeline na sua instância do Google SecOps).
    Se você quiser usar um tipo de registro em outra configuração de origem, primeiro exclua-o.
    Para encontrar a outra configuração de origem em que o tipo de registro está configurado, consulte Filtrar configurações de fluxo (pipeline).
    Método de ingestão Método de ingestão a ser usado para ingerir os dados do Tipo de registro selecionado.
    Esses métodos de ingestão foram definidos anteriormente para sua instância do Google SecOps.
    Selecione uma destas opções:
    • Todos os métodos de ingestão

      Observação: ao selecionar essa opção, você restringe as opções ao adicionar as próximas origens:
      Selecionar Todos os métodos de ingestão impede que você adicione outras origens para métodos de ingestão       específicos para esse tipo de registro.
    • Selecione um método de ingestão específico.
      Por exemplo, uma das seguintes opções: "Agente do Bindplane", "Ingestão nativa da nuvem", "Feed", "API Ingestion" ou "Workspace".
      • Observação: ao selecionar essa opção, você restringe as opções quando quiser adicionar suas próximas origens:
        Selecionar um método de ingestão específico impede que você adicione outra origem usando "Todos os métodos de ingestão" para esse Tipo de registro.
        Você ainda poderá selecionar outros métodos específicos de ingestão não configurados para esse tipo de registro.
      • Se você selecionou Feed, uma lista de Feeds vai aparecer no próximo campo para você escolher como origem da ingestão. Consulte o próximo campo.
    Feed O feed a ser usado para ingerir dados de origem.
    Se você selecionar Feed no campo Método de ingestão, o campo Feed vai mostrar uma lista de nomes de feeds (definidos anteriormente para sua instância do Google SecOps) para o Tipo de registro selecionado.
    Selecione um feed específico na lista.

    Observação: para ver uma lista dos seus feeds no console do Google SecOps, acesse Configurações > Tabela de feeds.

  3. Clique em Adicionar fonte para salvar a nova fonte de dados.

    • A nova Origem de dados agora aparece no pipeline de processamento de dados no card de configuração Pipeline.
    • Ele é conectado automaticamente ao nó Processor e ao Destination do Google SecOps.
Filtrar configurações de stream (pipeline)

A barra de pesquisa na página Streams permite filtrar seus streams (pipelines de processamento de dados) com base em vários elementos de configuração, como tipo de registro, método de ingestão e nome do feed. Use a seguinte sintaxe para filtrar: logtype:value, ingestionmethod:value e feed:value.

Por exemplo, para usar a barra de pesquisa e identificar configurações de origem que contêm um tipo de registro específico, digite logtype: na barra de pesquisa e selecione o tipo de registro na lista.

Configurar processadores

Um pipeline de processamento de dados tem um nó de processador, que contém um ou mais processadores. Cada processador manipula os dados de origem à medida que eles fluem pelo pipeline, na sequência em que os processadores aparecem no painel Processadores. O primeiro processador processa os dados de origem, e a saída resultante é processada pelo próximo processador e, em seguida, pelos processadores subsequentes.

Configure o nó do processador adicionando, removendo ou mudando a sequência de um ou mais processadores.

Para adicionar um processador, siga estas etapas:

  1. No card de configuração Pipeline, clique no nó Processador para abrir a janela Editar processadores.
    A janela Editar processadores consiste em três painéis:

    • Painel esquerdo: dados de registro de origem recebidos recentemente (antes do processamento)
    • Painel do meio: processadores e configurações
    • Painel à direita: dados de registro de resultados enviados recentemente (após o processamento)

    Se o pipeline já tiver sido lançado antes, o sistema vai mostrar os dados de registro de entrada recentes (antes do processamento) e os dados de registro de saída recentes (após o processamento) nos painéis.

  2. Para adicionar um processador, clique em Adicionar processador para mostrar a lista de processadores. Para sua conveniência, a lista de processadores é agrupada por tipo.
    Para organizar a lista de processadores, adicione seus próprios pacotes. Selecione um ou mais processadores e clique em Adicionar novos pacotes de processadores.

  3. Selecione um Processador na lista para adicionar.

  4. Configure o processador conforme necessário.

  5. Clique em Salvar para salvar a configuração do processador no nó Processador.

O sistema testa a nova configuração de processador processando uma nova amostra dos dados de registro de origem recebidos (no painel esquerdo) e mostra os dados de resultado enviados (no painel direito).

Implantar um pipeline de tratamento de dados

Depois que as configurações de origem e processador forem concluídas, implante o pipeline para começar a processar dados.

Para lançar um pipeline de processamento de dados, clique em Iniciar lançamento. Isso ativa o pipeline de tratamento de dados e permite que a infraestrutura segura do Google comece a processar os dados de acordo com a configuração do pipeline.

Se o lançamento for bem-sucedido, o número da versão da configuração do pipeline de processamento de dados será incrementado e exibido ao lado do nome do pipeline.

Para conferir o histórico de configuração, clique no link histórico ao lado do nome do pipeline de processamento de dados. As mudanças de configuração entre cada versão do pipeline de tratamento de dados são mostradas.

A seguir

É possível ver os fluxos de dados ativos no modo somente leitura no Google SecOps. Para mais detalhes, consulte Ver informações do pipeline de tratamento de dados no console do Google SecOps.

Conferir informações do pipeline de tratamento de dados no console do Google SecOps

As seções a seguir descrevem como visualizar informações do pipeline de processamento de dados no console do Google SecOps:

Ver feeds configurados

A página Feeds mostra todos os feeds que você configurou.

  1. No console do Google SecOps, acesse Configurações > Feeds. A página principal mostra todos os feeds configurados.
  2. Mantenha o ponteiro sobre cada linha para mostrar o menu ⋮ Mais. No menu, é possível conferir os detalhes, editar, desativar ou excluir o feed.
  3. Clique em Ver detalhes para abrir a janela de detalhes.
  4. Clique em Abrir no Bindplane para abrir a configuração de origem desse feed no console do Bindplane.

Ver informações do pipeline de tratamento de dados na página "Tipos de registros"

A página Tipos de registros mostra todos os tipos de registros disponíveis. Para conferir detalhes do pipeline de tratamento de dados:

  1. No console do Google SecOps, acesse Configurações > Tipos de registros. A página principal mostra todos os tipos de registros.
  2. Mantenha o ponteiro sobre cada linha para mostrar o menu ⋮ Mais. No menu, é possível conferir os detalhes do tipo de registro.
  3. Clique em Ver tratamento de dados para abrir a janela de detalhes.
  4. Clique em Abrir no Bindplane para abrir a configuração do processador no console do Bindplane.

Usar as APIs do Data Pipeline do Google SecOps

Com as APIs do pipeline de dados do Google SecOps, é possível gerenciar seus pipelines de processamento de dados. As APIs abrangem todas as funcionalidades do Data Pipeline, como criar, atualizar, excluir e listar pipelines e os feeds e tipos de registros associados a eles.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.