Configure e faça a gestão de pipelines de tratamento de dados

Compatível com:

A funcionalidade Pipeline de processamento de dados oferece um controlo robusto sobre o carregamento de dados do Google Security Operations. Os pipelines de processamento de dados permitem-lhe manipular os dados recebidos antes de serem analisados pelo Google Security Operations. Por exemplo, filtre e transforme eventos ou oculte valores confidenciais. Este processo pode ajudar a otimizar os dados para o Google SecOps, reduzir os custos, proteger informações confidenciais e melhorar a compatibilidade.

Este documento mostra como usar a consola do Bindplane para configurar uma ligação a uma instância de destino do Google SecOps, criar uma nova stream, configurar o pipeline de processamento de dados (origens e processadores), implementá-lo para iniciar o processamento de dados e ver as origens e os processadores do pipeline na consola do Google SecOps. Seguem-se alguns exemplos de utilização:

  • Remova pares de chave-valor vazios dos registos não processados.
  • Oculte dados confidenciais.
  • Adicione etiquetas de carregamento a partir do conteúdo do registo não processado.
  • Em ambientes com várias instâncias, aplique etiquetas de carregamento aos dados de registo de carregamento direto para indicar de que instância de origem os dados provêm (por exemplo, Google Cloud, Workspace).
  • Filtre os dados do Palo Alto Cortex por valores de campos.
  • Reduza os dados do SentinelOne por categoria.
  • Analise os anfitriões a partir de feeds e registos de carregamento direto no campo ingestion_source para o Cloud Monitoring.

Pode configurar pipelines de processamento de dados para origens de dados no local e na nuvem, usando a consola de gestão do Bindplane ou diretamente as APIs Google SecOps Data Pipeline públicas.

Um pipeline de processamento de dados é composto pelos seguintes elementos:

  • Origens: uma ou mais origens de dados introduzem dados no pipeline de processamento de dados, cada uma configurada para diferentes tipos de origens de dados.
  • Nó de processamento: um pipeline de processamento de dados tem um nó de processamento que contém um ou mais processadores. Cada processador especifica uma ação a realizar nos dados (por exemplo, filtrar, transformar e ocultar) à medida que fluem através do pipeline.
  • Destino: a instância de destino do Google SecOps é onde os dados processados são enviados.

Pré-requisitos

Se pretender usar a consola do Bindplane para gerir o seu pipeline de processamento de dados do Google SecOps, siga os passos abaixo:

  1. Na consola do Google Security Operations, conceda ao instalador as funções de administrador predefinidas necessárias. Para obter detalhes, consulte o artigo Atribua a função de administrador de IAM do projeto num projeto dedicado. Em Atribuir funções, selecione as seguintes funções predefinidas de gestão de identidade e acesso:
    • Administrador da API Chronicle (roles/chronicle.admin)
    • Administrador do serviço Chronicle (roles/chroniclesm.admin)
    • Chronicle SOAR Admin Beta (roles/chronicle.soarAdmin)
    • Administrador de IAM do projeto (roles/resourcemanager.projectIamAdmin)
  2. Instale a consola do servidor Bindplane. Para SaaS ou no local, consulte o artigo Instale a consola do servidor Bindplane.
  3. Na consola do Bindplane, associe uma instância de destino do Google SecOps à sua organização do Bindplane. Para mais detalhes, consulte o artigo Estabeleça ligação a uma instância do Google SecOps.

Potencial aumento do tempo de confirmação para streams de baixo volume

Os utilizadores da API Ingestion que configuram o seu próprio agente podem sentir um potencial aumento no tempo de confirmação para streams de baixo volume no pipeline de processamento de dados. O tempo de confirmação esperado médio pode aumentar de 700 ms para até 2 segundos. Nesse caso, pode ter de aumentar os períodos de limite de tempo e a memória em conformidade. O tempo de confirmação deve diminuir à medida que o débito de dados aumenta para mais de 4 MBps.

Associe-se a uma instância do Google SecOps

Estabelecer ligação a uma instância do Google SecOps, que vai servir como destino para o resultado dos seus pipelines de processamento de dados.

Para estabelecer ligação a uma instância do Google SecOps através da consola do Bindplane:

  1. Na consola do Bindplane, aceda à página Faça a gestão da sua organização.
  2. Aceda ao cartão Integrações e clique em Associar ao Google SecOps.

  3. Na janela Editar integração apresentada, introduza os detalhes da instância de destino do Google SecOps, que vai carregar o resultado dos seus pipelines de processamento de dados, da seguinte forma:

    Campo Descrição
    Região A região da sua instância do Google SecOps. Para encontrar a instância, aceda à Google Cloud consola, navegue para a página Google Security Operations e clique em Detalhes da instância.
    ID de cliente O ID de cliente da sua instância do Google SecOps. Na consola do Google SecOps, aceda a Definições > Perfil > Detalhes da organização.
    Google Cloud número do projeto O Google Cloud número do projeto da sua instância do Google SecOps.
    Para encontrar o número do projeto na consola do Google SecOps, aceda a Definições > Perfil > Detalhes da organização.
    Credenciais Credenciais da conta de serviço para aceder às APIs Google SecOps Data Pipeline.
    Este é um valor JSON disponível no ficheiro de credenciais da conta de serviço Google. A conta de serviço tem de estar no mesmo projeto que a sua instância do Google SecOps. Para obter informações sobre como criar uma conta de serviço e transferir o ficheiro JSON, consulte o artigo Crie e elimine chaves de contas de serviço.

  4. Clique em Ligar. Se os detalhes da ligação estiverem corretos e se ligar com êxito ao Google SecOps, pode esperar o seguinte:

    • Os detalhes da instância do Google SecOps (encriptados) são guardados no objeto da sua organização.
    • É aberta uma ligação à instância do Google SecOps.
    • Quando se liga pela primeira vez, pode ver o separador Streams na consola do Bindplane.
    • A consola Bindplane apresenta agora todos os pipelines de processamento de dados que configurou anteriormente para esta instância através da API. O sistema converte alguns processadores que configurou através da API em processadores do Bindplane e apresenta outros no respetivo formato bruto de linguagem de transformação OpenTelemetry (OTTL). Pode usar a consola do Bindplane para editar pipelines e processadores configurados anteriormente através da API.

  5. Depois de criar com êxito uma ligação a uma instância do Google SecOps, pode criar uma stream e configurar o pipeline de processamento de dados. Para ver detalhes, consulte o artigo Configure um pipeline de processamento de dados através da consola do Bindplane.

Configure um pipeline de tratamento de dados através da consola do Bindplane

Através da consola do Bindplane, pode gerir os seus pipelines de processamento de dados do Google SecOps, incluindo pipelines configurados através da API.

Siga estes passos para criar uma nova stream e configurar o pipeline de tratamento de dados, configurar origens e processadores do pipeline de tratamento de dados e implementar um pipeline de tratamento de dados para iniciar o tratamento de dados:

  1. Crie uma nova stream
  2. Configure um pipeline de processamento de dados
    1. Configure origens
    2. Configure processadores
  3. Implemente um pipeline de processamento de dados

Crie uma nova stream

Uma stream é um contentor para configurar um pipeline de tratamento de dados.
Para criar um novo stream, faça o seguinte:

  1. Na consola do Bindplane, clique no separador Streams para abrir a página Streams.
  2. Clique em Criar stream.
  3. Na janela Criar nova stream, defina o Tipo de stream como Google SecOps (predefinição).
  4. Introduza um Nome da stream e uma Descrição.
  5. Clique em Criar.

Configure um pipeline de processamento de dados

Um pipeline de processamento de dados especifica origens de dados a ingerir e processadores (por exemplo, filtrar, transformar ou ocultar) para manipular os dados à medida que fluem para a instância de destino do Google SecOps.

Um cartão de configuração do pipeline é uma visualização do pipeline de processamento de dados onde pode configurar as origens de dados e o nó do processador. O nó Processador consiste em processadores que manipulam os dados à medida que fluem para a instância de Destino do Google SecOps.

Para configurar um pipeline de processamento de dados, primeiro crie uma nova stream e, em seguida, faça o seguinte:

  1. Na consola do Bindplane, clique no separador Streams para abrir a página Streams.
  2. Selecione a stream onde quer configurar o novo pipeline de tratamento de dados. É aberto o cartão de configuração Pipeline.

  3. Configure o seguinte:

    1. Uma fonte. Consulte o artigo Configure origens para ver detalhes.

    2. O nó do processador:

      • Para adicionar um processador através da consola do Bindplane, consulte Configure processadores para ver detalhes.
      • Alguns processadores personalizados permitem-lhe editar diretamente o respetivo código OTTL não processado.

  4. Quando estas configurações estiverem concluídas, consulte o artigo Implemente um pipeline de processamento de dados para começar a processar os dados.

Configure origens

Uma origem carrega dados de acordo com as respetivas especificações configuradas e envia-os para o pipeline. Um pipeline de processamento de dados pode ter uma ou mais origens, cada uma configurada para uma origem de dados diferente.

Para adicionar uma Origem, faça o seguinte:

  1. No cartão de configuração Pipeline, clique em adicionar Adicionar origem para abrir a janela Criar origem de dados do SecOps.

  2. Na janela Criar origem de dados do SecOps, introduza os detalhes destes campos:

    Campo Descrição
    Tipo de registo Tipo de registo dos dados a carregar.
    Selecione o tipo de registo a carregar. Por exemplo, "CrowdStrike Falcon (CS_EDR)".

    Nota: não pode selecionar um tipo de registo com um ícone de aviso aviso.
    Um ícone de aviso indica que o tipo de registo já está configurado noutra origem (neste pipeline ou noutro pipeline na sua instância do Google SecOps).
    Se quiser usar esse tipo de registo, tem de o eliminar primeiro da outra configuração de origem.
    Para encontrar a outra configuração de origem onde o tipo de registo está configurado, consulte o artigo Filtrar configurações de streams (pipeline).
    Método de carregamento Método de carregamento a usar para carregar os dados para o Tipo de registo selecionado.
    Estes métodos de carregamento foram definidos anteriormente para a sua instância do Google SecOps.
    Selecione uma das seguintes opções:
    • Todos os métodos de carregamento

      Tenha em atenção que a seleção desta opção restringe as suas opções quando adicionar as origens seguintes:
      Se selecionar Todos os métodos de carregamento, não pode adicionar outras origens para métodos de carregamento específicos para este tipo de registo.
    • Selecione um método de carregamento específico.
      Por exemplo, uma das seguintes opções: "Agente Bindplane", "Carregamento nativo da nuvem", "Feed", "API de carregamento" ou "Workspace".
      • Tenha em atenção que a seleção desta opção restringe as suas opções quando quiser adicionar as suas próximas fontes:
        Se selecionar um método de carregamento específico, não pode adicionar outra fonte através de "Todos os métodos de carregamento" para este tipo de registo.
        Ainda pode selecionar outros métodos de carregamento específicos não configurados para este tipo de registo.
      • Se selecionou Feed, é apresentada uma lista de Feeds no campo seguinte para selecionar como origem da carregamento. (Consulte o campo seguinte.)
    Feed O feed a usar para carregar dados de origem.
    Se selecionar Feed no campo Método de carregamento, o campo Feed apresenta uma lista de nomes de feeds (definidos anteriormente para a sua instância do Google SecOps) para o Tipo de registo selecionado.
    Selecione um feed específico na lista.

    Nota: para ver uma lista dos seus feeds na consola do Google SecOps, aceda a Definições > Tabela de feeds.

  3. Clique em Adicionar origem para guardar a nova origem de dados.

    • A nova origem de dados é agora apresentada no pipeline de processamento de dados no cartão de configuração Pipeline.
    • Está automaticamente ligado ao nó Processor e ao Destination do Google SecOps.
Configurações de streams de filtros (pipeline)

A barra de pesquisa na página Streams permite-lhe filtrar as suas streams (pipelines de processamento de dados) com base em vários elementos de configuração, por exemplo, o tipo de registo, o método de carregamento e o nome do feed. Pode usar a seguinte sintaxe para filtrar: logtype:value, ingestionmethod:value e feed:value.

Por exemplo, para usar a barra de pesquisa para identificar configurações de origem que contenham um tipo de registo específico, introduza logtype: na barra de pesquisa e selecione o tipo de registo na lista.

Configure processadores

Um pipeline de processamento de dados tem um nó de processador, que contém um ou mais processadores. Cada processador manipula os dados de origem à medida que fluem pelo pipeline, na sequência em que os processadores aparecem no painel Processadores. O primeiro processador processa os dados de origem e, em seguida, o resultado é processado pelo processador seguinte e, depois, pelos processadores subsequentes.

Configure o nó do processador adicionando, removendo ou alterando a sequência de um ou mais processadores.

Para adicionar um processador, siga estes passos:

  1. No cartão de configuração Pipeline, clique no nó Processador para abrir a janela Editar processadores.
    A janela Editar processadores é composta por três painéis:

    • Painel do lado esquerdo: dados de registo de origem recebidos recentemente (antes do processamento)
    • Painel central: processadores e respetivas configurações
    • Painel direito: dados de registo de resultados enviados recentes (após o processamento)

    Se o pipeline tiver sido implementado anteriormente, o sistema mostra os dados de registo recebidos recentes (antes do processamento) e os dados de registo enviados recentes (após o processamento) nos painéis.

  2. Para adicionar um processador, clique em Adicionar processador para apresentar a lista de processadores. Para sua conveniência, a lista de processadores está agrupada por tipo de processador.
    (Para organizar a lista de processadores, pode adicionar os seus próprios conjuntos selecionando um ou mais processadores e clicando em Adicionar novos conjuntos de processadores.)

  3. Selecione um Processador para adicionar a partir da lista.

  4. Configure o processador conforme necessário.

  5. Clique em Guardar para guardar a configuração do processador no nó Processador.

O sistema testa a nova configuração do processador processando uma nova amostra dos dados de registo de origem recebidos (no painel esquerdo) e apresenta os dados de resultados enviados (no painel direito).

Implemente um pipeline de tratamento de dados

Assim que as configurações da origem e do processador estiverem concluídas, implemente o pipeline para começar a processar dados.

Para implementar um pipeline de processamento de dados, clique em Iniciar implementação. Isto ativa o pipeline de tratamento de dados e permite que a infraestrutura segura da Google comece a tratar os dados de acordo com a configuração do pipeline de tratamento de dados.

Se a implementação for bem-sucedida, o número da versão da configuração do pipeline de tratamento de dados é incrementado e apresentado junto ao nome do pipeline de tratamento de dados.

Para ver o histórico de configuração, clique no link histórico junto ao nome do pipeline de processamento de dados. São apresentadas as alterações de configuração entre cada versão do pipeline de processamento de dados.

O que se segue?

Pode ver streams de dados ativas num modo só de visualização a partir do Google SecOps. Para mais detalhes, consulte o artigo Veja informações sobre a pipeline de tratamento de dados na consola do Google SecOps.

Veja informações da pipeline de tratamento de dados na consola do Google SecOps

As secções seguintes descrevem como ver informações da pipeline de tratamento de dados na consola do Google SecOps:

Veja os feeds configurados

A página Feeds mostra todos os feeds que configurou.

  1. Na consola do Google SecOps, aceda a Definições > Feeds. A página principal apresenta todos os seus feeds configurados.
  2. Passe o cursor do rato sobre cada linha para apresentar o menu ⋮ Mais. No menu, pode ver os detalhes do feed, editar, desativar ou eliminar o feed.
  3. Clique em Ver detalhes para ver a janela de detalhes.
  4. Clique em Abrir no Bindplane para abrir a configuração da origem para esse feed na consola do Bindplane.

Veja informações sobre o pipeline de tratamento de dados na página Tipos de registos

A página Logtypes mostra todos os tipos de registos disponíveis. Para ver os detalhes da pipeline de tratamento de dados:

  1. Na consola do Google SecOps, aceda a Definições > Tipos de registos. A página principal apresenta todos os tipos de registos.
  2. Passe o cursor do rato sobre cada linha para apresentar o menu ⋮ Mais. No menu, pode ver os detalhes do tipo de registo.
  3. Clique em Ver processamento de dados para ver a janela de detalhes.
  4. Clique em Abrir no Bindplane para abrir a configuração do processador para esse processador na consola do Bindplane.

Use as APIs Google SecOps Data Pipeline

As APIs Google SecOps Data Pipeline permitem-lhe gerir os seus pipelines de tratamento de dados. As APIs abrangem toda a funcionalidade do pipeline de dados, como a criação, a atualização, a eliminação e a listagem de pipelines e os tipos de registos e feeds associados nos mesmos.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais da Google SecOps.