Configurare e gestire le pipeline di elaborazione dati

Supportato in:

La funzionalità Pipeline di elaborazione dei dati offre un controllo efficace sull'importazione dati di Google Security Operations. Le pipeline di elaborazione dei dati ti consentono di manipolare i dati in entrata prima che vengano analizzati da Google Security Operations. Ad esempio, filtra e trasforma gli eventi o oscurane i valori sensibili. Questo processo può contribuire a ottimizzare i dati per Google SecOps, ridurre i costi, proteggere le informazioni sensibili e migliorare la compatibilità.

Questo documento mostra come utilizzare la console Bindplane per configurare una connessione a un'istanza di destinazione Google SecOps, creare un nuovo stream, configurare la pipeline di elaborazione dei dati (origini e processori), eseguirne il deployment per avviare l'elaborazione dei dati e visualizzare le origini e i processori della pipeline nella console Google SecOps. Esempi di casi d'uso:

  • Rimuovi le coppie chiave-valore vuote dai log non elaborati.
  • Oscura i dati sensibili.
  • Aggiungi etichette di importazione dai contenuti dei log non elaborati.
  • Negli ambienti multi-istanza, applica etichette di importazione ai dati di log di importazione diretta per indicare l'istanza di origine da cui provengono i dati (ad esempio, Google Cloud, Workspace).
  • Filtra i dati di Palo Alto Cortex in base ai valori dei campi.
  • Ridurre i dati di SentinelOne per categoria.
  • Analizza gli host dai feed e dai log di importazione diretta nel campo ingestion_source per Cloud Monitoring.

Puoi configurare pipeline di elaborazione dei dati per origini dati on-premise e cloud utilizzando la console di gestione Bindplane o direttamente le API Google SecOps Data Pipeline pubbliche.

Una pipeline di elaborazione dati è costituita dai seguenti elementi:

  • Origini: una o più origini dati inseriscono i dati nella pipeline di elaborazione dei dati, ognuna configurata per diversi tipi di origini dati.
  • Nodo del processore: una pipeline di trattamento dei dati ha un nodo del processore che contiene uno o più processori. Ogni processore specifica un'azione da eseguire sui dati (ad esempio, filtrare, trasformare e oscurare) mentre scorrono nella pipeline.
  • Destinazione: l'istanza di destinazione Google SecOps è dove vengono inviati i dati elaborati.

Prerequisiti

Se intendi utilizzare la console Bindplane per gestire la pipeline di elaborazione dei dati di Google SecOps, segui questi passaggi:

  1. Nella console Google Security Operations, concedi all'installatore i ruoli amministratore predefiniti richiesti. Per maggiori dettagli, vedi Assegnare il ruolo Amministratore IAM progetto in un progetto dedicato. Nella sezione Assegna ruoli, seleziona i seguenti ruoli Identity and Access Management predefiniti:
    • Chronicle API Admin (roles/chronicle.admin)
    • Amministratore del servizio Chronicle (roles/chroniclesm.admin)
    • Chronicle SOAR Admin Beta (roles/chronicle.soarAdmin)
    • Project IAM Admin (roles/resourcemanager.projectIamAdmin)
  2. Installa la console Bindplane Server. Per SaaS o on-premise, vedi Installare la console Bindplane Server.
  3. Nella console Bindplane, collega un'istanza di destinazione Google SecOps alla tua organizzazione Bindplane. Per maggiori dettagli, vedi Connettersi a un'istanza Google SecOps.

Potenziale aumento del tempo di riconoscimento per i flussi a basso volume

Gli utenti dell'API Ingestion che configurano il proprio agente potrebbero riscontrare un potenziale aumento del tempo di riconoscimento per i flussi a basso volume nella pipeline di elaborazione dei dati. Il tempo di riconoscimento medio previsto potrebbe aumentare da 700 ms fino a 2 secondi. In questo caso, potrebbe essere necessario aumentare i periodi di timeout e la memoria di conseguenza. Il tempo di riconoscimento dovrebbe diminuire man mano che il throughput dei dati aumenta fino a superare i 4 MBps.

Connettiti a un'istanza Google SecOps

Connettiti a un'istanza Google SecOps, che fungerà da destinazione per l'output delle pipeline di trattamento dati.

Per connetterti a un'istanza Google SecOps utilizzando la console Bindplane:

  1. Nella console Bindplane, vai alla pagina Gestisci la tua organizzazione.
  2. Vai alla scheda Integrazioni e fai clic su Connetti a Google SecOps.

  3. Nella finestra Modifica integrazione che si apre, inserisci i dettagli dell'istanza di destinazione Google SecOps, che importerà l'output delle pipeline di trattamento dei dati, nel seguente modo:

    Campo Descrizione
    Regione La regione dell'istanza Google SecOps. Per trovare l'istanza, vai alla Google Cloud console, vai alla pagina Google Security Operations e fai clic su Dettagli istanza.
    ID cliente L'ID cliente della tua istanza Google SecOps. Nella console Google SecOps, vai a Impostazioni > Profilo > Dettagli organizzazione.
    Google Cloud Numero progetto Il Google Cloud numero di progetto della tua istanza di Google SecOps.
    Per trovare il numero di progetto nella console Google SecOps, vai a Impostazioni > Profilo > Dettagli organizzazione.
    Credenziali Credenziali per l'account di servizio per accedere alle API Google SecOps Data Pipeline.
    Questo è un valore JSON disponibile nel file delle credenziali dell'account di servizio Google. Il account di servizio deve trovarsi nello stesso progetto dell'istanza Google SecOps. Per informazioni su come creare un account di servizio e scaricare il file JSON, vedi Creare ed eliminare le account di servizio account.

  4. Fai clic su Connetti. Se i dettagli della connessione sono corretti e la connessione a Google SecOps è riuscita, puoi aspettarti quanto segue:

    • I dettagli dell'istanza Google SecOps (criptati) vengono salvati nell'oggetto Organizzazione.
    • Viene aperta una connessione all'istanza Google SecOps.
    • Quando ti connetti per la prima volta, puoi visualizzare la scheda Stream nella console Bindplane.
    • La console Bindplane ora mostra tutte le pipeline di elaborazione dei dati che hai configurato in precedenza per questa istanza utilizzando l'API. Il sistema converte alcuni processori configurati utilizzando l'API in processori Bindplane e ne visualizza altri nel formato OTTL (OpenTelemetry Transformation Language) non elaborato. Puoi utilizzare la console Bindplane per modificare le pipeline e i processori configurati in precedenza utilizzando l'API.

  5. Dopo aver creato correttamente una connessione a un'istanza Google SecOps, puoi creare uno stream e configurare la pipeline di elaborazione dei dati. Per maggiori dettagli, vedi Configurare una pipeline di elaborazione dei dati utilizzando la console Bindplane.

Configura una pipeline di elaborazione dei dati utilizzando la console Bindplane

Utilizzando la console Bindplane, puoi gestire le pipeline di trattamento dei dati di Google SecOps, incluse quelle configurate utilizzando l'API.

Segui questi passaggi per creare un nuovo stream e configurare la pipeline di elaborazione dei dati, configurare le origini e i processori della pipeline di elaborazione dei dati e implementare una pipeline di elaborazione dei dati per avviare l'elaborazione dei dati:

  1. Creare un nuovo stream
  2. Configura una pipeline di elaborazione dati
    1. Configurare le origini
    2. Configurare i processori
  3. Implementare una pipeline di elaborazione dati

Crea un nuovo stream

Uno stream è un contenitore in cui configurare una pipeline di elaborazione dei dati.
Per creare un nuovo stream:

  1. Nella console Bindplane, fai clic sulla scheda Stream per aprire la pagina Stream.
  2. Fai clic su Crea stream.
  3. Nella finestra Crea nuovo stream, imposta Tipo di stream su Google SecOps (impostazione predefinita).
  4. Inserisci un nome dello stream e una descrizione.
  5. Fai clic su Crea.

Configura una pipeline di elaborazione dei dati

Una pipeline di trattamento dei dati specifica le origini dei dati da importare e i processori (ad esempio, filtro, trasformazione o oscuramento) per manipolare i dati mentre vengono trasferiti all'istanza destinazione di Google SecOps.

Una scheda di configurazione Pipeline è una visualizzazione della pipeline di elaborazione dei dati in cui puoi configurare i nodi Origini e Processore. Il nodo Processore è costituito da processori che manipolano i dati mentre vengono inviati all'istanza Destinazione di Google SecOps.

Per configurare una pipeline di elaborazione dei dati, prima crea un nuovo stream, poi procedi nel seguente modo:

  1. Nella console Bindplane, fai clic sulla scheda Stream per aprire la pagina Stream.
  2. Seleziona lo stream in cui vuoi configurare la nuova pipeline di trattamento dati. Si apre la scheda di configurazione Pipeline.

  3. Configura quanto segue:

    1. Una fonte. Per maggiori dettagli, consulta Configurare le origini.

    2. Il nodo del processore:

      • Per aggiungere un processore utilizzando la console Bindplane, consulta Configurare i processori per maggiori dettagli.
      • Alcuni processori personalizzati ti consentono di modificare direttamente il codice OTTL non elaborato.

  4. Una volta completate queste configurazioni, consulta Implementare una pipeline di trattamento dei dati per iniziare a elaborare i dati.

Configurare le origini

Un'origine acquisisce i dati in base alle specifiche configurate e li inserisce nella pipeline. Una pipeline di elaborazione dei dati può avere una o più origini, ognuna configurata per un'origine dati diversa.

Per aggiungere una Fonte:

  1. Nella scheda di configurazione Pipeline, fai clic su Aggiungi Aggiungi origine per aprire la finestra Crea origine dati SecOps.

  2. Nella finestra Crea origine dati SecOps, inserisci i dettagli per questi campi:

    Campo Descrizione
    Tipo di log Tipo di log dei dati da importare.
    Seleziona il tipo di log da importare. Ad esempio, "CrowdStrike Falcon (CS_EDR)".

    Nota: non puoi selezionare un tipo di log con un'icona di avviso avviso.
    Un'icona di avviso indica che il tipo di log è già configurato in un'altra origine (in questa pipeline o in un'altra pipeline nell'istanza Google SecOps).
    Se vuoi utilizzare questo tipo di log, devi prima eliminarlo dall'altra configurazione della sorgente.
    Per trovare l'altra configurazione dell'origine in cui è configurato il tipo di log, vedi Filtrare le configurazioni di stream (pipeline).
    Metodo di importazione Metodo di importazione da utilizzare per importare i dati per il Tipo di log selezionato.
    Questi metodi di importazione sono stati definiti in precedenza per la tua istanza Google SecOps.
    Seleziona una delle seguenti opzioni:
    • Tutti i metodi di importazione

      Nota: la selezione di questa opzione limita le opzioni quando aggiungi le origini successive:
      Se selezioni Tutti i metodi di importazione, non potrai aggiungere altre origini per metodi di importazione specifici per questo tipo di log.
    • Seleziona un metodo di importazione specifico.
      Ad esempio, uno dei seguenti: "Bindplane Agent", "Cloud Native Ingestion", "Feed", "Ingestion API" o "Workspace".
      • Tieni presente che la selezione di questa opzione restringe le opzioni quando vuoi aggiungere le origini successive:
        La selezione di un metodo di importazione specifico ti impedirà di aggiungere un'altra origine utilizzando "Tutti i metodi di importazione" per questo tipo di log.
        Potrai comunque selezionare altri metodi di importazione specifici non configurati per questo tipo di log.
      • Se hai selezionato Feed, nel campo successivo viene visualizzato un elenco di Feed da cui scegliere l'origine dell'importazione. (Vedi il campo successivo.)
    Feed Il feed da utilizzare per importare i dati di origine.
    Se selezioni Feed nel campo Metodo di importazione, il campo Feed mostra un elenco di nomi di feed (definiti in precedenza per l'istanza Google SecOps) per il Tipo di log selezionato.
    Seleziona un feed specifico dall'elenco.

    Nota: per visualizzare un elenco dei tuoi feed nella console Google SecOps, vai a Impostazioni > Tabella dei feed.

  3. Fai clic su Aggiungi origine per salvare la nuova origine dati.

    • La nuova origine dati viene ora visualizzata nella pipeline di elaborazione dei dati nella scheda di configurazione Pipeline.
    • È connesso automaticamente al nodo Processor e alla destinazione Google SecOps.
Configurazioni di stream di filtri (pipeline)

La barra di ricerca nella pagina Stream ti consente di filtrare gli stream (pipeline di elaborazione dati) in base a più elementi di configurazione, ad esempio tipo di log, metodo di importazione e nome feed. Puoi utilizzare la seguente sintassi per filtrare: logtype:value, ingestionmethod:value e feed:value.

Ad esempio, per utilizzare la barra di ricerca per identificare le configurazioni di origine contenenti un tipo di log specifico, inserisci logtype: nella barra di ricerca e seleziona il tipo di log dall'elenco.

Configurare i processori

Una pipeline di trattamento dei dati ha un nodo Processor, contenente uno o più processori. Ogni processore manipola i dati di origine mentre scorrono nella pipeline, nella sequenza in cui i processori vengono visualizzati nel riquadro Processori. Il primo processore elabora i dati di origine, quindi l'output risultante viene elaborato dal processore successivo e poi dai processori successivi.

Configura il nodo del processore aggiungendo, rimuovendo o modificando la sequenza di uno o più processori.

Per aggiungere un responsabile del trattamento:

  1. Nella scheda di configurazione Pipeline, fai clic sul nodo Processore per aprire la finestra Modifica processori.
    La finestra Modifica processori è composta da tre riquadri:

    • Riquadro a sinistra: dati di log di origine in entrata recenti (prima dell'elaborazione)
    • Riquadro centrale: processori e relative configurazioni
    • Riquadro di destra: dati di log dei risultati in uscita recenti (dopo l'elaborazione)

    Se la pipeline è già stata implementata, il sistema mostra i dati di log in entrata recenti (prima dell'elaborazione) e i dati di log in uscita recenti (dopo l'elaborazione) nei riquadri.

  2. Per aggiungere un processore, fai clic su Aggiungi processore per visualizzare l'elenco dei processori. Per comodità, l'elenco dei processori è raggruppato per tipo di processore.
    (Per organizzare l'elenco dei processori, puoi aggiungere i tuoi bundle selezionando uno o più processori e facendo clic su Aggiungi nuovi bundle di processori.)

  3. Seleziona un processore da aggiungere dall'elenco.

  4. Configura il processore in base alle esigenze.

  5. Fai clic su Salva per salvare la configurazione del processore nel nodo Processore.

Il sistema testa la nuova configurazione del processore elaborando un nuovo campione dei dati di log dell'origine in entrata (dal riquadro a sinistra) e visualizza i dati dei risultati in uscita (nel riquadro a destra).

Implementare una pipeline di elaborazione dei dati

Una volta completate le configurazioni dell'origine e del processore, implementa la pipeline per iniziare a elaborare i dati.

Per implementare una pipeline di trattamento dei dati, fai clic su Avvia implementazione. In questo modo viene attivata la pipeline di elaborazione dei dati e l'infrastruttura sicura di Google può iniziare a elaborare i dati in base alla configurazione della pipeline di elaborazione dei dati.

Se l'implementazione ha esito positivo, il numero di versione della configurazione della pipeline di trattamento dei dati viene incrementato e visualizzato accanto al nome della pipeline di trattamento dei dati.

Per visualizzare la cronologia della configurazione, fai clic sul link cronologia accanto al nome della pipeline di elaborazione dei dati. Vengono visualizzate le modifiche alla configurazione tra le versioni della pipeline di elaborazione dei dati.

Passaggi successivi

Puoi visualizzare i flussi di dati attivi in modalità di sola visualizzazione da Google SecOps. Per i dettagli, consulta Visualizzare le informazioni sulla pipeline di trattamento dei dati dalla console Google SecOps.

Visualizzare le informazioni sulla pipeline di elaborazione dei dati dalla console Google SecOps

Le sezioni seguenti descrivono come visualizzare le informazioni sulla pipeline di trattamento dei dati dalla console Google SecOps:

Visualizza i feed configurati

La pagina Feed mostra tutti i feed che hai configurato.

  1. Nella console Google SecOps, vai a Impostazioni > Feed. La pagina principale mostra tutti i feed configurati.
  2. Tieni il puntatore sopra ogni riga per visualizzare il menu ⋮ Altro. Dal menu puoi visualizzare i dettagli del feed, modificarlo, disattivarlo o eliminarlo.
  3. Fai clic su Visualizza dettagli per visualizzare la finestra dei dettagli.
  4. Fai clic su Apri in Bindplane per aprire la configurazione dell'origine per quel feed nella console Bindplane.

Visualizzare le informazioni sulla pipeline di elaborazione dati dalla pagina Logtypes

La pagina Logtypes mostra tutti i tipi di log disponibili. Per visualizzare i dettagli della pipeline di elaborazione dati:

  1. Nella console Google SecOps, vai a Impostazioni > Tipi di log. La pagina principale mostra tutti i tipi di log.
  2. Tieni il puntatore sopra ogni riga per visualizzare il menu ⋮ Altro. Dal menu puoi visualizzare i dettagli del tipo di log.
  3. Fai clic su Visualizza elaborazione dei dati per visualizzare la finestra dei dettagli.
  4. Fai clic su Apri in Bindplane per aprire la configurazione del processore nella console Bindplane.

Utilizzare le API Google SecOps Data Pipelines

Le API Google SecOps Data Pipeline ti consentono di gestire le pipeline di elaborazione dati. Le API coprono tutte le funzionalità di Data Pipeline, come la creazione, l'aggiornamento, l'eliminazione e l'elenco di pipeline e dei feed e dei tipi di log associati.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.