Configurer et gérer des pipelines de traitement de données

Compatible avec :

La fonctionnalité Pipeline de traitement des données offre un contrôle robuste sur l'ingestion des données Google Security Operations. Les pipelines de traitement des données vous permettent de manipuler les données entrantes avant qu'elles ne soient analysées par Google Security Operations. Par exemple, filtrez et transformez des événements, ou masquez des valeurs sensibles. Ce processus peut vous aider à optimiser les données pour Google SecOps, à réduire les coûts, à protéger les informations sensibles et à améliorer la compatibilité.

Ce document explique comment utiliser la console Bindplane pour configurer une connexion à une instance de destination Google SecOps, créer un flux, configurer le pipeline de traitement des données (sources et processeurs), le déployer pour lancer le traitement des données, et afficher les sources et les processeurs du pipeline dans la console Google SecOps. Voici quelques exemples de cas d'utilisation :

  • Supprimez les paires clé-valeur vides des journaux bruts.
  • Masquer les données sensibles.
  • Ajoutez des libellés d'ingestion à partir du contenu brut des journaux.
  • Dans les environnements multi-instances, appliquez des libellés d'ingestion aux données de journaux d'ingestion directe pour indiquer l'instance source dont proviennent les données (par exemple, Google Cloud, Workspace).
  • Filtrez les données Palo Alto Cortex par valeurs de champ.
  • Réduisez les données SentinelOne par catégorie.
  • Analysez les hôtes à partir des flux et des journaux d'ingestion directe dans le champ ingestion_source pour Cloud Monitoring.

Vous pouvez configurer des pipelines de traitement des données pour les sources de données sur site et dans le cloud, en utilisant la console de gestion Bindplane ou directement les API Google SecOps Data Pipeline publiques.

Un pipeline de traitement des données se compose des éléments suivants :

  • Sources : une ou plusieurs sources de données alimentent le pipeline de traitement des données, chacune étant configurée pour différents types de sources de données.
  • Nœud de processeur : un pipeline de traitement des données comporte un nœud de processeur qui contient un ou plusieurs processeurs. Chaque processeur spécifie une action à effectuer sur les données (par exemple, filtrer, transformer et masquer) lorsqu'elles transitent par le pipeline.
  • Destination : l'instance de destination Google SecOps est l'endroit où les données traitées sont envoyées.

Prérequis

Si vous prévoyez d'utiliser la console Bindplane pour gérer votre pipeline de traitement des données Google SecOps, procédez comme suit :

  1. Dans la console Google Security Operations, accordez à l'installateur les rôles d'administrateur prédéfinis requis. Pour en savoir plus, consultez Attribuer le rôle Administrateur IAM de projet dans un projet dédié. Sous Attribuer des rôles, sélectionnez les rôles IAM (Identity and Access Management) prédéfinis suivants :
    • Administrateur de l'API Chronicle (roles/chronicle.admin)
    • Administrateur du service Chronicle (roles/chroniclesm.admin)
    • Administrateur Chronicle SOAR (bêta) (roles/chronicle.soarAdmin)
    • Administrateur de projet IAM (roles/resourcemanager.projectIamAdmin)
  2. Installez la console Bindplane Server. Pour SaaS ou sur site, consultez Installer la console Bindplane Server.
  3. Dans la console Bindplane, connectez une instance de destination Google SecOps à votre organisation Bindplane. Pour en savoir plus, consultez Se connecter à une instance Google SecOps.

Augmentation potentielle du délai d'accusé de réception pour les flux à faible volume

Les utilisateurs de l'API Ingestion qui configurent leur propre agent peuvent constater une augmentation du temps d'accusé de réception pour les flux à faible volume dans le pipeline de traitement des données. Le temps d'accusé de réception moyen attendu peut passer de 700 ms à 2 secondes. Dans ce cas, vous devrez peut-être augmenter les délais avant expiration et la mémoire en conséquence. Le temps d'accusé de réception devrait diminuer à mesure que le débit de données augmente pour atteindre plus de 4 Mbit/s.

Se connecter à une instance Google SecOps

Connectez-vous à une instance Google SecOps, qui servira de destination pour les résultats de vos pipelines de traitement de données.

Pour vous connecter à une instance Google SecOps à l'aide de la console Bindplane :

  1. Dans la console Bindplane, accédez à la page Gérer votre organisation.
  2. Accédez à la fiche Integrations (Intégrations), puis cliquez sur Connect to Google SecOps (Se connecter à Google SecOps).

  3. Dans la fenêtre Modifier l'intégration qui s'ouvre, saisissez les détails de l'instance de destination Google SecOps qui ingérera la sortie de vos pipelines de traitement des données, comme suit :

    Champ Description
    Région Région de votre instance Google SecOps. Pour trouver l'instance, accédez à la consoleGoogle Cloud , puis à la page Google Security Operations et cliquez sur Détails de l'instance.
    Numéro client Numéro client de votre instance Google SecOps. Dans la console Google SecOps, accédez à Paramètres > Profil > Informations sur l'organisation.
    Google Cloud  : numéro du projet Le Google Cloud numéro de projet
    de votre instance Google SecOps.Pour trouver le numéro de projet dans la console Google SecOps, accédez à Paramètres > Profil > Informations sur l'organisation.
    Identifiants Identifiants du compte de service permettant d'accéder aux API Google SecOps Data Pipeline.
    Il s'agit d'une valeur JSON disponible dans le fichier d'identifiants du compte de service Google. Le compte de service doit se trouver dans le même projet que votre instance Google SecOps. Pour savoir comment créer un compte de service et télécharger le fichier JSON, consultez Créer et supprimer des clés de compte de service.

  4. Cliquez sur Se connecter. Si vos informations de connexion sont correctes et que vous parvenez à vous connecter à Google SecOps, vous pouvez vous attendre à ce qui suit :

    • Les détails de l'instance Google SecOps (chiffrés) sont enregistrés dans votre objet Organization.
    • Une connexion à l'instance Google SecOps est ouverte.
    • Lorsque vous vous connectez pour la première fois, vous pouvez voir l'onglet Flux dans la console Bindplane.
    • La console Bindplane affiche désormais tous les pipelines de traitement des données que vous avez configurés précédemment pour cette instance à l'aide de l'API. Le système convertit certains processeurs que vous avez configurés à l'aide de l'API en processeurs Bindplane, et affiche les autres dans leur format brut OpenTelemetry Transformation Language (OTTL). Vous pouvez utiliser la console Bindplane pour modifier les pipelines et les processeurs précédemment configurés à l'aide de l'API.

  5. Une fois que vous avez créé une connexion à une instance Google SecOps, vous pouvez créer un flux et configurer le pipeline de traitement des données. Pour en savoir plus, consultez Configurer un pipeline de traitement des données à l'aide de la console Bindplane.

Configurer un pipeline de traitement des données à l'aide de la console Bindplane

La console Bindplane vous permet de gérer vos pipelines de traitement des données Google SecOps, y compris ceux configurés à l'aide de l'API.

Pour créer un flux, configurer le pipeline de traitement de données, configurer les sources et les processeurs du pipeline de traitement de données, et déployer un pipeline de traitement de données pour lancer le traitement des données, procédez comme suit :

  1. Créer un flux
  2. Configurer un pipeline de traitement des données
    1. Configurer les sources
    2. Configurer des processeurs
  3. Déployer un pipeline de traitement de données

Créer un flux

Un flux est un conteneur qui vous permet de configurer un pipeline de traitement des données.
Pour créer un flux :

  1. Dans la console Bindplane, cliquez sur l'onglet Flux pour ouvrir la page Flux.
  2. Cliquez sur Créer un flux.
  3. Dans la fenêtre Créer un flux, définissez le Type de flux sur Google SecOps (par défaut).
  4. Saisissez un nom et une description pour le flux.
  5. Cliquez sur Créer.

Configurer un pipeline de traitement de données

Un pipeline de traitement des données spécifie les sources de données à ingérer et les processeurs (par exemple, filtrer, transformer ou masquer) pour manipuler les données lorsqu'elles sont transférées vers l'instance Destination Google SecOps.

Une fiche de configuration Pipeline est une visualisation du pipeline de traitement des données. Elle vous permet de configurer les sources de données et le nœud Processeur. Le nœud Processeur se compose de processeurs qui manipulent les données lorsqu'elles sont transmises à l'instance Destination Google SecOps.

Pour configurer un pipeline de traitement des données, commencez par créer un flux, puis procédez comme suit :

  1. Dans la console Bindplane, cliquez sur l'onglet Flux pour ouvrir la page Flux.
  2. Sélectionnez le flux dans lequel vous souhaitez configurer le nouveau pipeline de traitement des données. La fiche de configuration Pipeline s'ouvre.

  3. Ensuite, procédez à la configuration des éléments suivants, comme indiqué :

    1. Une source. Pour en savoir plus, consultez Configurer des sources.

    2. Le nœud de processeur :

      • Pour ajouter un processeur à l'aide de la console Bindplane, consultez Configurer des processeurs pour en savoir plus.
      • Certains processeurs personnalisés vous permettent de modifier directement leur code OTTL brut.

  4. Une fois ces configurations terminées, consultez Déployer un pipeline de traitement de données pour commencer à traiter les données.

Configurer les sources

Une source ingère les données en fonction des spécifications configurées et les transmet au pipeline. Un pipeline de traitement des données peut comporter une ou plusieurs sources, chacune configurée pour une source de données différente.

Pour ajouter une source :

  1. Dans la fiche de configuration Pipeline, cliquez sur Ajouter Ajouter une source pour ouvrir la fenêtre Créer une source de données SecOps.

  2. Dans la fenêtre Créer une source de données SecOps, saisissez les informations suivantes :

    Champ Description
    Type de journal Type de journal des données à ingérer.
    Sélectionnez le type de journal à ingérer. Par exemple, "CrowdStrike Falcon (CS_EDR)".

    Remarque : Vous ne pouvez pas sélectionner un type de journal avec une icône d' avertissement .
    Une icône d'avertissement indique que le type de journal est déjà configuré dans une autre source (dans ce pipeline ou dans un autre pipeline de votre instance Google SecOps).
    Si vous souhaitez utiliser ce type de journal, vous devez d'abord le supprimer de l'autre configuration de source.
    Pour trouver l'autre configuration de source où le type de journal est configuré, consultez Filtrer les configurations de flux (pipeline).
    Méthode d'ingestion Méthode d'ingestion à utiliser pour ingérer les données du type de journal sélectionné.
    Ces méthodes d'ingestion ont été définies précédemment pour votre instance Google SecOps.
    Sélectionnez l'une des options suivantes :
    • Toutes les méthodes d'ingestion

      Remarque : Si vous sélectionnez cette option, vos options seront limitées lorsque vous ajouterez vos prochaines sources.
      Si vous sélectionnez Toutes les méthodes d'ingestion, vous ne pourrez pas ajouter d'autres sources pour des méthodes d'ingestion spécifiques pour ce type de journal.
    • Sélectionnez une méthode d'ingestion spécifique.
      Par exemple, l'une des valeurs suivantes : "Bindplane Agent", "Cloud Native Ingestion", "Feed", "Ingestion API" ou "Workspace".
      • Remarque : Si vous sélectionnez cette option, vos choix seront limités lorsque vous souhaiterez ajouter d'autres sources :
        Si vous sélectionnez une méthode d'ingestion spécifique, vous ne pourrez pas ajouter d'autre source à l'aide de l'option Tous les modes d'ingestion pour ce type de journal.
        Vous pourrez toujours sélectionner d'autres méthodes d'ingestion spécifiques non configurées pour ce type de journal.
      • Si vous avez sélectionné Flux, une liste de flux s'affiche dans le champ suivant. Vous pouvez alors choisir la source d'ingestion. (Voir le champ suivant.)
    Flux Flux à utiliser pour ingérer les données sources.
    Si vous sélectionnez Flux dans le champ Méthode d'ingestion, le champ Flux affiche une liste de noms de flux (définis précédemment pour votre instance Google SecOps) pour le Type de journal sélectionné.
    Sélectionnez un flux spécifique dans la liste.

    Remarque : Pour afficher la liste de vos flux dans la console Google SecOps, accédez à Paramètres > Tableau des flux.

  3. Cliquez sur Ajouter une source pour enregistrer la nouvelle source de données.

    • La nouvelle source de données s'affiche désormais dans le pipeline de traitement des données, dans la fiche de configuration Pipeline.
    • Il est automatiquement connecté au nœud Processeur et à la Destination Google SecOps.
Filtrer les configurations de flux (pipeline)

La barre de recherche de la page Flux vous permet de filtrer vos flux (pipelines de traitement des données) en fonction de plusieurs éléments de configuration, par exemple le type de journal, la méthode d'ingestion et le nom du flux. Vous pouvez utiliser la syntaxe suivante pour filtrer : logtype:value, ingestionmethod:value et feed:value.

Par exemple, pour utiliser la barre de recherche afin d'identifier les configurations de sources contenant un type de journal spécifique, saisissez logtype: dans la barre de recherche, puis sélectionnez le type de journal dans la liste.

Configurer les processeurs

Un pipeline de traitement des données comporte un nœud de processeur contenant un ou plusieurs processeurs. Chaque processeur manipule les données sources à mesure qu'elles transitent par le pipeline, dans l'ordre dans lequel les processeurs apparaissent dans le volet Processeurs. Le premier processeur traite les données sources, puis le résultat obtenu est traité par le processeur suivant, et ainsi de suite.

Configurez le nœud de processeur en ajoutant, en supprimant ou en modifiant la séquence d'un ou de plusieurs processeurs.

Pour ajouter un processeur, procédez comme suit :

  1. Dans la fiche de configuration Pipeline, cliquez sur le nœud Processeur pour ouvrir la fenêtre Modifier les processeurs.
    La fenêtre Modifier les processeurs comporte trois volets :

    • Volet de gauche : données de journaux sources entrantes récentes (avant traitement)
    • Volet central : processeurs et leurs configurations
    • Volet de droite : données de journaux des résultats sortants récents (après traitement)

    Si le pipeline a déjà été déployé, le système affiche les données de journaux entrantes récentes (avant traitement) et les données de journaux sortantes récentes (après traitement) dans les volets.

  2. Pour ajouter un processeur, cliquez sur Ajouter un processeur pour afficher la liste des processeurs. Pour plus de commodité, la liste des processeurs est regroupée par type de processeur.
    (Pour organiser la liste des processeurs, vous pouvez ajouter vos propres bundles en sélectionnant un ou plusieurs processeurs, puis en cliquant sur Ajouter des bundles de processeurs.)

  3. Sélectionnez un processeur à ajouter dans la liste.

  4. Configurez le processeur si nécessaire.

  5. Cliquez sur Enregistrer pour enregistrer la configuration du processeur dans le nœud Processeur.

Le système teste la nouvelle configuration du processeur en traitant un nouvel échantillon des données de journaux sources entrantes (dans le volet de gauche) et affiche les données de résultats sortantes (dans le volet de droite).

Déployer un pipeline de traitement de données

Une fois les configurations de la source et du processeur terminées, déployez le pipeline pour commencer à traiter les données.

Pour déployer un pipeline de traitement de données, cliquez sur Lancer le déploiement. Cela active le pipeline de traitement des données et permet à l'infrastructure sécurisée de Google de commencer à traiter les données en fonction de la configuration du pipeline de traitement des données.

Si le déploiement réussit, le numéro de version de la configuration du pipeline de traitement des données est incrémenté et affiché à côté du nom du pipeline de traitement des données.

Pour afficher l'historique de configuration, cliquez sur le lien Historique à côté du nom du pipeline de traitement des données. Les modifications de configuration entre chaque version du pipeline de traitement des données sont affichées.

Étape suivante

Vous pouvez afficher les flux de données actifs en mode lecture seule dans Google SecOps. Pour en savoir plus, consultez Afficher les informations sur le pipeline de traitement des données dans la console Google SecOps.

Afficher les informations sur le pipeline de traitement des données depuis la console Google SecOps

Les sections suivantes décrivent comment afficher les informations sur le pipeline de traitement des données dans la console Google SecOps :

Afficher les flux configurés

La page Flux affiche tous les flux que vous avez configurés.

  1. Dans la console Google SecOps, accédez à Paramètres > Flux. La page principale affiche tous les flux que vous avez configurés.
  2. Pointez sur chaque ligne pour afficher le menu ⋮ Plus. Dans le menu, vous pouvez afficher les détails du flux, le modifier, le désactiver ou le supprimer.
  3. Cliquez sur Afficher les détails pour ouvrir la fenêtre d'informations.
  4. Cliquez sur Ouvrir dans Bindplane pour ouvrir la configuration de la source de ce flux dans la console Bindplane.

Afficher les informations sur le pipeline de traitement des données depuis la page "Types de journaux"

La page Types de journaux affiche tous les types de journaux disponibles. Pour afficher les détails d'un pipeline de traitement des données :

  1. Dans la console Google SecOps, accédez à Paramètres > Types de journaux. La page principale affiche tous vos types de journaux.
  2. Pointez sur chaque ligne pour afficher le menu ⋮ Plus. Dans le menu, vous pouvez afficher les détails des types de journaux.
  3. Cliquez sur Afficher le traitement des données pour afficher la fenêtre de détails.
  4. Cliquez sur Ouvrir dans Bindplane pour ouvrir la configuration du processeur dans la console Bindplane.

Utiliser les API Google SecOps Data Pipelines

Les API Google SecOps Data Pipeline vous permettent de gérer vos pipelines de traitement de données. Les API couvrent toutes les fonctionnalités du pipeline de données, comme la création, la mise à jour, la suppression et la liste des pipelines, ainsi que les flux et les types de journaux associés.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.