Guide de l'utilisateur sur la gestion des flux

Présentation et prérequis

La gestion des flux Chronicle vous permet de créer et de gérer des flux de données vers votre compte Chronicle. L'interface utilisateur de gestion des flux repose sur l'API de gestion des flux. Pour en savoir plus, consultez la documentation sur l'API de gestion des flux.

Chaque flux de données présente son propre ensemble de conditions préalables qui doivent être remplies avant de le configurer dans Chronicle. Ces conditions préalables sont décrites dans la section Configuration du flux par type de la documentation sur l'API de gestion des flux. Recherchez le type de flux de données que vous devez configurer, puis suivez les instructions fournies.

Supprimer les fichiers sources

Comme indiqué dans la section Présentation, les conditions préalables sont différentes selon le type de flux.

Pour plusieurs types de flux, y compris pour Cloud Storage, le workflow Ajouter ou Modifier le flux comporte un champ intitulé OPTION DE SUPPRESSION SOURCE. Il s'agit d'un menu déroulant avec trois options:

1. Ne jamais supprimer les fichiers
2. Supprimer les fichiers transférés et les répertoires vides
3. Supprimer les fichiers transférés

Les options 2 et 3 impliquent des suppressions: une pour les fichiers, une pour les fichiers ET les répertoires vides. Si vous sélectionnez l'une de ces options, vous devez ajouter les autorisations spécifiques au type de flux. Vous les trouverez dans la section Configuration du flux par type de la documentation concernant l'API de gestion des flux.

Cette option vous permet de supprimer un objet du système de stockage après son transfert. Les flux mémorisent toujours les objets (ou fichiers) transférés et ne transfèrent jamais le même fichier à deux reprises (sauf s'il a été mis à jour). Vous devez toutefois définir cette option si vous souhaitez que le système supprime l'objet source une fois le transfert terminé.

Microsoft Azure Blob Storage ne permet pas la suppression de fichiers sources. Les options de suppression de source suivantes ne doivent pas être utilisées avec le type de source Microsoft Azure Blob Storage:

• Supprimer les fichiers transférés et les répertoires vides
• Supprimer les fichiers transférés

Lorsque vous créez un flux avec une source de stockage Blob Azure Microsoft, sélectionnez uniquement l'option Ne jamais supprimer les fichiers.

Création et modification de flux

Pour accéder à l'interface de gestion des flux, procédez comme suit:

1. Dans la barre de navigation, cliquez sur Paramètres.

2. Sous Paramètres, cliquez sur Flux.

Les flux de données répertoriés sur cette page incluent tous ceux que Google a configurés pour votre compte, en plus de ceux que vous avez configurés.

Ajouter un flux

Pour ajouter un flux à votre compte Chronicle, procédez comme suit. Assurez-vous de remplir les conditions préalables pour le type de flux de données que vous prévoyez d'ajouter avant d'essayer d'en ajouter un autre ici. Pour en savoir plus, consultez la section Présentation et conditions préalables.

Vous pouvez ajouter jusqu'à cinq flux pour chaque type de journal.

1. Cliquez sur Add New (Ajouter nouveau). La fenêtre AJOUTER UN FLUX s'affiche.

2. Dans l'onglet Définir les propriétés, sélectionnez le TYPE DE SOURCE dans le menu déroulant. Le type de source est le mécanisme par lequel vous souhaitez importer des données dans Chronicle. Vous avez le choix parmi les types de sources de flux suivants:

   • Amazon S3
   • Amazon SQS
   • Google Cloud Storage
   • Fichiers HTTP(S) (sans API)
   • Microsoft Azure Blob Storage
   • API tierce
   Remarque :Pour Amazon SQS, veillez à activer les autorisations pour Chronicle afin de pouvoir supprimer les messages de la file d'attente Amazon SQS.

3. Sélectionnez le type de journal dans le menu déroulant. Les journaux disponibles varient en fonction du type de source que vous avez sélectionné précédemment. Cliquez sur Suivant.

   Si vous sélectionnez Google Cloud Storage comme type de source, utilisez l'option Obtenir un compte de service pour obtenir un compte de service unique. Dans ce document, consultez Exemple de configuration de flux Google Cloud Storage.

   

   Figure 2. Sélection du type de journal

4. Spécifiez les paramètres nécessaires à partir de l'onglet Input Parameters (Paramètres d'entrée). Les options présentées ici varient en fonction de la source et du type de journal sélectionnés dans l'onglet Définir les propriétés. Maintenez le pointeur sur l'icône représentant une question pour chaque champ pour obtenir des informations supplémentaires sur les informations à fournir.

5. (Facultatif) Vous pouvez spécifier un espace de noms ici. Pour en savoir plus sur les espaces de noms, consultez la documentation sur les espaces de noms des éléments.

6. Cliquez sur Suivant.

7. Vérifiez la configuration de votre nouveau flux depuis l'onglet Finaliser. Cliquez sur Envoyer lorsque vous êtes prêt. Chronicle effectue un contrôle de validation du nouveau flux. Si le flux est validé, un nom est généré pour le flux, puis il est envoyé à Chronicle, et Chronicle commence à tenter de récupérer les données.

   

   Figure 4. Finalisez la demande de flux

Exemple de configuration de flux Google Cloud Storage

1. Dans le menu Chronicle, sélectionnez Settings (Paramètres), puis cliquez sur Feeds (Flux).
2. Cliquez sur Add New (Ajouter nouveau).
3. Sélectionnez Google Cloud Storage comme Type de source.
4. Sélectionnez le type de journal. Par exemple, pour créer un flux pour les journaux d'audit Google Kubernetes Engine, sélectionnez Journaux d'audit Google Kubernetes Engine dans Type de journal.
5. Cliquez sur Obtenir un compte de service. Chronicle fournit un compte de service unique qui permet à Chronicle d'ingérer des données.
6. Configurez l'accès du compte de service pour qu'il puisse accéder aux objets Cloud Storage. Dans ce document, consultez Accorder l'accès au compte de service Chronicle.
7. Cliquez sur Suivant.
8. En fonction de la configuration Cloud Storage que vous avez créée, spécifiez des valeurs pour les champs suivants :
   • URI du bucket de stockage
   • L'URI est un
   • Option de suppression de la source
9. Cliquez sur Next (Suivant), puis sur Submit (Envoyer).

Accorder l'accès au compte de service Chronicle

1. Dans la console Google Cloud, accédez à la page Buckets Cloud Storage.
   

   Accéder à la page "Buckets"

2. Accordez l'accès au compte de service aux objets Cloud Storage concernés.

   • Pour accorder l'autorisation de lecture à un fichier spécifique, procédez comme suit:

     1. Sélectionnez le fichier et cliquez sur Modifier l'accès.
     2. Cliquez sur Ajouter un compte principal.
     3. Dans le champ Nouveaux comptes principaux, saisissez le nom du compte de service Chronicle.
     4. Attribuez un rôle contenant l'autorisation de lecture au compte de service Chronicle. Par exemple, Lecteur des objets Storage (roles/storage.objectViewer). Cela ne peut être effectué que si vous n'avez pas activé l'accès uniforme au niveau du bucket.
     5. Cliquez sur Enregistrer.

   • Pour accorder une autorisation de lecture pour plusieurs fichiers, vous devez accorder l'accès au niveau du bucket. Vous devez ajouter le compte de service Chronicle en tant que compte principal à votre bucket de stockage et lui attribuer le rôle IAM Lecteur des objets Storage (roles/storage.objectViewer).

     Si vous configurez le flux pour supprimer les fichiers sources, vous devez ajouter le compte de service Chronicle en tant que compte principal sur votre bucket et lui accorder le rôle IAM Administrateur des objets Storage (roles/storage.objectAdmin).

Configurez VPC Service Controls

Si VPC Service Controls est activé, une règle d'entrée est requise pour fournir l'accès au bucket Cloud Storage.

Les méthodes Cloud Storage suivantes doivent être autorisées dans la règle d'entrée:

• google.storage.objects.list. Obligatoire pour un seul flux de fichiers.
• google.storage.objects.get. Obligatoire pour les flux nécessitant un accès à un répertoire ou à un sous-répertoire.
• google.storage.objects.delete. Obligatoire pour les flux qui nécessitent la suppression du fichier source.

Exemple de règle d'entrée

- ingressFrom:
  identities:
    - serviceAccount:[e-mail]
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

État du flux

Vous pouvez surveiller l'état du flux sur la page initiale Flux. Les flux peuvent être associés aux états suivants:

• Actif : le flux est configuré et prêt à ingérer des données dans votre compte Chronicle.
• En cours : Chronicle tente maintenant d'extraire des données du service tiers configuré.
• Terminé : les données ont bien été récupérées par ce flux.
• Archivé : flux désactivé.
• Échec : le flux ne parvient pas à récupérer les données. Cela est probablement dû à un problème de configuration. Cliquez sur la question pour afficher l'erreur de configuration. Une fois l'erreur corrigée et le flux renvoyé, revenez à la page Flux pour vérifier s'il fonctionne désormais.

Modifier les flux

Sur la page Flux, vous pouvez modifier un flux existant:

1. Pointez sur un flux existant, puis cliquez sur le menu à trois points dans la colonne de droite.

2. Cliquez sur Modifier le flux. Vous pouvez maintenant modifier les paramètres d'entrée du flux et le renvoyer à Chronicle. Chronicle tentera d'utiliser le flux modifié.

Activer et désactiver les flux

Dans la colonne État, les flux activés sont signalés par l'état Actif, En cours, Terminé ou Échec. Les champs désactivés portent le libellé Archivé. Pour obtenir une description, consultez l'état du flux.

Sur la page Flux, vous pouvez activer ou désactiver n'importe quel flux existant:

1. Pointez sur un flux existant, puis cliquez sur le menu à trois points dans la colonne de droite.

2. Pour activer un flux, cliquez sur le bouton Activer le flux.

3. Pour désactiver un flux, cliquez sur le bouton Désactiver le flux. Le flux est désormais associé au libellé Archivé.

   Remarque :La désactivation d'un flux empêche l'ajout de nouvelles données à la file d'attente d'ingestion. Les transferts existants (actifs ou limités) se poursuivent jusqu'à la fin. Pour arrêter immédiatement l'ingestion de données, supprimez le flux.

Supprimer des flux

Sur la page Flux, vous pouvez également supprimer un flux existant:

1. Pointez sur un flux existant, puis cliquez sur le menu à trois points dans la colonne de droite.

2. Cliquez sur Supprimer le flux. La fenêtre SUPPRIMER LE FLUX s'ouvre. Pour supprimer définitivement le flux, cliquez sur Oui, le supprimer.

   Remarque :Lorsque vous supprimez un flux, aucune nouvelle donnée n'est ingérée. Il se peut que des données se trouvant déjà dans la file d'attente soient encore traitées.

Contrôler le taux d'ingestion

Lorsque le taux d'ingestion de données pour un locataire atteint un certain seuil, Chronicle limite le taux d'ingestion des nouveaux flux de données pour éviter qu'une source présentant un taux d'ingestion élevé n'affecte le taux d'ingestion d'une autre source de données.

Les flux qui ingèrent des données à un débit supérieur au seuil font l'objet de restrictions, ce qui retarde l'ingestion. Lorsque le taux d'ingestion du flux est limité, les données en excès sont mises en file d'attente pour être ingérées. Il y a donc un délai, mais aucune donnée n'est perdue.

Le volume d'ingestion et l'historique d'utilisation du locataire déterminent le seuil. Si le taux d'ingestion ne varie pas considérablement, il n'y a aucun effet sur le taux d'ingestion.