Guide de gestion des flux

Présentation et prérequis

Chronicle Feed Management vous permet de créer et de gérer des flux de données dans votre compte Chronicle. L'interface utilisateur de gestion des flux est basée sur l'API Feed Management. Pour en savoir plus, cliquez ici.

Chaque flux de données dispose de son propre ensemble de conditions préalables que vous devez remplir avant de le configurer dans Chronicle. Ces conditions préalables sont décrites dans la section Configuration du flux par type de la documentation de l'API Feed Management. Recherchez le type de flux de données que vous devez configurer et suivez les instructions fournies.

Par exemple, si vous configurez un flux de données sur un compte Google Cloud Storage, vous devez remplir les conditions préalables suivantes:

1. Accorder l'accès à Chronicle

2. Ajoutez l'adresse e-mail [e-mail] aux autorisations du ou des objets Google Cloud Storage concernés.

3. Effectuez les actions suivantes à partir de la section Cloud Storage de Google Cloud Console (console.cloud.google.com).

   • Pour accorder une autorisation de lecture sur un fichier spécifique, vous pouvez "modifier l'accès" sur ce fichier et accorder l'accès "Lecteur" à l'adresse e-mail ci-dessus. Vous ne pouvez le faire que si vous n'avez pas activé l'accès uniforme au niveau du bucket.
   • Pour accorder une autorisation de lecture sur plusieurs fichiers, vous devez accorder l'accès au niveau du bucket. Plus précisément, vous devez ajouter l'adresse e-mail ci-dessus en tant que compte principal à votre bucket de stockage et lui accorder le rôle IAM de lecteur des objets de l'espace de stockage.

4. Si vous configurez le flux pour supprimer les fichiers sources (voir ci-dessous comment procéder), vous devez ajouter l'adresse e-mail ci-dessus en tant que compte principal sur votre bucket et lui attribuer le rôle IAM "Administrateur des objets de l'espace de stockage".

Supprimer les fichiers sources

Comme indiqué dans la section Présentation, les conditions préalables diffèrent selon le type de flux.

Pour plusieurs types de flux, y compris Cloud Storage, il existe un champ Ajouter un nouveau ou Modifier le flux intitulé OPTION DE SUPPRESSION SOURCE. Ce menu déroulant propose trois options:

1. Ne jamais supprimer les fichiers
2. Supprimer les fichiers transférés et les répertoires vides
3. Supprimer les fichiers transférés

Les options 2 et 3 impliquent des suppressions: une pour les fichiers et une pour les fichiers ET tous les répertoires vides. Si vous sélectionnez l'une de ces options, vous devez ajouter les autorisations spécifiques à votre type de flux, qui se trouvent dans la section Configuration du flux par type de la documentation de l'API Feed Management.

Cette option vous permet de supprimer un objet du système de stockage après l'avoir transféré. Les flux mémorisent toujours les objets (ou les fichiers) qu'ils ont transférés et ne transfèrent jamais le même fichier deux fois (sauf s'ils ont été mis à jour). Toutefois, vous devez définir cette option si vous souhaitez que le système supprime réellement l'objet source après son transfert réussi.

Créer et modifier des flux

Pour accéder à l'interface Gestion des flux, sélectionnez l'option Paramètres dans le menu principal.

Figure 1. Paramètres

Vous pouvez ensuite accéder à la page Flux. Les flux de données listés sur cette page incluent tous les flux que nous avons configurés pour votre compte, en plus de ceux que vous avez configurés.

Figure 2. Flux

Ajouter un flux

Pour ajouter un flux à votre compte Chronicle, procédez comme suit : Assurez-vous de remplir les conditions préalables associées au type de flux de données que vous prévoyez d'ajouter avant d'essayer d'ajouter un nouveau flux ici. Pour en savoir plus, consultez la section Présentation et prérequis.

1. Cliquez sur AJOUTER. La fenêtre AJOUTER UN FLUX s'affiche.

2. Dans l'onglet Définir les propriétés, sélectionnez le TYPE DE SOURCE dans le menu déroulant. Le type de source est le mécanisme qui vous permet d'importer des données dans Chronicle. Vous pouvez sélectionner l'un des types de sources de flux suivants:

   • Amazon S3
   • Amazon SQS
   • Google Cloud Storage
   • Fichiers HTTP(S) (sans API)
   • Microsoft Azure Blob Storage
   • API tierce

Remarque :Pour Amazon SQS, veillez à activer les autorisations permettant à Chronicle de supprimer les messages de la file d'attente Amazon SQS.

1. Sélectionnez le TYPE DE JOURNAL dans le menu déroulant. Les journaux disponibles varient en fonction du type de source sélectionné précédemment. Cliquez sur SUIVANT.

   

   Figure 3. Sélection du type de journal

2. Spécifiez les paramètres requis dans l'onglet Paramètres d'entrée. Les options présentées ici varient en fonction de la source et du type de journal sélectionnés dans l'onglet Définir les propriétés. Pointez sur l'icône en forme de question au-dessus de chaque champ pour obtenir plus d'informations sur les éléments à fournir.

3. (Facultatif) Vous pouvez spécifier un espace de noms ici. Pour en savoir plus sur les espaces de noms, consultez la documentation sur les espaces de noms d'élément.

4. Cliquez sur NEXT (Suivant).

   

   Figure 4. Configuration des paramètres d'entrée

5. Vérifiez la nouvelle configuration de votre flux dans l'onglet Finaliser. Cliquez sur ENVOYER lorsque vous êtes prêt. Chronicle effectue un contrôle de validation du nouveau flux. Si le flux réussit la vérification, un nom est généré pour le flux, qui est envoyé à Chronicle, et Chronicle commence à tenter de récupérer les données.

   

   Figure 5. Finaliser la demande de flux

État du flux

Vous pouvez surveiller l'état du flux depuis la page Flux initiale. Les flux peuvent être associés aux états suivants:

• Actif : le flux est configuré et prêt à ingérer des données dans votre compte Chronicle.
• En cours : Chronicle tente maintenant d'extraire les données du tiers configuré.
• Terminé : les données ont bien été récupérées par ce flux.
• Archivé : flux désactivé.
• Échec : le flux ne parvient pas à récupérer les données. Cela est probablement dû à un problème de configuration. Cliquez sur la question pour afficher l'erreur de configuration. Une fois que vous avez corrigé l'erreur et renvoyé le flux, revenez à la page Flux pour déterminer si le flux fonctionne correctement ou non.

Modifier les flux

Sur la page Flux, vous pouvez modifier un flux existant:

1. Pointez sur un flux existant, puis cliquez sur le menu à trois points dans la colonne de droite.

2. Cliquez sur Modifier le flux. Vous pouvez désormais modifier les paramètres d'entrée du flux et le renvoyer à Chronicle. Chronicle tente d'utiliser le flux modifié.

Activer et désactiver les flux

Dans la colonne État, les flux activés sont libellés Actif, En cours, Terminé ou Échec. Les champs désactivés sont libellés Archivé. Cliquez ici pour obtenir une description de chaque état de flux.

Sur la page Flux, vous pouvez activer ou désactiver les flux existants:

1. Pointez sur un flux existant, puis cliquez sur le menu à trois points dans la colonne de droite.

2. Pour activer un flux, cliquez sur le bouton Activer le flux.

3. Pour désactiver un flux, cliquez sur le bouton Désactiver le flux. Le flux est maintenant marqué comme Archivé.

Supprimer des flux

Sur la page Flux, vous pouvez également supprimer un flux existant:

1. Pointez sur un flux existant, puis cliquez sur le menu à trois points dans la colonne de droite.

2. Cliquez sur Supprimer le flux. La fenêtre SUPPRIMER LE FLUX s'ouvre. Pour supprimer définitivement le flux, cliquez sur Oui, supprimer.