Collecter les journaux Datadog

Compatible avec:

Google SecOps SIEM

Remarque :Cette fonctionnalité est couverte par les Conditions des offres avant disponibilité générale des conditions spécifiques du service Google Security Operations. Les fonctionnalités pré-DG (avant disponibilité générale) sont susceptibles de présenter une compatibilité limitée, et les modifications apportées à ces fonctionnalités peuvent ne pas être compatibles avec d'autres versions avant disponibilité générale. Pour en savoir plus, consultez les Consignes relatives au service d'assistance technique Google Security Operations et les Conditions spécifiques du service Google Security Operations.

Présentation

Cet analyseur extrait des champs des journaux Datadog, effectue plusieurs mutations et mises en correspondance Grok pour structurer les données, puis mappe les champs extraits sur l'UDM. Il gère différents formats de journal dans le champ message, y compris les paires clé-valeur et les objets JSON, et convertit des champs spécifiques en libellés conformes à la norme UDM et en champs supplémentaires.

Avant de commencer

Remarque :Vous pouvez partager les journaux Datadog avec Google SecOps à l'aide de Google Cloud Storage ou d'un webhook.

• Assurez-vous de disposer d'une instance Google SecOps.
• Assurez-vous de disposer d'un accès privilégié à Google Cloud IAM.
• Assurez-vous de disposer d'un accès privilégié à Google Cloud Storage.
• Assurez-vous de disposer d'un accès utilisateur logs_write_archive à Datadog.

Option 1: Partage des journaux Datadog via la configuration de Cloud Storage

Configurer l'intégration de Datadog à Google Cloud Platform

• Configurez une intégration pour Google Cloud Platform dans Datadog. Pour en savoir plus, consultez la page Configuration de l'intégration Datadog à Google Cloud.

Créer un bucket Google Cloud Storage

1. Connectez-vous à Google Cloud Console.

2. Accédez à la page Buckets Cloud Storage.

   Accéder à la page "Buckets"

3. Cliquez sur Créer.

4. Sur la page Créer un bucket, saisissez les informations concernant votre bucket. Après chacune de ces étapes, cliquez sur Continuer pour passer à l'étape suivante:

   1. Dans la section Premiers pas, procédez comme suit :

      1. Saisissez un nom unique qui répond aux exigences de dénomination des buckets (par exemple, datadog-data).

      2. Pour activer l'espace de noms hiérarchique, cliquez sur la flèche d'expansion pour développer la section Optimiser pour les charges de travail orientées fichiers et à forte intensité de données, puis sélectionnez Activer l'espace de noms hiérarchique sur ce bucket.

         Remarque :Vous ne pouvez pas activer l'espace de noms hiérarchique dans un bucket existant.

      3. Pour ajouter une étiquette de bucket, cliquez sur la flèche de développement pour développer la section Étiquettes.

      4. Cliquez sur Ajouter un libellé, puis spécifiez une clé et une valeur pour votre libellé.

   2. Dans la section Choisir l'emplacement de stockage de vos données, procédez comme suit :

      1. Sélectionnez un type d'emplacement.
      2. Utilisez le menu déroulant du type d'emplacement pour sélectionner un emplacement où les données d'objets de votre bucket seront stockées de manière permanente.
         • Si vous sélectionnez le type d'emplacement birégional, vous pouvez également choisir d'activer la réplication turbo à l'aide de la case à cocher correspondante.
      3. Pour configurer la réplication entre buckets, développez la section Configurer la réplication entre buckets.

   3. Dans la section Choisir une classe de stockage pour vos données, sélectionnez une classe de stockage par défaut pour le bucket, ou bien classe automatique pour une gestion automatique des classes de stockage des données de votre bucket.

   4. Dans la section Choisir comment contrôler l'accès aux objets, sélectionnez non pour appliquer la protection contre l'accès public, puis sélectionnez un modèle de contrôle des accès pour les objets de votre bucket.

      Remarque :Si la protection contre l'accès public est déjà appliquée par la règle d'administration de votre projet, la case à cocher Empêcher l'accès public est verrouillée.

   5. Dans la section Choisir comment protéger les données d'objet, procédez comme suit:

      1. Sélectionnez l'une des options sous Protection des données que vous souhaitez définir pour votre bucket.
      2. Pour choisir comment vos données d'objet seront chiffrées, cliquez sur la flèche d'expansion intitulée Chiffrement des données, puis sélectionnez une méthode de chiffrement des données.

5. Cliquez sur Créer.

Remarque :N'ajoutez pas de règle de conservation, car les dernières données doivent être réécrites en cas de délai avant expiration.

Créer un compte de service Google Cloud

1. Accédez à IAM et administration > Comptes de service.
2. Créez un compte de service.
3. Attribuez-lui un nom descriptif (par exemple, datadog-user).
4. Attribuez au compte de service le rôle Administrateur des objets de l'espace de stockage sur le bucket Cloud Storage que vous avez créé à l'étape précédente.
5. Créez une clé SSH pour le compte de service.
6. Téléchargez un fichier de clé JSON pour le compte de service. Conservez ce fichier dans un endroit sécurisé.

Configurer Datadog pour envoyer des journaux vers Cloud Storage

1. Connectez-vous à Datadog avec un compte avec accès privilégié.
2. Accédez à Logs > Log Forwarding (Journaux > Transfert de journaux).
3. Cliquez sur + Créer une archive.
4. Sélectionnez Google Cloud Storage.
5. Saisissez les paramètres requis, puis cliquez sur Enregistrer.

Option 2: Partage des journaux Datadog via la configuration d'un webhook

Configurer un flux dans Google SecOps pour ingérer les journaux Datadog

1. Accédez à Paramètres du SIEM > Flux.
2. Cliquez sur Ajouter.
3. Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple, Journaux Datadog).
4. Sélectionnez Webhook comme type de source.
5. Sélectionnez Datadog comme type de journal.
6. Cliquez sur Suivant.
7. Facultatif: spécifiez des valeurs pour les paramètres d'entrée suivants :
   • Délimiteur de fractionnement: délimiteur utilisé pour séparer les lignes de journal, par exemple \n.
   • Espace de noms des éléments: espace de noms des éléments.
   • Libellés d'ingestion: libellé appliqué aux événements de ce flux.
8. Cliquez sur Suivant.
9. Vérifiez la configuration du flux dans l'écran Finaliser, puis cliquez sur Envoyer.
10. Cliquez sur Générer une clé secrète pour générer une clé secrète permettant d'authentifier ce flux.
11. Copiez et stockez la clé secrète. Vous ne pourrez plus afficher cette clé secrète. Si nécessaire, vous pouvez générer une nouvelle clé secrète, mais cette action rend l'ancienne clé secrète obsolète.
12. Dans l'onglet Détails, copiez l'URL du point de terminaison du flux dans le champ Informations sur le point de terminaison. Vous devez spécifier cette URL de point de terminaison dans votre application cliente.
13. Cliquez sur OK.

Créer une clé API pour le flux webhook

1. Accédez à Google Cloud Console > Identifiants.

   Accéder à "Identifiants"

2. Cliquez sur Créer des identifiants, puis sélectionnez Clé API.

3. Limitez l'accès de la clé API à l'API Chronicle.

Spécifier l'URL du point de terminaison

1. Dans votre application cliente, spécifiez l'URL du point de terminaison HTTPS fournie dans le flux de webhook.

2. Activez l'authentification en spécifiant la clé API et la clé secrète dans l'en-tête personnalisé au format suivant:

   X-goog-api-key = API_KEY
   X-Webhook-Access-Key = SECRET
   

   Recommandation: Spécifiez la clé API en tant qu'en-tête plutôt que dans l'URL.

3. Si votre client webhook n'est pas compatible avec les en-têtes personnalisés, vous pouvez spécifier la clé API et la clé secrète à l'aide de paramètres de requête au format suivant:

   ENDPOINT_URL?key=API_KEY&secret=SECRET
   

   Remplacez les éléments suivants :

   • ENDPOINT_URL: URL du point de terminaison du flux.
   • API_KEY: clé API permettant de s'authentifier auprès de Google SecOps.
   • SECRET: clé secrète que vous avez générée pour authentifier le flux.

Configurer Datadog pour envoyer des journaux à un webhook

1. Connectez-vous à Datadog avec un compte avec accès privilégié.
2. Accédez à Logs > Log Forwarding (Journaux > Transfert de journaux).
3. Sélectionnez Destinations personnalisées.
4. Cliquez sur + Créer une destination.
5. Spécifiez les valeurs des paramètres d'entrée suivants :
   1. Choisir un type de destination: sélectionnez HTTP.
   2. Nommez la destination: donnez un nom descriptif au webhook (par exemple, Webhook Google SecOps).
   3. Configurez la destination: saisissez ENDPOINT_URL, suivi de API_KEY et de SECRET.
   4. Configurer les paramètres d'authentification: ajoutez un en-tête général comme celui-ci. Cela ne déformera pas la requête HTTP et permettra à Datadog de créer le webhook.
      • Nom de l'en-tête: Accept.
      • Valeur d'en-tête: application/json.
   5. Cliquez sur Enregistrer.

Liens de référence

• Partager des journaux dans Cloud Storage
• Transférer des journaux vers un webhook

Tableau de mappage UDM

Champ de journal	Mappage UDM	Logique
_id	read_only_udm.metadata.product_log_id	Mappé directement à partir du champ _id.
alert	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ alert et ajouté en tant que libellé dans l'objet security_result.
attributes.@timestamp	read_only_udm.metadata.event_timestamp	L'horodatage de l'événement est extrait du champ attributes.@timestamp et converti en secondes et en nanosecondes.
attributes.@version	read_only_udm.metadata.product_version	Mappé directement à partir du champ attributes.@version.
attributes.level_value	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ attributes.level_value et ajouté en tant que libellé dans l'objet security_result.
attributes.logger_name	read_only_udm.principal.application	Mappé directement à partir du champ attributes.logger_name.
attributes._trace.baggage._sli_service	read_only_udm.additional.fields	Mappé directement à partir du champ attributes._trace.baggage._sli_service et ajouté en tant que champ supplémentaire.
attributes._trace.baggage.device_id	read_only_udm.principal.asset.asset_id	Mappé directement à partir du champ attributes._trace.baggage.device_id, avec le préfixe "ID de l'appareil:".
attributes._trace.origin.operation	read_only_udm.metadata.product_event_type	Mappé directement à partir du champ attributes._trace.origin.operation.
caller	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ caller et ajouté en tant que libellé dans l'objet security_result.
component	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ component et ajouté en tant que libellé dans l'objet security_result.
context.AlertName	read_only_udm.security_result.threat_name	Mappé directement à partir du champ context.AlertName.
context.BusArch	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ context.BusArch et ajouté en tant que libellé dans l'objet security_result.
context.CANDBVersion	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ context.CANDBVersion et ajouté en tant que libellé dans l'objet security_result.
context.esn	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ context.esn et ajouté en tant que libellé dans l'objet security_result.
context.ftcpVersion	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ context.ftcpVersion et ajouté en tant que libellé dans l'objet security_result.
context.ingestMessageId	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ context.ingestMessageId et ajouté en tant que libellé dans l'objet security_result.
context.redactedVin	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ context.redactedVin et ajouté en tant que libellé dans l'objet security_result.
context.vehicleId	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ context.vehicleId et ajouté en tant que libellé dans l'objet security_result.
date	read_only_udm.metadata.collected_timestamp	Le code temporel collecté est extrait du champ date (renommé date1 dans l'analyseur) et converti en secondes et en nanosecondes.
host	read_only_udm.principal.hostname	Mappé directement à partir du champ host.
message	read_only_udm.security_result.about.resource.attribute.labels	Le champ message est analysé, et certaines de ses parties sont utilisées pour renseigner les champs summary et json_data. La partie restante est traitée comme des paires clé-valeur et ajoutée en tant que libellés dans l'objet security_result.
msg	read_only_udm.security_result.about.resource.attribute.labels	Extrait du champ msg et ajouté en tant que libellé dans l'objet security_result.
service	read_only_udm.metadata.product_name	Mappé directement à partir du champ service.
status	read_only_udm.security_result.severity	La gravité est déterminée en fonction du champ status. "INFO", "DEBUG", "debug" et "info" sont mappés sur "LOW", "WARN" est mappé sur "MEDIUM", et les autres valeurs ne sont pas mappées explicitement dans l'extrait de code fourni.
tags	read_only_udm.additional.fields	Chaque balise du tableau tags est analysée en paires clé-valeur et ajoutée en tant que champs supplémentaires.
N/A	read_only_udm.metadata.event_type	Définissez ce champ sur "STATUS_UPDATE" si le champ host est présent, et sur "GENERIC_EVENT" dans le cas contraire.

Modifications

2023-07-21

• Analyseur créé.