Recopila registros de Datadog
Descripción general
Este analizador extrae campos de los registros de Datadog, realiza varias mutaciones y coincidencias de Grok para estructurar los datos y asigna los campos extraídos a la UDM. Controla diferentes formatos de registro dentro del campo message, incluidos los pares clave-valor y los objetos JSON, y convierte campos específicos en etiquetas y campos adicionales que cumplen con la UDM.
Antes de comenzar
- Asegúrate de tener una instancia de Google SecOps.
- Asegúrate de tener acceso con privilegios a IAM de Google Cloud.
- Asegúrate de tener acceso con privilegios a Google Cloud Storage.
- Asegúrate de tener acceso de usuario
logs_write_archive
a Datadog.
Opción 1: Uso compartido de registros de Datadog a través de la configuración de Cloud Storage
Configura la integración de Datadog con Google Cloud Platform
- Configura una integración para Google Cloud Platform en Datadog. Para obtener más información, consulta la configuración de la integración de Datadog con Google Cloud.
Crea un bucket de Google Cloud Storage.
- Accede a la consola de Google Cloud.
Ve a la página Buckets de Cloud Storage.
Haz clic en Crear.
En la página Crear un bucket, ingresa la información de tu bucket. Después de cada uno de los siguientes pasos, haz clic en Continuar para avanzar al siguiente:
En la sección Primeros pasos, haz lo siguiente:
- Ingresa un nombre único que cumpla con los requisitos de nombre de bucket (por ejemplo, datadog-data).
Para habilitar el espacio de nombres jerárquico, haz clic en la flecha de expansión para expandir la sección Optimizar las cargas de trabajo orientadas a archivos y con uso intensivo de datos y, luego, selecciona Habilitar el espacio de nombres jerárquico en este bucket.
Para agregar una etiqueta de bucket, haz clic en la flecha de expansión para expandir la sección Etiquetas.
Haz clic en Agregar etiqueta y especifica una clave y un valor para tu etiqueta.
En la sección Eligir dónde almacenar tus datos, haz lo siguiente:
- Selecciona un tipo de ubicación
- Usa el menú desplegable de tipo de ubicación para seleccionar una Ubicación en la que se almacenarán de forma permanente los datos de objetos de tu bucket.
- Si seleccionas el tipo de ubicación birregional, también puedes habilitar la replicación turbo con la casilla de verificación correspondiente.
- Para configurar la replicación entre bucket, expande la sección Configurar la bucket entre buckets.
En la sección Elige una clase de almacenamiento para tus datos, selecciona una clase de almacenamiento predeterminada para el bucket o selecciona Autoclass para la administración automática de clases de almacenamiento de los datos de tu bucket.
En la sección Elige cómo controlar el acceso a los objetos, selecciona no para aplicar la prevención del acceso público y elige un modelo de control de acceso para los objetos de tu bucket.
En la sección Elige cómo proteger los datos de objetos, haz lo siguiente:
- Selecciona cualquiera de las opciones de Protección de datos que desees configurar para tu bucket.
- Para elegir cómo se encriptarán los datos de tus objetos, haz clic en la flecha desplegable etiquetada como Encriptación de datos y selecciona un método de encriptación de datos.
Haz clic en Crear.
Crea una cuenta de servicio de Google Cloud
- Ve a IAM y administración > Cuentas de servicio.
- Cree una cuenta de servicio nueva
- Asóciale un nombre descriptivo (por ejemplo, datadog-user).
- Otorga a la cuenta de servicio el rol de administrador de objetos de almacenamiento en el bucket de Cloud Storage que creaste en el paso anterior.
- Crea una clave SSH para la cuenta de servicio.
- Descarga un archivo de claves JSON para la cuenta de servicio. Protege este archivo.
Configura Datadog para enviar registros a Cloud Storage
- Accede a Datadog con una cuenta con privilegios.
- Ve a Registros > Reenvío de registros.
- Haz clic en + Crear archivo nuevo.
- Selecciona Google Cloud Storage.
- Ingresa los parámetros obligatorios y haz clic en Guardar.
Opción 2: Uso compartido de registros de Datadog a través de la configuración de webhook
Configura un feed en Google SecOps para transferir los registros de Datadog
- Ve a Configuración de SIEM > Feeds.
- Haz clic en Agregar nueva.
- En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Registros de Datadog).
- Selecciona Webhook como el Tipo de origen.
- Selecciona Datadog como el Tipo de registro.
- Haz clic en Siguiente.
- Opcional: Especifica valores para los siguientes parámetros de entrada:
- Delimitador de división: Es el delimitador que se usa para separar las líneas de registro, como
\n
. - Espacio de nombres de recursos: Es el espacio de nombres de recursos.
- Etiquetas de transferencia: Es la etiqueta que se aplica a los eventos de este feed.
- Delimitador de división: Es el delimitador que se usa para separar las líneas de registro, como
- Haz clic en Siguiente.
- Revisa la configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.
- Haz clic en Generate Secret Key para generar una clave secreta que autentique este feed.
- Copia y almacena la clave secreta. No podrás volver a ver esta clave secreta. Si es necesario, puedes volver a generar una clave secreta nueva, pero esta acción hace que la clave secreta anterior quede obsoleta.
- En la pestaña Detalles, copia la URL del extremo del feed del campo Información del extremo. Debes especificar esta URL de extremo en tu aplicación cliente.
- Haz clic en Listo.
Crea una clave de API para el feed de webhook
Ve a consola de Google Cloud > Credenciales.
Haz clic en Crear credenciales y selecciona Clave de API.
Restringe el acceso de la clave de API a la API de Chronicle.
Especifica la URL del extremo
- En tu aplicación cliente, especifica la URL del extremo HTTPS que se proporciona en el feed de webhook.
Habilita la autenticación especificando la clave de API y la clave secreta como parte del encabezado personalizado en el siguiente formato:
X-goog-api-key = API_KEY X-Webhook-Access-Key = SECRET
Recomendación: Especifica la clave de API como un encabezado en lugar de hacerlo en la URL.
Si tu cliente de webhook no admite encabezados personalizados, puedes especificar la clave de API y la clave secreta con parámetros de consulta en el siguiente formato:
ENDPOINT_URL?key=API_KEY&secret=SECRET
Reemplaza lo siguiente:
ENDPOINT_URL
: Es la URL del extremo del feed.API_KEY
: Es la clave de API para autenticar en Google SecOps.SECRET
: Es la clave secreta que generaste para autenticar el feed.
Configura Datadog para enviar registros al webhook
- Accede a Datadog con una cuenta con privilegios.
- Ve a Registros > Reenvío de registros.
- Selecciona Destinos personalizados.
- Haz clic en + Crear un destino nuevo.
- Especifica valores para los siguientes parámetros de entrada:
- Elige un tipo de destino: Selecciona HTTP.
- Asigna un nombre al destino: Proporciona un nombre descriptivo para el webhook (por ejemplo, Webhook de SecOps de Google).
- Configura el destino: Ingresa ENDPOINT_URL, seguido de API_KEY y SECRET.
- Configura la configuración de autenticación: Agrega un encabezado general como el siguiente. Esto no dañará la solicitud HTTP y permitirá que Datadog complete la creación del webhook.
- Nombre del encabezado:
Accept
. - Valor del encabezado:
application/json
.
- Nombre del encabezado:
- Haz clic en Guardar.
Vínculos de referencia
Tabla de asignación de UDM
Campo de registro | Asignación de UDM | Lógica |
---|---|---|
_id |
read_only_udm.metadata.product_log_id |
Se asigna directamente desde el campo _id . |
alert |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo alert y se agrega como etiqueta dentro del objeto security_result . |
attributes.@timestamp |
read_only_udm.metadata.event_timestamp |
La marca de tiempo del evento se extrae del campo attributes.@timestamp y se convierte en segundos y nanosegundos. |
attributes.@version |
read_only_udm.metadata.product_version |
Se asigna directamente desde el campo attributes.@version . |
attributes.level_value |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo attributes.level_value y se agrega como etiqueta dentro del objeto security_result . |
attributes.logger_name |
read_only_udm.principal.application |
Se asigna directamente desde el campo attributes.logger_name . |
attributes._trace.baggage._sli_service |
read_only_udm.additional.fields |
Se asigna directamente desde el campo attributes._trace.baggage._sli_service y se agrega como un campo adicional. |
attributes._trace.baggage.device_id |
read_only_udm.principal.asset.asset_id |
Se asigna directamente desde el campo attributes._trace.baggage.device_id con el prefijo "Device Id:". |
attributes._trace.origin.operation |
read_only_udm.metadata.product_event_type |
Se asigna directamente desde el campo attributes._trace.origin.operation . |
caller |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo caller y se agrega como etiqueta dentro del objeto security_result . |
component |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo component y se agrega como etiqueta dentro del objeto security_result . |
context.AlertName |
read_only_udm.security_result.threat_name |
Se asigna directamente desde el campo context.AlertName . |
context.BusArch |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.BusArch y se agrega como etiqueta dentro del objeto security_result . |
context.CANDBVersion |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.CANDBVersion y se agrega como etiqueta dentro del objeto security_result . |
context.esn |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.esn y se agrega como etiqueta dentro del objeto security_result . |
context.ftcpVersion |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.ftcpVersion y se agrega como etiqueta dentro del objeto security_result . |
context.ingestMessageId |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.ingestMessageId y se agrega como etiqueta dentro del objeto security_result . |
context.redactedVin |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.redactedVin y se agrega como etiqueta dentro del objeto security_result . |
context.vehicleId |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo context.vehicleId y se agrega como etiqueta dentro del objeto security_result . |
date |
read_only_udm.metadata.collected_timestamp |
La marca de tiempo recopilada se extrae del campo date (se cambió el nombre a date1 en el analizador) y se convierte a segundos y nanosegundos. |
host |
read_only_udm.principal.hostname |
Se asigna directamente desde el campo host . |
message |
read_only_udm.security_result.about.resource.attribute.labels |
Se analiza el campo message y se usan partes de él para propagar los campos summary y json_data. La parte restante se trata como pares clave-valor y se agrega como etiquetas dentro del objeto security_result. |
msg |
read_only_udm.security_result.about.resource.attribute.labels |
Se extrae del campo msg y se agrega como etiqueta dentro del objeto security_result . |
service |
read_only_udm.metadata.product_name |
Se asigna directamente desde el campo service . |
status |
read_only_udm.security_result.severity |
La gravedad se determina en función del campo status . "INFO", "DEBUG", "debug" y "info" se asignan a "LOW", "WARN" se asigna a "MEDIUM" y otros valores no se asignan de forma explícita en el fragmento de código proporcionado. |
tags |
read_only_udm.additional.fields |
Cada etiqueta del array tags se analiza en pares clave-valor y se agrega como campos adicionales. |
N/A | read_only_udm.metadata.event_type |
Se establece en "STATUS_UPDATE" si el campo host está presente y en "GENERIC_EVENT" de lo contrario. |
Cambios
2023-07-21
- Se creó el analizador.