自动提取功能概览

支持的平台：

本文档简要介绍了如何自动提取数据，以增强数据提取、处理和分析能力。

Google 安全运营团队使用预构建的解析器，通过统一数据模型 (UDM) 架构提取和结构化日志数据。由于存在以下几项限制，因此管理和维护这些解析器可能具有挑战性：数据提取不完整、需要管理的解析器数量不断增加，以及随着日志格式的演变而需要频繁更新。

为了应对这些挑战，您可以使用自动提取功能。此功能可自动从提取到 Google SecOps 的 JSON 格式日志中提取键值对。这些提取的数据存储在名为 extracted 的 UDM 地图类型字段中。然后，您可以在 UDM 搜索查询、预览信息中心和 YARA-L 规则中使用这些数据。自动解析支持 JSON 格式日志。

最佳实践是，使用提取的字段进行 UDM 搜索时，必须在查询中包含 metadata.log_type，以提高搜索查询性能。

自动提取的好处是减少对解析器的依赖，确保即使没有解析器或解析器未能解析日志，数据也仍然可用。

解析和提取原始日志中的数据

  1. 解析：Google SecOps 会尝试使用特定于日志类型的解析器（如果有）解析日志。如果不存在特定解析器，或者解析失败，Google SecOps 会使用通用解析器提取基本信息，例如提取时间戳、日志类型和元数据标签。

  2. 数据提取：系统会自动从日志中提取所有数据点。

  3. 事件丰富功能：Google SecOps 会将解析的数据和任何采用自定义格式的字段组合起来，以创建经过丰富的事件，从而提供更多背景信息和详细信息。

  4. 下游数据传输：然后，这些经过丰富的事件会发送到其他系统，以进行进一步分析和处理。