收集 Cisco Secure Email Gateway 日志
支持的平台：
Google SecOps
SIEM
本文档介绍了如何使用 Google 安全运营转发器收集 Cisco Secure Email Gateway 日志。
如需了解详情，请参阅将数据提取到 Google SecOps。
注入标签标识将原始日志数据标准化为结构化 UDM 格式的解析器。本文档中的信息适用于具有 CISCO-EMAIL-SECURITY 注入标签的解析器。
配置 Cisco Secure Email Gateway
- 在 Cisco Secure Email Gateway 控制台中，依次选择系统管理 > 日志订阅。
- 在新建日志订阅窗口中，执行以下操作以添加日志订阅：
- 在日志类型字段中，选择汇总事件日志。
- 在可用日志字段部分中，选择所有可用字段，然后点击添加将其移至所选日志字段。
- 如需为日志订阅选择日志检索方法，请选择 Syslog push，然后执行以下操作：
- 在主机名字段中，指定 Google SecOps 转发器 IP 地址。
- 在 Protocol 字段中，选中 TCP 复选框。
- 在设施字段中，使用默认值。
- 如需保存配置更改，请点击提交。
配置 Google SecOps 转发器以注入 Cisco Secure Email Gateway
- 依次前往 SIEM 设置 > 转发器。
- 点击添加新的货运代理
- 在转发器名称字段中，为转发器输入一个唯一的名称。
- 点击提交。系统会添加转发器，并显示添加收集器配置窗口。
- 在收集器名称字段中，输入名称。
- 选择 Cisco Email Security 作为日志类型。
- 在收集器类型字段中，选择 Syslog。
- 配置以下必需的输入参数：
- 协议：指定收集器用于监听 syslog 数据的连接协议。
- 地址：指定收集器所在并监听 syslog 数据的目标 IP 地址或主机名。
- 端口：指定收集器所在的目标端口，以及收集器监听 syslog 数据的端口。
- 点击提交。
如需详细了解 Google SecOps 转发器，请参阅通过 Google SecOps 界面管理转发器配置。
如果您在创建转发器时遇到问题，请与 Google SecOps 支持团队联系。
字段映射参考文档
此解析器可处理结构化（JSON、键值对）和非结构化（syslog）Cisco 电子邮件安全日志。它会利用 grok 模式、键值对提取和基于 product_event 字段的条件逻辑，将相关的 Cisco ESA 字段映射到 UDM，从而将各种日志格式标准化为 UDM。它还会执行数据丰富功能，例如转换时间戳和处理重复消息。
UDM 映射表
| 日志字段 | UDM 映射 | 逻辑 |
|---|---|---|
acl_decision_tag |
read_only_udm.security_result.detection_fields.value |
如果不为空，则直接映射，否则为“-”或“NONE”。键为“ACL Decision Tag”。 |
access_or_decryption_policy_group |
read_only_udm.security_result.detection_fields.value |
如果不为空，则直接映射，否则为“-”或“NONE”。键为“AccessOrDecryptionPolicyGroup”。 |
act |
read_only_udm.security_result.action_details |
直接映射。 |
authenticated_user |
read_only_udm.principal.user.userid |
如果不为空，则直接映射，否则为“-”或“NONE”。 |
cache_hierarchy_retrieval |
read_only_udm.security_result.detection_fields.value |
如果不为空，则直接映射，否则为“-”或“NONE”。键为“Cache Hierarchy Retrieval”。 |
cipher |
read_only_udm.network.tls.cipher |
直接映射。 |
country |
read_only_udm.principal.location.country_or_region |
直接映射。 |
data_security_policy_group |
read_only_udm.security_result.detection_fields.value |
如果不为空，则直接映射，否则为“-”或“NONE”。键为“DataSecurityPolicyGroup”。 |
description |
read_only_udm.metadata.description |
直接映射到 syslog 消息。对于 CEF 消息，此属性将成为整体商品说明。各种 Grok 模式会根据 product_event 提取特定说明。系统会使用 gsub 修改部分说明，以移除开头/结尾空格和英文冒号。 |
deviceDirection |
read_only_udm.network.direction |
如果为“0”，则映射为“INBOUND”。如果为“1”，则映射为“OUTBOUND”。用于确定要直接映射哪些 TLS 加密套件和协议，以及要将哪些 TLS 加密套件和协议映射为标签。 |
deviceExternalId |
read_only_udm.principal.asset.asset_id |
映射为“设备 ID： |
domain |
read_only_udm.target.administrative_domain |
直接从 JSON 日志映射。 |
domain_age |
read_only_udm.security_result.about.labels.value |
直接映射。键为“YoungestDomainAge”。 |
duser |
read_only_udm.target.user.email_addresses，read_only_udm.network.email.to |
如果包含“;”，请拆分为多个电子邮件地址，并将每个地址映射到两个 UDM 字段。否则，如果电子邮件地址有效，请直接映射到这两个 UDM 字段。还用于在 network_to 为空时填充 network_to。 |
dvc |
read_only_udm.target.ip |
直接映射。 |
entries.collection_time.nanos，entries.collection_time.seconds |
read_only_udm.metadata.event_timestamp.nanos，read_only_udm.metadata.event_timestamp.seconds |
用于构建事件时间戳。 |
env-from |
read_only_udm.additional.fields.value.string_value |
直接映射。键为“Env-From”。 |
ESAAttachmentDetails |
read_only_udm.security_result.about.file.full_path，read_only_udm.security_result.about.file.sha256 |
会被解析以提取文件名和 SHA256 哈希值。您可以提取多个文件和哈希。 |
ESADCID |
read_only_udm.security_result.about.labels.value |
直接映射。键为“ESADCID”。 |
ESAFriendlyFrom |
read_only_udm.principal.user.user_display_name，read_only_udm.network.email.from |
会被解析以提取显示名称和电子邮件地址。 |
ESAHeloDomain |
read_only_udm.intermediary.administrative_domain |
直接映射。 |
ESAHeloIP |
read_only_udm.intermediary.ip |
直接映射。 |
ESAICID |
read_only_udm.security_result.about.labels.value |
直接映射。键为“ESAICID”。 |
ESAMailFlowPolicy |
read_only_udm.security_result.rule_name |
直接映射。 |
ESAMID |
read_only_udm.security_result.about.labels.value |
直接映射。键为“ESAMID”。 |
ESAReplyTo |
read_only_udm.network.email.reply_to |
如果是有效的电子邮件地址，则直接映射。也用于填充 network_to。 |
ESASDRDomainAge |
read_only_udm.security_result.about.labels.value |
直接映射。键为“ESASDRDomainAge”。 |
ESASenderGroup |
read_only_udm.principal.group.group_display_name |
直接映射。 |
ESAStatus |
read_only_udm.security_result.about.labels.value |
直接映射。键为“ESAStatus”。 |
ESATLSInCipher |
read_only_udm.network.tls.cipher 或 read_only_udm.security_result.about.labels.value |
如果 deviceDirection 为“0”，则直接映射到密码。否则，将其映射为键为“ESATLSInCipher”的标签。 |
ESATLSInProtocol |
read_only_udm.network.tls.version 或 read_only_udm.security_result.about.labels.value |
如果 deviceDirection 为“0”，则直接提取并映射 TLS 版本。否则，将映射为键为“ESATLSInProtocol”的标签。 |
ESATLSOutCipher |
read_only_udm.network.tls.cipher 或 read_only_udm.security_result.about.labels.value |
如果 deviceDirection 为“1”，则直接映射到密码。否则，将其映射为键为“ESATLSOutCipher”的标签。 |
ESATLSOutProtocol |
read_only_udm.network.tls.version 或 read_only_udm.security_result.about.labels.value |
如果 deviceDirection 为“1”，则直接提取并映射 TLS 版本。否则，将映射为键为“ESATLSOutProtocol”的标签。 |
ESAURLDetails |
read_only_udm.target.url |
会被解析以提取网址。由于该字段不会重复，因此系统只会映射第一个网址。 |
external_dlp_policy_group |
read_only_udm.security_result.detection_fields.value |
如果不为空，则直接映射，否则为“-”或“NONE”。键为“ExternalDlpPolicyGroup”。 |
ExternalMsgID |
read_only_udm.security_result.about.labels.value |
移除单引号和尖括号后，直接映射。键为“ExternalMsgID”。 |
from |
read_only_udm.network.email.from |
如果是有效的电子邮件地址，则直接映射。也用于填充 network_from。 |
host.hostname |
read_only_udm.principal.hostname 或 read_only_udm.intermediary.hostname |
如果 host 字段无效，则映射到主机名。也映射到中间主机名。 |
host.ip |
read_only_udm.principal.ip 或 read_only_udm.intermediary.ip |
如果 JSON 日志中未设置 ip 字段，则映射到主 IP。也映射到中间 IP。 |
hostname |
read_only_udm.target.hostname |
直接映射。 |
http_method |
read_only_udm.network.http.method |
直接映射。 |
http_response_code |
read_only_udm.network.http.response_code |
直接映射并转换为整数。 |
identity_policy_group |
read_only_udm.security_result.detection_fields.value |
如果不为空，则直接映射，否则为“-”或“NONE”。键为“IdentityPolicyGroup”。 |
ip |
read_only_udm.principal.ip |
直接映射。会被 source_ip（如果存在）覆盖。 |
kv_msg |
多种 | 使用 kv 过滤器解析。预处理包括将键前面的空格替换为“#”并交换 csLabel 值。 |
log_type |
read_only_udm.metadata.log_type |
已硬编码为“CISCO_EMAIL_SECURITY”。 |
loglevel |
read_only_udm.security_result.severity，read_only_udm.security_result.action |
用于确定严重程度和操作。“信息”“”“调试”“轨迹”分别映射到“INFORMATIONAL”和“ALLOW”。“警告”对应于“中等”和“允许”。“高”对应于“HIGH”和“BLOCK”。“严重”和“提醒”分别映射到“CRITICAL”和“BLOCK”，并将 is_alert 设置为 true。 |
mail_id |
read_only_udm.network.email.mail_id |
直接从 JSON 日志映射。 |
mailto |
read_only_udm.target.user.email_addresses，read_only_udm.network.email.to |
如果是有效的电子邮件地址，则直接映射到两个 UDM 字段。 |
MailPolicy |
read_only_udm.security_result.about.labels.value |
直接映射。键为“MailPolicy”。 |
message |
多种 | 尽可能解析为 JSON。否则，将作为 syslog 消息进行处理。 |
message_id |
read_only_udm.network.email.mail_id |
直接映射。也用于填充 network_data。 |
msg |
read_only_udm.network.email.subject |
在 UTF-8 解码并移除回车符、换行符和额外引号后直接映射。也用于填充 network_data。 |
msg1 |
多种 | 使用 kv 过滤器解析。用于提取 Hostname、helo、env-from 和 reply-to。 |
outbound_malware_scanning_policy_group |
read_only_udm.security_result.detection_fields.value |
如果不为空，则直接映射，否则为“-”或“NONE”。键为“DataSecurityPolicyGroup”。 |
port |
read_only_udm.target.port |
直接映射并转换为整数。 |
principalMail |
read_only_udm.principal.user.email_addresses |
直接映射。 |
principalUrl |
read_only_udm.principal.url |
直接映射。 |
product_event |
read_only_udm.metadata.product_event_type |
直接映射。用于确定要应用哪些 Grok 模式。移除前导“%”字符。“amp”已替换为“SIEM_AMPenginelogs”。 |
product_version |
read_only_udm.metadata.product_version |
直接映射。 |
protocol |
read_only_udm.network.tls.version |
直接映射。 |
received_bytes |
read_only_udm.network.received_bytes |
直接映射并转换为无符号整数。 |
reply-to |
read_only_udm.additional.fields.value.string_value |
直接映射。键为“Reply-To”。 |
reputation |
read_only_udm.security_result.confidence_details |
直接映射。 |
request_method_uri |
read_only_udm.target.url |
直接映射。 |
result_code |
read_only_udm.security_result.detection_fields.value |
直接映射。键为“Result Code”。 |
routing_policy_group |
read_only_udm.security_result.detection_fields.value |
如果不为空，则直接映射，否则为“-”或“NONE”。键为“RoutingPolicyGroup”。 |
rule |
read_only_udm.security_result.detection_fields.value |
直接映射。键为“Matched Condition”。 |
SDRThreatCategory |
read_only_udm.security_result.threat_name |
如果不为空或“不适用”，则直接映射。 |
SenderCountry |
read_only_udm.principal.location.country_or_region |
直接映射。 |
senderGroup |
read_only_udm.principal.group.group_display_name |
直接映射。 |
security_description |
read_only_udm.security_result.description |
直接映射。 |
security_email |
read_only_udm.security_result.about.email 或 read_only_udm.principal.hostname |
如果是有效的电子邮件地址，则会映射到电子邮件地址。否则，使用 grok 提取后映射到主机名。 |
source |
read_only_udm.network.ip_protocol |
如果包含“tcp”，则映射到“TCP”。 |
sourceAddress |
read_only_udm.principal.ip |
直接映射。 |
sourceHostName |
read_only_udm.principal.administrative_domain |
如果不是“未知”，则直接映射。 |
source_ip |
read_only_udm.principal.ip |
直接映射。会覆盖 ip（如果存在）。 |
Subject |
read_only_udm.network.email.subject |
移除尾随句点后直接映射。也用于填充 network_data。 |
suser |
read_only_udm.principal.user.email_addresses，read_only_udm.network.email.bounce_address |
如果是有效的电子邮件地址，则直接映射到两个 UDM 字段。 |
target_ip |
read_only_udm.target.ip |
直接映射。 |
to |
read_only_udm.network.email.to |
如果是有效的电子邮件地址，则直接映射。也用于填充 network_to。 |
total_bytes |
read_only_udm.network.sent_bytes |
直接映射并转换为无符号整数。 |
trackerHeader |
read_only_udm.additional.fields.value.string_value |
直接映射。键为“Tracker Header”。 |
ts、ts1、year |
read_only_udm.metadata.event_timestamp.seconds |
用于构建事件时间戳。如果存在 ts1，则会合并 ts1 和 year。支持多种格式，包括带年份和不带年份的格式。如果未提供年份，则使用当前年份。已硬编码为“Cisco”。已硬编码为“Cisco Email Security”。默认为“ALLOW”。根据 loglevel 或 description 设置为“BLOCK”。如果存在 application_protocol，则默认为“INBOUND”。对于 CEF 消息，根据 deviceDirection 进行设置。根据 network_from、network_to、target_ip、ip、description、event_type、principal_host、Hostname、user_id 和 sourceAddress 等字段的组合确定。默认为“GENERIC_EVENT”。如果 application_protocol 为“SMTP”或“smtp”，或者存在 target_ip 和 ip，则设置为“SMTP”。如果 sshd 日志中存在 login_status 和 user_id，则设置为“AUTHTYPE_UNSPECIFIED”。如果 loglevel 为“严重”或“提醒”，则设置为 true。 |
变化
2023-10-05
- bug 修复：
- 将“product_event”从“amp”重命名为“SIEM_AMPenginelogs”。
2023-09-15
- 添加了对 JSON 日志的“SIEM_proxylogs”“SIEM_webrootlogs”“SIEM_AMPenginelogs”的支持。
2023-09-04
- 改进
- 添加了 Grok 模式来解析未解析的日志，并相应地映射字段。
- 添加了对新模式 JSON 日志的支持。
2022-12-16
- 改进
- 修改了映射到“network.email.to”“network.email.from”“principal.user.email_addresses”“target.user.email_addresses”和“network.email.reply_to”的字段的条件检查。
- 添加了对 JSON 日志的支持：
- 将“host”字段映射到“principal.hostname”。
- 将“domain”字段映射到了“target.administrative_domain”。
- 将“mail_id”字段映射到了“network.email.mail_id”。
- 将“mailto”字段映射到了“network.email.to”和“target.user.email_addresses”。
- 将字段“source”映射到“network.ip_protocol”。
- 将“reputation”字段映射到了“security_result.confidence_details”。
- 将“log_type”字段映射到“security_result.severity”和“security_result.severity_details”。
- 将字段“cribl_pipe”映射到“additional.fields”。
2022-09-22
- 改进
- 为未解析的日志添加了 Grok 模式，其中“product_event”字段为空。
2022-08-02
- 改进
- 为新添加的 event_type“STATUS_UPDATE”“USER_UNCATEGORIZED”“SCAN_PROCESS”添加了条件
- 将“attack”映射到“security_result.category_details”
- 增强了解析器，以解析不同类型日志的“ESAAttachmentDetails”字段。
2022-06-09
- 增强功能 - 将“from_user”映射到“principal.user.user_display_name”。
- 将“metadata.product_event_type”从“Consolidated Log Event”更新为“ESA_CONSOLIDATED_LOG_EVENT”。
2022-06-07
- 增强功能 - 将 suser 映射到 network.email.bounce_address。
2022-05-17
- 增强功能 - 将 duser 映射到 network.email.to。
- 为 product_version 和 product_description 字段添加了 on_error，以避免将 null 值映射到 UDM。
- 添加了额外的逻辑来解析以“DAY TIMESTAMP YEAR”格式开头的日志，例如：2021 年 2 月 18 日（星期三）00:34:12。
2022-05-05
- 增强功能 - 使用了 grok 来处理 network.email.from
2022-03-31
- 增强功能 - 添加了新字段的映射。
- ESAReplyTo 已映射到 network.email.reply_to。
- duser 已映射到 network.email.to。