收集 Netskope 提醒日志 v1
支持的平台：
Google SecOps
SIEM
概览
此解析器会从 JSON 格式的邮件中提取 Netskope 提醒日志，并将其转换为 Google Security Operations UDM。它会对字段进行标准化、解析时间戳、处理提醒和严重程度、提取网络信息（IP、端口、协议）、丰富用户和文件数据，并将字段映射到 UDM 结构。该解析器还会处理登录和 DLP 事件等特定 Netskope 活动，并添加自定义标签以增强上下文。
准备工作
- 确保您拥有 Google SecOps 实例。
- 确保您拥有对 Netskope 的超级用户访问权限。
启用 Netskope REST API 访问权限
- 使用您的管理员凭据登录 Netskope 租户。
- 依次前往设置 > 工具 > REST API v1。
- 专门为 Google SecOps 创建一个新的 API 密钥。
- 提供一个描述性名称（例如“Google SecOps 密钥”）。
- 复制并保存生成的密钥和密文。
在 Google SecOps 中配置 Feed 以提取 Netskope 提醒日志
- 依次前往 SIEM 设置 > Feed。
- 点击新增。
- 在 Feed 名称字段中，输入 Feed 的名称（例如 Netskope 提醒日志）。
- 选择第三方 API 作为来源类型。
- 选择 Netskope 作为日志类型。
- 点击下一步。
- 为以下输入参数指定值：
- Authentication HTTP Header：之前使用
<key>:<secret>格式生成的密钥对，用于对 Netskope API 进行身份验证。 - API 主机名：Netskope REST API 端点的 FQDN（完全限定域名）（例如
myinstance.goskope.com）。 - API 端点：输入 alerts。
- 内容类型：输入全部。
- 资源命名空间：资源命名空间。
- 提取标签：应用于此 Feed 中的事件的标签。
- Authentication HTTP Header：之前使用
- 点击下一步。
- 在最终确定界面中查看 Feed 配置，然后点击提交。
可选：添加 Feed 配置以提取 Netskope 事件日志
- 依次前往 SIEM 设置 > Feed。
- 点击新增。
- 在Feed 名称字段中，输入 Feed 的名称（例如 Netskope 事件日志）。
- 选择第三方 API 作为来源类型。
- 选择 Netskope 作为日志类型。
- 点击下一步。
- 为以下输入参数指定值：
- Authentication HTTP Header：之前使用
<key>:<secret>格式生成的密钥对，用于对 Netskope API 进行身份验证。 - API 主机名：Netskope REST API 端点的 FQDN（完全限定域名）（例如
myinstance.goskope.com）。 - API 端点：输入 events。
- 内容类型：根据您要解析的事件，输入网页、应用、审核、基础架构或网络。
- 资源命名空间：资源命名空间。
- 提取标签：应用于此 Feed 中的事件的标签。
- Authentication HTTP Header：之前使用
- 点击下一步。
- 在最终确定界面中查看 Feed 配置，然后点击提交。
UDM 映射表
| 日志字段 | UDM 映射 | 逻辑 |
|---|---|---|
access_method |
extensions.auth.auth_details |
直接从 access_method 字段映射。 |
action |
security_result.action |
直接从 action 字段映射，如果 action 为“alert”或“bypass”，则设置为 QUARANTINE。如果 action 为允许，则为 ALLOW。如果 action 处于屏蔽状态，则为 BLOCK。 |
action |
security_result.action_details |
从 action 字段映射而来（如果该字段的值为“alert”或“bypass”）。 |
activity |
security_result.description |
直接从 activity 字段映射。 |
alert |
is_alert |
如果 alert 为“是”，则设置为 true；否则设置为 false。 |
alert_name |
- | 未映射到 IDM 对象。 |
alert_type |
security_result.category_details |
直接从 alert_type 字段映射。 |
app |
target.application |
直接从 app 字段映射。 |
app_activity |
additional.fields{key:"app_activity", value:{string_value: |
直接从 app_activity 字段映射为 additional.fields 中的键值对。 |
app_session_id |
target.resource.attribute.labels{key:"App Session Id", value: |
使用 grok 从 message 字段中提取，并添加为标签。 |
appcategory |
security_result.category_details |
如果 category 为空，则直接从 appcategory 字段映射。 |
browser |
network.http.user_agent |
如果不是“未知”，则直接从 browser 字段映射。 |
browser_version |
network.http.parsed_user_agent.browser_version |
直接从 browser_version 字段映射。 |
browser_version |
network.http.parsed_user_agent.family |
如果存在 browser_version，则设置为“USER_DEFINED”。 |
category |
security_result.category_details |
直接从 category 字段映射。 |
cci |
security_result.detection_fields{key:"cci", value: |
直接从 cci 字段映射为 detection_fields 中的键值对。 |
ccl |
security_result.confidence |
根据 ccl 的值进行设置：“差”或“低”映射到 LOW_CONFIDENCE、“中”映射到 MEDIUM_CONFIDENCE、“高”或“极佳”映射到 HIGH_CONFIDENCE。 |
ccl |
security_result.confidence_details |
直接从 ccl 字段映射。 |
client_bytes |
network.sent_bytes |
转换为无符号整数后，直接从 client_bytes 字段映射。 |
count |
additional.fields{key:"count", value:{string_value: |
直接从 count 字段映射为 additional.fields 中的键值对。 |
device |
principal.resource.resource_subtype |
直接从 device 字段映射。 |
device |
principal.resource.type |
如果存在 device 字段，则设置为“DEVICE”。 |
dlp_file |
target.file.full_path |
直接从 dlp_file 字段（如果存在）映射，否则从 file_path 映射。 |
dlp_profile |
security_result.rule_type |
直接从 dlp_profile 字段映射。 |
dlp_rule |
security_result.rule_name |
直接从 dlp_rule 字段映射。 |
dlp_rule_severity |
security_result.severity |
如果 alert_type 为 DLP，则直接从 dlp_rule_severity 字段映射。 |
dlp_rule_severity |
_severity |
如果 severity 为空，则从 dlp_rule_severity 字段映射。 |
domain |
target.asset.hostname |
直接从 domain 字段映射。 |
domain |
target.hostname |
直接从 domain 字段映射。 |
dsthost |
target.asset.hostname |
如果 dsthost 字段不是 IP 地址且 dstip 为空，则直接从 dsthost 字段映射；否则，映射到 target.hostname。 |
dsthost |
target.hostname |
如果 dsthost 字段不是 IP 地址且 dstip 不为空，则直接从 dsthost 字段映射。 |
dstip |
target.asset.ip |
直接从 dstip 字段映射。 |
dstip |
target.ip |
直接从 dstip 字段映射。 |
dstport |
target.port |
转换为整数后，直接从 dstport 字段映射。 |
dst_country |
target.location.country_or_region |
直接从 dst_country 字段映射。 |
dst_location |
target.location.city |
直接从 dst_location 字段映射。 |
dst_region |
target.location.name |
直接从 dst_region 字段映射。 |
file_path |
target.file.full_path |
如果 dlp_file 为空，则直接从 file_path 字段映射。 |
file_size |
target.file.size |
转换为无符号整数后，直接从 file_size 字段映射。 |
file_type |
target.file.mime_type |
如果不是“未知”，则直接从 file_type 字段映射。 |
from_user |
network.email.from |
如果 from_user 字段是电子邮件地址，则直接从该字段映射。 |
from_user_category |
principal.resource.attribute.labels{key:"From User Category", value: |
直接从 from_user_category 字段映射为 principal.resource.attribute.labels 中的键值对。 |
hostname |
principal.asset.hostname |
直接从 hostname 字段映射（如果不为空），否则从 instance_id 映射。 |
hostname |
principal.hostname |
直接从 hostname 字段映射（如果不为空），否则从 instance_id 映射。 |
id.time |
metadata.event_timestamp |
会被解析并映射到元数据中的 event_timestamp。 |
instance_id |
principal.asset.hostname |
如果 hostname 为空，则直接从 instance_id 字段映射。 |
instance_id |
principal.hostname |
如果 hostname 为空，则直接从 instance_id 字段映射。 |
intermediary |
intermediary |
直接从 intermediary 字段映射。 |
ip_protocol |
network.ip_protocol |
由 parse_ip_protocol.include 文件解析后从 ip_protocol 字段映射而来。 |
is_alert |
is_alert |
解析器生成的字段。如果 alert 字段为“yes”，则设置为 true。 |
is_significant |
is_significant |
解析器生成的字段。如果 _severity 为“CRITICAL”或“HIGH”，则设置为 true。 |
ja3 |
network.tls.client.ja3 |
如果 ja3 字段与十六进制模式匹配，则直接从该字段映射。 |
ja3s |
network.tls.server.ja3s |
如果 ja3s 字段与十六进制模式匹配，则直接从该字段映射。 |
malware_id |
security_result.threat_id |
直接从 malware_id 字段映射。 |
malware_name |
security_result.threat_name |
直接从 malware_name 字段映射。 |
malware_severity |
security_result.severity |
从 malware_severity 字段转换为大写后直接映射。 |
malware_type |
security_result.detection_fields{key:"Malware Type", value: |
直接从 malware_type 字段映射为 detection_fields 中的键值对。 |
matched_username |
principal.user.email_addresses |
如果 matched_username 字段是电子邮件地址，则直接从该字段映射。 |
md5 |
target.file.md5 |
直接从 md5 字段映射（前提是该字段不为空或不为“不可用”）。 |
metadata.event_type |
metadata.event_type |
最初设为“GENERIC_EVENT”，然后可能会根据其他字段被替换。如果存在 srcip 或 hostname 以及 dstip 或 dsthost 或 domain，则设置为 NETWORK_HTTP。如果存在 srcip 或 hostname，但不存在 dstip、dsthost 或 domain，则设置为 STATUS_UPDATE。如果存在 user，则设置为 USER_UNCATEGORIZED。如果 activity 为“自省扫描”，并且存在 shared_with 或 from_user，则设置为 EMAIL_UNCATEGORIZED。如果 activity 为“登录失败”“登录成功”或“登录尝试”，则设置为 USER_LOGIN。 |
metadata.log_type |
metadata.log_type |
设置为“NETSKOPE_ALERT”。 |
metadata.product_log_id |
metadata.product_log_id |
直接从 _id 字段映射。 |
metadata.product_name |
metadata.product_name |
将其设置为“Netskope Alert”。 |
metadata.vendor_name |
metadata.vendor_name |
设置为“Netskope”。 |
netskope_pop |
observer.hostname |
直接从 netskope_pop 字段映射。 |
object |
additional.fields{key:"Object", value:{string_value: |
直接从 object 字段映射为 additional.fields 中的键值对。 |
object_id |
additional.fields{key:"Object id", value:{string_value: |
直接从 object_id 字段映射为 additional.fields 中的键值对。 |
object_type |
additional.fields{key:"Object type", value:{string_value: |
直接从 object_type 字段映射为 additional.fields 中的键值对。 |
organization_unit |
principal.administrative_domain |
直接从 organization_unit 字段映射。 |
os |
principal.platform |
从 os 字段映射而来：“Windows”映射到 WINDOWS、“MAC”映射到 MAC、“LINUX”映射到 LINUX。 |
os_version |
principal.platform_version |
直接从 os_version 字段映射。 |
other_categories |
- | 未映射到 IDM 对象。 |
page |
network.http.referral_url |
如果 referer 为空，则直接从 page 字段映射。 |
policy |
security_result.summary |
直接从 policy 字段映射。 |
principal.user.email_addresses |
principal.user.email_addresses |
从 user 字段合并（如果是电子邮件地址）。 |
protocol |
network.application_protocol |
从 protocol 字段直接映射，移除第一个“/”后面的所有内容。转换为大写。 |
publisher_cn |
additional.fields{key:"publisher_cn", value:{string_value: |
直接从 publisher_cn 字段映射为 additional.fields 中的键值对。 |
publisher_name |
additional.fields{key:"publisher_name", value:{string_value: |
直接从 publisher_name 字段映射为 additional.fields 中的键值对。 |
referer |
network.http.referral_url |
直接从 referer 字段映射。 |
security_result.alert_state |
security_result.alert_state |
如果 alert 为“yes”，则设置为“ALERTING”；如果 alert 为“no”，则设置为“NOT_ALERTING”；否则设置为“UNSPECIFIED”。 |
security_result.category_details |
security_result.category_details |
从 category、appcategory 或 alert_type 字段合并而来。 |
security_result.confidence |
security_result.confidence |
派生自 ccl 字段。 |
security_result.confidence_details |
security_result.confidence_details |
直接从 ccl 字段映射。 |
security_result.description |
security_result.description |
直接从 activity 字段映射。 |
security_result.rule_name |
security_result.rule_name |
直接从 dlp_rule 字段映射。 |
security_result.rule_type |
security_result.rule_type |
直接从 dlp_profile 字段映射。 |
security_result.severity |
security_result.severity |
派生自 _severity、malware_severity 或 dlp_rule_severity 字段。 |
security_result.summary |
security_result.summary |
直接从 policy 字段映射。 |
security_result.threat_id |
security_result.threat_id |
直接从 malware_id 字段映射。 |
security_result.threat_name |
security_result.threat_name |
直接从 malware_name 字段映射。 |
server_bytes |
network.received_bytes |
转换为无符号整数后，直接从 server_bytes 字段映射。 |
severity |
_severity |
直接从 severity 字段映射。 |
sha256 |
target.file.sha256 |
直接从 sha256 字段映射。 |
shared_with |
network.email.to |
从 shared_with 字段解析，并添加到 network.email.to 数组（如果是电子邮件地址）。 |
site |
additional.fields{key:"site", value:{string_value: |
直接从 site 字段映射为 additional.fields 中的键值对。 |
src_country |
principal.location.country_or_region |
直接从 src_country 字段映射。 |
src_latitude |
principal.location.region_latitude |
直接从 src_latitude 字段映射。 |
src_location |
principal.location.city |
直接从 src_location 字段映射。 |
src_longitude |
principal.location.region_longitude |
直接从 src_longitude 字段映射。 |
src_region |
principal.location.name |
直接从 src_region 字段映射。 |
srcip |
principal.asset.ip |
使用 grok 从 srcip 字段中提取，并合并到 principal.asset.ip 和 principal.ip 数组中。 |
srcip |
principal.ip |
使用 grok 从 srcip 字段中提取，并合并到 principal.asset.ip 和 principal.ip 数组中。 |
srcport |
principal.port |
转换为整数后，直接从 srcport 字段映射。 |
target.user.email_addresses |
target.user.email_addresses |
从 to_user 字段合并（如果是电子邮件地址）。 |
threat_match_field |
security_result.detection_fields{key:"Threat Match Field", value: |
直接从 threat_match_field 字段映射为 detection_fields 中的键值对。 |
timestamp |
metadata.event_timestamp |
从 timestamp 或 id.time 字段解析。 |
to_user |
target.user.email_addresses |
从 to_user 字段解析，并添加到 target.user.email_addresses 数组（如果是电子邮件地址）。 |
to_user_category |
target.resource.attribute.labels{key:"To User Category", value: |
直接从 to_user_category 字段映射为 target.resource.attribute.labels 中的键值对。 |
traffic_type |
security_result.detection_fields{key:"traffic_type", value: |
直接从 traffic_type 字段映射为 detection_fields 中的键值对。 |
tunnel_id |
additional.fields{key:"tunnel_id", value:{string_value: |
直接从 tunnel_id 字段映射为 additional.fields 中的键值对。 |
tunnel_type |
additional.fields{key:"tunnel_type", value:{string_value: |
直接从 tunnel_type 字段映射为 additional.fields 中的键值对。 |
type |
security_result.detection_fields{key:"type", value: |
直接从 type 字段映射为 detection_fields 中的键值对。 |
ur_normalized |
- | 未映射到 IDM 对象。 |
url |
target.url |
直接从 url 字段映射。 |
user |
event.idm.read_only_udm.principal.user.userid |
直接从 user 字段映射。 |
user |
principal.user.email_addresses |
如果 user 字段是电子邮件地址，则直接从该字段映射。 |
useragent |
network.http.user_agent |
直接从 useragent 字段映射。 |
useragent |
network.http.parsed_user_agent |
已转换为 parseduseragent 并映射到 network.http.parsed_user_agent。 |
user_agent |
network.http.user_agent |
直接从 user_agent 字段映射。 |
user_agent |
network.http.parsed_user_agent |
已转换为 parseduseragent 并映射到 network.http.parsed_user_agent。 |
更改
2024-06-04
- 将“matched_username”映射到“principal.user.email_addresses”。
- 如果“action”为“bypass”或“alert”，则将“action”映射到“security_result.action_details”，并将“security_result.action”设置为“QUARANTINE”。
- 如果“alert_type”为“DLP”，则将“dlp_rule_severity”映射到“security_result.severity”。
2024-02-19
- 将“client_bytes”的映射从“network.received_bytes”更改为“network.sent_bytes”。
- 将“server_bytes”的映射从“network.sent_bytes”更改为“network.received_bytes”。
2024-02-08
- 将“useragent”和“user_agent”映射到“network.http.user_agent”和“network.http.parsed_user_agent”。
2023-11-10
- 添加了 Grok 模式，用于检查“srcip”是否为有效的 IP 模式。
- 将“instance_id”映射到“principal.hostname”。
- 将“traffic_type”映射到“security_result.detection_fields”。
- 将“app_activity”映射到“additional.fields”。
- 将“count”映射到“additional.fields”。
- 将“site”映射到“additional.fields”。
- 将“device”映射到“principal.resource.resource_sub_type”。
- 将“type”映射到“security_result.detection_fields”。
- 使用“replace”而非“rename”更改了“hostname”的映射。
- 将“cci”映射从“additional.fields”更改为“security_result.detection_fields”。
- 将“ccl”映射从“additional.fields”更改为“security_result.confidence_details”。
- 根据“ccl”中的值填充“security_result.confidence”。
2023-07-14
- bug 修复 -
- 在映射之前，使用 Grok 模式提取的“browser_session_id”“app_session_id”值。
- 添加了条件检查，以便在映射“to_user”字段之前验证电子邮件地址。
2023-07-06
- 增强功能 -
- 修改了 Grok 模式，以确定“dsthost”是否为 IP 地址。
- 如果“dsthost”是 IP 地址，则映射到“target.ip”，否则映射到“target.hostname”。
2023-06-06
- 增强功能 -
- 将“domain”映射到“target.hostname”。
- 将“app_session_id”映射到“target.resource.attribute.labels”。
- 将“malware_severity”映射到“security_result.severity”。
- 将“malware_type”映射到“security_result.detection_fields”。
- 将“threat_match_field”映射到“security_result.detection_fields”。
- 将“ja3”映射到“network.tls.client.ja3”。
- 将“ja3s”映射到“network.tls.server.ja3s”。
- 将“cci”“ccl”映射到“additional.fields”。
- 将“access_method”映射到“extensions.auth.auth_details”。
- 将“browser_version”映射到“network.http.parsed_user_agent.browser_version”。
- 将“dlp_profile”映射到“security_result.rule_type”。
- 将“dlp_rule”映射到“security_result.rule_name”。
- 将“netskope_pop”映射到“observer.hostname”。
- 将“页面”映射到“network.http.referral_url”。
- 将“to_user”映射到“target.user.email_addresses”。
- 将“to_user_category”映射到“target.resource.attribute.labels”。
2023-03-23
- 增强功能 -
- 如果“alert”等于“yes”，则将“security_result.alert_state”映射到“ALERTING”。
- 如果“alert”等于“no”，则将“security_result.alert_state”映射到“NOT_ALERTING”。
- 如果“alert”为 null，则将“security_result.alert_state”映射到“UNSPECIFIED”。
2022-07-23
- 移除了“metadata.description”的不必要映射。
2022-07-01
- 字段“os”已映射到“principal.platform”。
- 如果“dsthost”是 IP 地址，则“dsthost”字段会映射到“target.ip”，否则会映射到“target.hostname”。
- “dstport”字段已映射到“target.port”。
- “srcport”字段已映射到“principal.port”。
- 如果“user”是有效的电子邮件地址，则将“user”字段映射到“principal.user.email_addresses”。
- “src_latitude”字段已映射到“principal.location.region_latitude”。
- 将“src_longitude”字段映射到“principal.location.region_longitude”。
- 将“ip_protocol”字段映射到“network.ip_protocol”。
- 将“client_bytes”字段映射到“network.received_bytes”。
- 将“server_bytes”字段映射到“network.sent_bytes”。
- 将“browser_session_id”字段映射到“network.session_id”。
- 将“network_session_id”字段映射到“network.session_id”。
- 将“appcategory”字段映射到“security_result.category_details”。
- 字段“publisher_cn”已映射到“additional.fields[n]”。
- 将“publisher_name”字段映射到“additional.fields[n]”。
- 将“tunnel_id”字段映射到“additional.fields[n]”。
- 字段“tunnel_type”已映射到“additional.fields[n]”。
- 将“shared_with”字段的映射从“intermediary.user.email_addresses”更改为“network.email.to”。
- 将“network.email.to”字段的映射从“principal.user.email_addresses”更改为“network.email.from”。
- 为“_severity”“shared_with”“from_user”“protocol”字段添加了条件检查。
- 针对以下情况修改了“metadata.event_type”：
- 将“GENERIC_EVENT”更改为“NETWORK_HTTP”，其中“principal.ip or principal.hostname”和“target.ip or target.hostname”均不为 null。
- 将“GENERIC_EVENT”更改为“STATUS_UPDATE”，其中“principal.ip 或 principal.hostname”不为 null。
- 将“GENERIC_EVENT”更改为“USER_UNCATEGORIZED”，前提是“principal.user.userid”不为 null。
2022-06-17
- bug 修复：
- 添加了针对“md5”==“not available”的条件检查。