收集 Cloudflare 日志
支持的平台:
Google SecOps
SIEM
概览
此解析器可处理各种 Cloudflare 日志类型(DNS、HTTP、审核、零信任、CASB)。该工具首先会对常用字段进行标准化处理,然后根据 QueryName、Action 和 ID 等特定字段应用条件逻辑,以提取相关数据并将其映射到 UDM。它还会执行数据类型转换、对 IP 地址和哈希进行 Grok 匹配,并处理嵌套的 JSON 载荷。
准备工作
- 确保您拥有 Google SecOps 实例。
- 确保您拥有 Google Cloud IAM 的特权访问权限。
- 确保您拥有对 Google Cloud Storage 的特权访问权限。
- 确保您拥有对 Cloudflare 的超级用户访问权限。
创建 Google Cloud Storage 存储分区
- 登录 Google Cloud 控制台。
前往 Cloud Storage 存储分区页面。
点击创建。
在创建存储桶页面上,输入您的存储桶信息。完成以下每个步骤后,点击继续以进入下一步:
在开始使用部分中,执行以下操作:
- 输入符合存储分区名称要求的唯一名称(例如 cloudflare-data)。
- 如需启用分层命名空间,请点击展开箭头以展开 Optimize for file oriented and data-intensive workloads 部分,然后选择 Enable Hierarchical namespace on this bucket。
- 如需添加存储分区标签,请点击展开箭头以展开标签部分。
- 点击添加标签,然后为标签指定键和值。
在选择数据存储位置部分中,执行以下操作:
- 选择位置类型。
- 使用位置类型的下拉菜单选择一个位置,用于永久存储存储分区中的对象数据。
- 如果您选择双区域位置类型,还可以使用相关复选框选择启用增强型复制。
- 如需设置跨存储分区复制,请展开设置跨存储分区复制部分。
在为数据选择一个存储类别部分中,为存储分区选择默认存储类别,或者选择 Autoclass 对存储分区数据进行自动存储类别管理。
在选择如何控制对对象的访问权限部分中,选择否以强制执行禁止公开访问,然后为存储分区对象选择访问权限控制模型。
在选择如何保护对象数据部分中,执行以下操作:
- 在数据保护下,选择您要为存储分区设置的任何选项。
- 如需选择对象数据的加密方式,请点击标有数据加密的展开箭头,然后选择数据加密方法。
点击创建。
创建 Google Cloud 服务账号
- 依次前往 IAM 和管理 > 服务账号。
- 创建新的服务账号。
- 为其指定一个描述性名称(例如 cloudflare-logs)。
- 向服务账号授予您在上一步中创建的 GCS 存储分区的 Storage Object Creator 角色。
- 为服务账号创建 SSH 密钥。
- 下载服务账号的 JSON 密钥文件。请妥善保管此文件。
为 Google Cloud Storage 启用 Cloudflare IAM
- 依次前往存储空间 > 浏览器 > 存储分区 > 权限。
- 添加具有 Storage Object Admin 权限的成员
logpush@cloudflare-data.iam.gserviceaccount.com
。
在 Google SecOps 中配置 Feed 以提取 Cloudflare 日志
- 依次前往 SIEM 设置 > Feed。
- 点击新增。
- 在Feed 名称字段中,输入 Feed 的名称(例如 Cloudflare 日志)。
- 选择 Google Cloud Storage 作为来源类型。
- 选择 Cloudflare 作为日志类型。
- 点击获取服务账号作为 Chronicle 服务账号。
- 点击下一步。
为以下输入参数指定值:
- 存储分区 URI:采用
gs://my-bucket/<value>
格式的 Google Cloud Storage 存储分区网址。 - URI 是:选择包含子目录的目录。
- 来源删除选项:根据您的偏好选择删除选项。
- 资源命名空间:资源命名空间。
- 提取标签:应用于此 Feed 中的事件的标签。
- 存储分区 URI:采用
点击下一步。
在最终确定界面中查看新的 Feed 配置,然后点击提交。
配置 Cloudflare 以将日志发送到 Google Cloud Storage
- 登录 Cloudflare 信息中心。
- 选择要与 Logpush 搭配使用的企业账号或网域(也称为“区域”)。
- 依次前往分析和日志 > Logpush。
- 选择创建 Logpush 作业。
- 在选择目标位置中,选择 Google Cloud Storage。
输入或选择以下目的地详细信息:
- 存储分区:GCS 存储分区名称
- 路径:存储容器中的存储分区位置
- 复选框:将日志整理到每日子文件夹中(推荐)
点击继续。
所有权验证:
- Cloudflare 会向您的存储分区发送文件。
- 复制并粘贴令牌:
- 依次登录 Google Cloud 控制台 > 存储 > Cloudflare 存储分区。
- 打开所有权异议文件。
- 复制所有权令牌。
- 在 Cloudflare 控制台中输入所有权令牌。
- 选择继续。
- 选择要推送到存储分区的数据集。
配置 Logpush 作业:
- 输入作业名称。
- 在“如果日志匹配”下,您可以选择要包含和/或从日志中移除的事件。
- 发送以下字段:选择推送所有日志,或选择要推送的日志。
选择提交以完成配置。
UDM 映射表
日志字段 | UDM 映射 | 逻辑 |
---|---|---|
AccountID |
target.resource.id ,target.resource.product_object_id |
与事件关联的账号 ID。 |
Action |
security_result.action |
根据事件采取的操作。allow 或 allowed* 会导致 ALLOW 。unknown 会导致 UNKNOWN_ACTION 。其他值会导致 BLOCK 。对于访问日志,login 会映射到 USER_LOGIN 、logout 会映射到 USER_LOGOUT ,如果存在电子邮件地址,其他值会映射到 USER_RESOURCE_ACCESS 。 |
ActionResult |
security_result.action |
如果为 true ,则映射到 ALLOW 。如果为 false ,则映射到 BLOCK 。否则,映射到 UNKNOWN_ACTION 。 |
ActionType |
security_result.description |
所执行操作的说明。 |
ActorEmail |
principal.user.email_addresses |
发起事件的执行者的电子邮件地址。 |
ActorID |
principal.user.product_object_id |
发起事件的操作者的 ID。 |
ActorIP |
principal.ip ,principal.asset.ip |
发起事件的操作者的 IP 地址。 |
Allowed |
security_result.action |
如果为 true ,则映射到 ALLOW 。否则,映射到 BLOCK 。 |
AppDomain |
target.administrative_domain |
事件涉及的应用的网域。 |
AppUUID |
target.resource.product_object_id |
事件涉及的应用的 UUID。 |
AssetDisplayName |
principal.asset.attribute.labels.value ,其中键为 AssetDisplayName |
资产的显示名称。 |
AssetExternalID |
principal.asset_id (前缀为“Cloudflare:”) |
素材资源的外部 ID。 |
AssetLink |
principal.url |
与相应资产关联的链接。 |
AssetMetadata.agreedToTerms |
principal.user.attribute.labels.value ,其中键为 agreedToTerms |
用户是否同意相关条款。 |
AssetMetadata.changePasswordAtNextLogin |
principal.user.attribute.labels.value ,其中键为 changePasswordAtNextLogin |
用户是否需要在下次登录时更改密码。 |
AssetMetadata.clientId |
principal.user.userid |
资产元数据中的客户 ID。 |
AssetMetadata.customerId |
principal.user.userid |
资产元数据中的客户 ID。 |
AssetMetadata.familyName |
principal.user.last_name |
资产元数据中的用户姓氏。 |
AssetMetadata.givenName |
principal.user.first_name |
资产元数据中的用户名字。 |
AssetMetadata.includeInGlobalAddressList |
principal.user.attribute.labels.value ,其中键为 includeInGlobalAddressList |
用户是否已包含在全局地址列表中。 |
AssetMetadata.ipWhitelisted |
principal.user.attribute.labels.value ,其中键为 ipWhitelisted |
用户的 IP 地址是否已列入白名单。 |
AssetMetadata.isAdmin |
principal.user.attribute.labels.value ,其中键为 isAdmin |
用户是否为管理员。 |
AssetMetadata.isDelegatedAdmin |
principal.user.attribute.labels.value ,其中键为 isDelegatedAdmin |
用户是否为委托管理员。 |
AssetMetadata.isEnforcedIn2Sv |
principal.user.attribute.labels.value ,其中键为 isEnforcedIn2Sv |
是否强制要求用户使用两步验证。 |
AssetMetadata.isEnrolledIn2Sv |
principal.user.attribute.labels.value ,其中键为 isEnrolledIn2Sv |
用户是否注册了两步验证。 |
AssetMetadata.kind |
(未映射) | 未映射到 IDM 对象。 |
AssetMetadata.lastLoginTime |
principal.user.attribute.labels.value ,其中键为 lastLoginTime |
用户的上次登录时间。 |
AssetMetadata.login |
principal.user.userid |
资产元数据中的登录名称。 |
AssetMetadata.name.familyName |
principal.user.last_name |
资产元数据中的姓氏。 |
AssetMetadata.name.fullName |
principal.user.user_display_name |
资产元数据中的全名。 |
AssetMetadata.name.givenName |
principal.user.first_name |
资产元数据中的给定名称。 |
AssetMetadata.nativeApp |
security_result.detection_fields.value ,其中键为 nativeApp |
应用是否为原生应用。 |
AssetMetadata.owner.id |
principal.user.userid |
资产元数据中的所有者 ID。 |
AssetMetadata.primaryEmail |
principal.user.email_addresses |
资产元数据中的主电子邮件地址。 |
AssetMetadata.scopes |
(未映射) | 未映射到 IDM 对象。 |
AssetMetadata.site_admin |
principal.user.attribute.labels.value ,其中键为 site_admin |
用户是否为网站管理员。 |
AssetMetadata.suspended |
principal.user.attribute.labels.value ,其中键为 suspended |
用户是否已被暂停。 |
AssetMetadata.url |
principal.url |
资产元数据中的网址。 |
AssetMetadata.userKey |
principal.user.attribute.labels.value ,其中键为 userKey |
资产元数据中的用户键。 |
BlockedFileHash |
target.file.md5 、target.file.sha1 、target.file.sha256 |
被屏蔽文件的哈希值。使用 grok 解析以提取 md5、sha1 或 sha256。 |
BlockedFileName |
security_result.about.file.full_path |
被屏蔽文件的名称。 |
BlockedFileReason |
security_result.summary |
屏蔽文件的原因。 |
BlockedFileSize |
target.file.size |
被屏蔽文件的大小。 |
BotScore |
security_result.detection_fields.value ,其中键为 BotScore |
分配给请求的机器人得分。 |
BytesReceived |
network.received_bytes |
收到的字节数。 |
BytesSent |
network.sent_bytes |
发送的字节数。 |
CacheCacheStatus |
additional.fields.value.string_value ,其中键为 CacheCacheStatus |
缓存的状态。 |
CacheResponseBytes |
additional.fields.value.string_value ,其中键为 CacheResponseBytes |
缓存响应中的字节数。 |
CacheResponseStatus |
additional.fields.value.string_value ,其中键为 CacheResponseStatus |
缓存响应的状态代码。 |
ClientASN |
(未映射) | 未映射到 IDM 对象。 |
ClientCountry |
principal.location.country_or_region |
客户所在的国家/地区。 |
ClientDeviceType |
additional.fields.value.string_value ,其中键为 ClientDeviceType |
客户端设备的类型。 |
ClientIP |
principal.ip ,principal.asset.ip |
客户端的 IP 地址。 |
ClientRequestMethod |
network.http.method |
客户端使用的 HTTP 请求方法。 |
ClientRequestHost |
target.hostname ,target.asset.hostname |
客户端请求的主机名。 |
ClientRequestPath |
(未映射) | 未映射到 IDM 对象。 |
ClientRequestProtocol |
network.application_protocol |
客户端请求中使用的协议(例如HTTP、HTTPS)。协议版本已移除。 |
ClientRequestReferer |
network.http.referral_url |
客户端请求的引荐来源网址。 |
ClientRequestURI |
target.url (与 ClientRequestHost 结合使用,如果存在) |
客户端请求的 URI。 |
ClientRequestUserAgent |
network.http.user_agent |
客户端请求的用户代理。也会被解析并映射到 network.http.parsed_user_agent 。 |
ClientSSLCipher |
network.tls.cipher |
客户端使用的 SSL 加密方式。 |
ClientSSLProtocol |
network.tls.version |
客户端使用的 SSL 协议。 |
ClientSrcPort |
principal.port |
客户端的来源端口。 |
ClientTCPHandshakeDurationMs |
additional.fields.value.string_value ,其中键为 ClientTCPHandshakeDurationMs |
客户端 TCP 握手的持续时间。 |
ClientTLSHandshakeDurationMs |
additional.fields.value.string_value ,其中键为 ClientTLSHandshakeDurationMs |
客户端 TLS 握手时长。 |
ClientTLSVersion |
network.tls.version |
客户端使用的 TLS 版本。 |
ColoID |
(未映射) | 未映射到 IDM 对象。 |
Connection |
target.resource.attribute.labels.value ,其中键为 Connection |
连接类型(例如 saml)。 |
ConnectionCloseReason |
additional.fields.value.string_value ,其中键为 ConnectionCloseReason |
关闭连接的原因。 |
ConnectionReuse |
additional.fields.value.string_value ,其中键为 ConnectionReuse |
是否发生了连接重复使用。 |
Country |
target.location.country_or_region |
与事件相关的国家/地区。 |
CreatedAt |
metadata.event_timestamp |
事件创建的时间戳。 |
Datetime |
metadata.event_timestamp |
活动的日期和时间。 |
DestinationIP |
target.ip ,target.asset.ip |
目标 IP 地址。 |
DestinationPort |
target.port |
目标端口。 |
DestinationTunnelID |
additional.fields.value.string_value ,其中键为 DestinationTunnelID |
目的地隧道的 ID。 |
DeviceID |
principal.asset_id (前缀为“Cloudflare:”) |
设备的 ID。 |
DeviceName |
principal.hostname 、principal.asset.hostname 、principal.asset.attribute.labels.value ,其中键为 DeviceName |
设备的名称。 |
DownloadedFileNames |
security_result.about.labels.value ,其中键为 DownloadFileNames |
已下载文件的名称。 |
DstIP |
target.ip ,target.asset.ip |
目标 IP 地址。 |
DstPort |
target.port |
目标端口。 |
EdgeColoCode |
additional.fields.value.string_value ,其中键为 EdgeColoCode |
Cloudflare 边缘位置代码。 |
EdgeColoID |
additional.fields.value.string_value ,其中键为 EdgeColoID |
Cloudflare 边缘位置 ID。 |
EdgeEndTimestamp |
(未映射) | 未映射到 IDM 对象。 |
EdgeResponseBytes |
network.received_bytes |
来自边缘的响应中的字节数。 |
EdgeResponseContentType |
target.file.mime_type |
边缘响应的内容类型。 |
EdgeResponseStatus |
network.http.response_code |
边缘响应的状态代码。 |
EdgeServerIP |
target.ip ,target.asset.ip |
边缘服务器的 IP 地址。 |
EdgeStartTimestamp |
metadata.event_timestamp |
边缘设备上请求开始的时间戳。 |
Email |
principal.user.email_addresses ,target.user.email_addresses |
与活动相关联的电子邮件地址。 |
EgressColoName |
additional.fields.value.string_value ,其中键为 EgressColoName |
出站 Colo 的名称。 |
EgressIP |
principal.ip ,principal.asset.ip |
出站 IP 地址。将 network.direction 设置为 OUTBOUND 。 |
EgressPort |
principal.port |
出站端口。 |
EgressRuleID |
additional.fields.value.string_value ,其中键为 EgressRuleID |
出站规则的 ID。 |
EgressRuleName |
additional.fields.value.string_value ,其中键为 EgressRuleName |
出站规则的名称。 |
FindingTypeDisplayName |
security_result.description |
发现结果类型的显示名称。 |
FindingTypeID |
security_result.rule_id |
发现结果类型的 ID。 |
FindingTypeSeverity |
security_result.severity |
发现结果类型的严重级别。 |
FirewallMatchesActions |
security_result.action |
防火墙规则执行的操作。allow 、Allow 、ALLOW 、skip 、SKIP 、Skip 映射到 ALLOW 。challengeSolved 和 jschallengeSolved 映射到 ALLOW_WITH_MODIFICATION 。drop 和 block 映射到 BLOCK 。其他值会映射到 UNKNOWN_ACTION 。 |
FirewallMatchesRuleIDs |
security_result.rule_id (对于第一个 ID),后续 ID 会创建新的 security_result 对象。 |
匹配的防火墙规则的 ID。 |
FirewallMatchesSources |
security_result.rule_name |
匹配的防火墙规则的来源。 |
HTTPHost |
target.hostname |
HTTP 主机。 |
HTTPMethod |
network.http.method |
HTTP 方法。 |
HTTPVersion |
network.application_protocol |
如果值包含“HTTP”,请将 network.application_protocol 设置为 HTTP 。 |
ID |
metadata.product_log_id |
事件的 ID。 |
IngressColoName |
additional.fields.value.string_value ,其中键为 IngressColoName |
入站 Colo 的名称。 |
InstanceID |
principal.resource.product_object_id |
实例的 ID。 |
IntegrationDisplayName |
additional.fields.value.string_value ,其中键为 IntegrationDisplayName |
集成的显示名称。 |
IntegrationID |
metadata.product_deployment_id |
集成的 ID。 |
IntegrationPolicyVendor |
additional.fields.value.string_value ,其中键为 IntegrationPolicyVendor |
集成政策的供应商。 |
IPAddress |
target.ip ,target.asset.ip |
与事件相关联的 IP 地址。 |
IsIsolated |
about.labels.value (键为 IsIsolated ),security_result.about.resource.attribute.labels.value (键为 IsIsolated ) |
事件是否已被隔离。 |
Location |
principal.location.name |
与事件相关联的地理位置。 |
NewValue |
security_result.about.labels.value ,其中键为 NewValue |
更新后的新值。 |
Offramp |
additional.fields.value.string_value ,其中键为 Offramp |
连接中使用的出口。 |
OldValue |
security_result.about.labels.value ,其中键为 OldValue |
更新前的旧值。 |
OriginIP |
intermediary.ip 、target.ip 、target.asset.ip |
来源 IP 地址。 |
OriginPort |
target.port |
来源端口。 |
OriginResponseBytes |
additional.fields.value.string_value ,其中键为 OriginResponseBytes |
源响应中的字节数。 |
OriginResponseStatus |
additional.fields.value.string_value ,其中键为 OriginResponseStatus |
来源响应的状态代码。 |
OriginResponseTime |
additional.fields.value.string_value ,其中键为 OriginResponseTime |
源的响应时间。 |
OriginSSLProtocol |
(未映射) | 未映射到 IDM 对象。 |
OriginTLSCertificateIssuer |
additional.fields.value.string_value ,其中键为 OriginTLSCertificateIssuer |
来源 TLS 证书的发行者。 |
OriginTLSCertificateValidationResult |
additional.fields.value.string_value ,其中键为 OriginTLSCertificateValidationResult |
来源 TLS 证书验证结果。 |
OriginTLSCipher |
additional.fields.value.string_value ,其中键为 OriginTLSCipher |
源 TLS 连接中使用的加密算法。 |
OriginTLSHandshakeDurationMs |
additional.fields.value.string_value ,其中键为 OriginTLSHandshakeDurationMs |
源 TLS 握手时长。 |
OriginTLSVersion |
additional.fields.value.string_value ,其中键为 OriginTLSVersion |
来源使用的 TLS 版本。 |
OwnerID |
target.user.product_object_id |
所有者的 ID。 |
Policy |
security_result.rule_name |
与事件相关联的政策。 |
PolicyID |
security_result.rule_id |
政策的 ID。 |
PolicyName |
security_result.rule_name |
政策的名称。 |
Protocol |
network.application_protocol ,network.ip_protocol |
连接中使用的协议。如果不是“tls”或“TLS”,则转换为大写并映射到 network.application_protocol 。否则,使用包含文件进行解析并映射到 network.ip_protocol 。 |
PurposeJustificationPrompt |
(未映射) | 未映射到 IDM 对象。 |
PurposeJustificationResponse |
(未映射) | 未映射到 IDM 对象。 |
QueryCategoryIDs |
security_result.about.labels.value 、security_result.about.resource.attribute.labels.value ,其中键为 QueryCategoryIDs |
查询类别的 ID。 |
QueryName |
network.dns.questions.name |
DNS 查询的名称。将 metadata.event_type 设置为 NETWORK_DNS ,并将 network.application_protocol 设置为 DNS 。 |
QueryNameReversed |
network.dns.questions.name |
DNS 查询的反向名称。 |
QuerySize |
network.sent_bytes |
查询的大小。 |
QueryType |
network.dns.questions.type |
DNS 查询的类型。根据 DNS 查询类型代码映射到数值。 |
RData |
network.dns.answers.type ,network.dns.answers.data |
DNS 记录数据。RData 数组中的每个元素都会创建一个新的 answer 对象。 |
RayID |
metadata.product_log_id |
与请求关联的 Ray ID。 |
Referer |
network.http.referral_url |
引荐来源网址。 |
RequestID |
metadata.product_log_id |
请求的 ID。 |
ResolverDecision |
security_result.summary |
解析器做出的决定。 |
ResourceID |
target.resource.id ,target.resource.product_object_id |
资源的 ID。 |
ResourceType |
target.resource.resource_subtype |
资源的类型。 |
RuleEvaluationDurationMs |
additional.fields.value.string_value ,其中键为 RuleEvaluationDurationMs |
规则评估的持续时间。 |
SNI |
network.tls.client.server_name |
TLS 客户端 hello 中的服务器名称指示 (SNI)。 |
SecurityAction |
security_result.action |
已采取安全措施。空值或没有 SecurityAction 会映射到 ALLOW 。challengeSolved 或 jschallengeSolved 映射到 ALLOW_WITH_MODIFICATION 。drop 或 block 映射到 BLOCK 。 |
SecurityLevel |
security_result.severity |
安全等级。high 映射到 HIGH ,med 映射到 MEDIUM ,low 映射到 LOW 。 |
SessionEndTime |
additional.fields.value.string_value ,其中键为 SessionEndTime |
会话的结束时间。 |
SessionID |
network.session_id |
会话的 ID。 |
SessionStartTime |
metadata.event_timestamp |
会话的开始时间。 |
SourceIP |
principal.ip 、principal.asset.ip 、src.ip 、src.asset.ip |
来源 IP 地址。 |
SourcePort |
principal.port ,src.port |
来源端口。 |
SrcIP |
principal.ip ,principal.asset.ip |
来源 IP 地址。 |
SrcPort |
principal.port |
来源端口。 |
TemporaryAccessDuration |
network.session_duration.seconds |
临时访问权限的时长。 |
Timestamp |
metadata.event_timestamp |
事件的时间戳。 |
Transport |
network.ip_protocol |
传输协议。转换为大写形式,并使用包含文件进行解析。 |
UploadedFileNames |
security_result.about.labels.value ,其中键为 UploadedFileNames |
上传的文件的名称。 |
URL |
target.url |
事件涉及的网址。 |
UserAgent |
network.http.user_agent |
用户代理字符串。也会被解析并映射到 network.http.parsed_user_agent 。 |
UserID |
principal.user.product_object_id ,event.idm.read_only_udm.target.user.product_object_id |
用户的 ID。 |
UserUID |
target.user.product_object_id |
用户的 UID。 |
VirtualNetworkID |
principal.resource.product_object_id |
虚拟网络的 ID。 |
WAFAction |
security_result.about.labels.value ,其中键为 WAFAction |
Web 应用防火墙 (WAF) 采取的操作。 |
WAFAttackScore |
security_result.about.resource.attribute.labels.value ,其中键为 WAFAttackScore |
WAF 分配的攻击得分。 |
WAFFlags |
security_result.about.resource.attribute.labels.value ,其中键为 WAFFlags |
WAF 标志。 |
WAFMatchedVar |
(未映射) | 未映射到 IDM 对象。 |
WAFProfile |
security_result.about.labels.value ,其中键为 WAFProfile |
WAF 配置文件。 |
WAFRCEAttackScore |
security_result.about.resource.attribute.labels.value ,其中键为 WAFRCEAttackScore |
WAF 远程代码执行 (RCE) 攻击得分。 |
WAFRuleID |
security_result.threat_id 、security_result.about.labels.value ,其中键为 WAFRuleID |
WAF 规则的 ID。 |
WAFRuleMessage |
security_result.rule_name ,security_result.threat_name |
与 WAF 规则关联的消息。 |
WAFSQLiAttackScore |
security_result.about.resource.attribute.labels.value ,其中键为 WAFSQLiAttackScore |
WAF SQL 注入攻击得分。 |
WAFXSSAttackScore |
security_result.about.resource.attribute.labels.value ,其中键为 WAFXSSAttackScore |
WAF 跨站脚本 (XSS) 攻击得分。 |
ZoneID |
additional.fields.value.string_value ,其中键为 ZoneID |
时区 ID。 |
event.idm.read_only_udm.metadata.event_type |
metadata.event_type |
事件的类型。由解析器根据日志数据设置。如果未设置或 NETWORK_DNS 事件没有主账号或目标,则默认为 GENERIC_EVENT 。可以是 NETWORK_DNS 、NETWORK_CONNECTION 、USER_LOGIN 、USER_LOGOUT 、USER_RESOURCE_ACCESS 、USER_RESOURCE_UPDATE_CONTENT 或 GENERIC_EVENT 。 |
event.idm.read_only_udm.metadata.log_type |
metadata.log_type |
日志类型,设置为“CLOUDFLARE”。 |
event.idm.read_only_udm.metadata.product_deployment_id |
metadata.product_deployment_id |
商品部署 ID。 |
event.idm.read_only_udm.metadata.product_log_id |
metadata.product_log_id |
商品日志 ID。 |
event.idm.read_only_udm.metadata.product_name |
metadata.product_name |
商品名称。由解析器根据日志数据设置。可以是“Cloudflare Gateway DNS”“Cloudflare Gateway HTTP”“Cloudflare Audit”“Web Application Firewall”。 |
event.idm.read_only_udm.metadata.vendor_name |
metadata.vendor_name |
供应商名称,设为“Cloudflare”。 |
event.idm.read_only_udm.metadata.event_timestamp |
metadata.event_timestamp |
事件的时间戳。 |
event.idm.read_only_udm.network.application_protocol |
network.application_protocol |
网络连接中使用的应用协议。 |
event.idm.read_only_udm.network.direction |
network.direction |
网络连接的方向。如果存在 EgressIP 和 SourceIP ,则设置为 OUTBOUND 。 |
event.idm.read_only_udm.network.dns.answers |
network.dns.answers |
DNS 回答。 |
event.idm.read_only_udm.network.dns.questions |
network.dns.questions |
DNS 问题。 |
event.idm.read_only_udm.network.http.method |
network.http.method |
HTTP 方法。 |
event.idm.read_only_udm.network.http.parsed_user_agent |
network.http.parsed_user_agent |
已解析的用户代理。 |
event.idm.read_only_udm.network.http.referral_url |
network.http.referral_url |
HTTP 引荐来源网址。 |
event.idm.read_only_udm.network.http.response_code |
network.http.response_code |
HTTP 响应代码。 |
event.idm.read_only_udm.network.http.user_agent |
network.http.user_agent |
HTTP 用户代理。 |
event.idm.read_only_udm.network.ip_protocol |
network.ip_protocol |
IP 协议。 |
event.idm.read_only_udm.network.received_bytes |
network.received_bytes |
收到的字节数。 |
event.idm.read_only_udm.network.sent_bytes |
network.sent_bytes |
发送的字节数。 |
event.idm.read_only_udm.network.session_duration.seconds |
network.session_duration.seconds |
网络会话时长(以秒为单位)。 |
event.idm.read_only_udm.network.session_id |
network.session_id |
网络会话 ID。 |
event.idm.read_only_udm.network.tls.cipher |
network.tls.cipher |
TLS 加密套件。 |
event.idm.read_only_udm.network.tls.client.server_name |
network.tls.client.server_name |
TLS 客户端服务器名称。 |
event.idm.read_only_udm.network.tls.version |
network.tls.version |
TLS 版本。 |
event.idm.read_only_udm.principal.asset.attribute.labels |
principal.asset.attribute.labels |
与主要资产关联的标签。 |
event.idm.read_only_udm.principal.asset.hostname |
principal.asset.hostname |
主要资产的主机名。 |
event.idm.read_only_udm.principal.asset.ip |
principal.asset.ip |
主要资产的 IP 地址。 |
event.idm.read_only_udm.principal.asset_id |
principal.asset_id |
主要资产的 ID。 |
event.idm.read_only_udm.principal.hostname |
principal.hostname |
正文的主机名。 |
event.idm.read_only_udm.principal.ip |
principal.ip |
主账号的 IP 地址。 |
event.idm.read_only_udm.principal.location.country_or_region |
principal.location.country_or_region |
负责人所在的国家或地区。 |
event.idm.read_only_udm.principal.location.name |
principal.location.name |
主账号所在位置的名称。 |
event.idm.read_only_udm.principal.port |
principal.port |
主账号使用的端口。 |
event.idm.read_only_udm.principal.resource.product_object_id |
principal.resource.product_object_id |
主账号资源的商品对象 ID。 |
event.idm.read_only_udm.principal.url |
principal.url |
与主账号关联的网址。 |
event.idm.read_only_udm.principal.user.attribute.labels |
principal.user.attribute.labels |
与主要用户关联的标签。 |
event.idm.read_only_udm.principal.user.email_addresses |
principal.user.email_addresses |
主账号用户的电子邮件地址。 |
event.idm.read_only_udm.principal.user.first_name |
principal.user.first_name |
主要用户的名字。 |
event.idm.read_only_udm.principal.user.last_name |
principal.user.last_name |
主要用户的姓氏。 |
event.idm.read_only_udm.principal.user.product_object_id |
principal.user.product_object_id |
主用户的产品对象 ID。 |
event.idm.read_only_udm.principal.user.userid |
principal.user.userid |
主用户的用户 ID。 |
event.idm.read_only_udm.principal.user.user_display_name |
principal.user.user_display_name |
主用户的显示名称。 |
event.idm.read_only_udm.src.asset.ip |
src.asset.ip |
来源资产的 IP 地址。 |
event.idm.read_only_udm.src.ip |
src.ip |
来源的 IP 地址。 |
event.idm.read_only_udm.src.port |
src.port |
来源的端口。 |
event.idm.read_only_udm.target.administrative_domain |
target.administrative_domain |
目标的管理域。 |
event.idm.read_only_udm.target.asset.hostname |
target.asset.hostname |
目标资产的主机名。 |
event.idm.read_only_udm.target.asset.ip |
target.asset.ip |
目标资产的 IP 地址。 |
event.idm.read_only_udm.target.file.mime_type |
target.file.mime_type |
目标文件的 MIME 类型。 |
event.idm.read_only_udm.target.file.md5 |
target.file.md5 |
目标文件的 MD5 哈希。 |
event.idm.read_only_udm.target.file.sha1 |
target.file.sha1 |
目标文件的 SHA1 哈希值。 |
event.idm.read_only_udm.target.file.sha256 |
target.file.sha256 |
目标文件的 SHA256 哈希。 |
event.idm.read_only_udm.target.file.size |
target.file.size |
目标文件的大小。 |
event.idm.read_only_udm.target.hostname |
target.hostname |
目标的主机名。 |
event.idm.read_only_udm.target.ip |
target.ip |
目标的 IP 地址。 |
event.idm.read_only_udm.target.location.country_or_region |
target.location.country_or_region |
目标对象所在的国家或地区。 |
event.idm.read_only_udm.target.port |
target.port |
目标的端口。 |
event.idm.read_only_udm.target.resource.attribute.labels |
target.resource.attribute.labels |
与目标资源关联的标签。 |
event.idm.read_only_udm.target.resource.id |
target.resource.id |
目标资源的 ID。 |
event.idm.read_only_udm.target.resource.product_object_id |
target.resource.product_object_id |
目标资源的商品对象 ID。 |
event.idm.read_only_udm.target.resource.resource_subtype |
target.resource.resource_subtype |
目标资源的资源子类型。 |
event.idm.read_only_udm.target.url |
target.url |
目标的网址。 |
event.idm.read_only_udm.target.user.email_addresses |
target.user.email_addresses |
目标用户的电子邮件地址。 |
event.idm.read_only_udm.target.user.product_object_id |
target.user.product_object_id |
目标用户的商品对象 ID。 |
event.idm.read_only_udm.security_result.about.file.full_path |
security_result.about.file.full_path |
安全结果中涉及的文件的完整路径。 |
event.idm.read_only_udm.security_result.about.labels |
security_result.about.labels |
与安全结果关联的标签。 |
event.idm.read_only_udm.security_result.about.resource.attribute.labels |
security_result.about.resource.attribute.labels |
安全结果中与资源关联的标签。 |
event.idm.read_only_udm.security_result.action |
security_result.action |
安全结果中采取的行动。 |
event.idm.read_only_udm.security_result.detection_fields |
security_result.detection_fields |
安全结果中的检测字段。 |
event.idm.read_only_udm.security_result.description |
security_result.description |
安全结果的说明。 |
event.idm.read_only_udm.security_result.rule_id |
security_result.rule_id |
安全结果的规则 ID。 |
event.idm.read_only_udm.security_result.rule_name |
security_result.rule_name |
安全结果的规则名称。 |
event.idm.read_only_udm.security_result.severity |
security_result.severity |
安全结果的严重程度。 |
event.idm.read_only_udm.security_result.summary |
security_result.summary |
安全结果摘要。 |
event.idm.read_only_udm.security_result.threat_id |
security_result.threat_id |
安全结果的威胁 ID。 |
event.idm.read_only_udm.security_result.threat_name |
security_result.threat_name |
安全结果的威胁名称。 |
event.idm.read_only_udm.extensions.auth.type |
extensions.auth.type |
身份验证类型。对于登录和退出登录事件,请将其设置为 MACHINE 。 |
event.idm.read_only_udm.about |
about |
关于信息。 |
event.idm.read_only_udm.additional.fields |
additional.fields |
其他字段。 |
event.idm.read_only_udm.intermediary |
intermediary |
中介信息。 |
更改
2024-02-19
- bug 修复:
- 如果没有主机和目标机器数据,则将“metadata.event_type”映射到“GENERIC_EVENT”。
- 如果缺少“日期时间”字段,但存在“时间戳”字段,则将“时间戳”映射到“metadata.event_timestamp”。
- 将“ClientIP”映射到“principal.ip”。
- 将“RayID”映射到“metadata.product_log_id”。
- 将“EdgeResponseStatus”映射到“network.http.response_code”。
- 将“ClientRequestMethod”映射到“network.http.method”。
- 将“ClientRequestURI”映射到“target.uri”。
- 将“ClientRequestHost”映射到“target.hostname”。
2024-01-31
- 将“BotScore”映射到“security_result.detection_fields”。
- 对“principal.hostname”“target.hostname”“principal.asset.hostname”和“target.asset.hostname”映射进行了统一。
- 对“principal.ip”“target.ip”“principal.asset.ip”和“target.asset.ip”映射进行了调整。
2024-01-08
- 如果“Action”包含“allow”,请将“security_result.action”设置为“ALLOW”。
- 添加了“DeviceName”与“principal.hostname”“principal.asset.hostname”的映射。
- 为 DNS 日志添加了“SourceIP”到“principal.ip”的映射。
- 在将“principal”映射到“event.idm.read_only_udm.principal”之前,添加了 null 条件检查。
- 在将“target”映射到“event.idm.read_only_udm.target”之前,添加了 null 条件检查。
2023-11-22
- 将“WAFRuleID”映射到“security_result.threat_id”。
- 将“WAFRuleMessage”映射到“security_result.threat_name”。
- 将“WAFRCEAttackScore”“WAFSQLiAttackScore”“WAFXSSAttackScore”“WAFAttackScore”“WAFFlags”映射到“security_result.about.resource.attribute.labels”。
2023-10-09
- 如果“SecurityAction”值为 null 或不存在,请将“security_result.action”设置为“ALLOW”。
2023-09-26
- 将映射从使用已废弃的 UDM 字段更改为使用替代字段。
- 添加了“security_result.about.labels”到“security_result.about.resource.attribute.labels”的映射。
- 添加了“about.labels”到“security_result.about.resource.attribute.labels”的映射。
- 添加了“target.resource.id”到“target.resource.product_object_id”的映射。
2023-04-25
- 增强功能:将以下原始日志字段映射到 UDM 字段:
- 将“EdgeStartTimestamp”“ClientIP”“ClientRequestHost”“ClientRequestURI”“ClientRequestMethod”“Datetime”“ActorEmail”和“ActorIP”初始化为 null。
- 将“AssetExternalID”映射到“principal.asset_id”。
- 将“AssetDisplayName”映射到“principal.asset.attribute.labels”。
- 将“AssetLink”映射到“principal.url”。
- 将“AssetMetadata.userKey”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.clientId”映射到“principal.user.userid”。
- 将“AssetMetadata.anonymous”映射到“security_result.detection_fields”。
- 将“AssetMetadata.nativeApp”映射到“security_result.detection_fields”。
- 将“DetectedTimestamp”映射到“metadata.event_timestamp”。
- 将“FindingTypeDisplayName”映射到“security_result.description”。
- 将“FindingTypeID”映射到“security_result.rule_id”。
- 将“FindingTypeSeverity”映射到“security_result.severity”。
- 将“InstanceID”映射到“principal.resource.product_object_id”。
- 将“IntegrationDisplayName”映射到“additional.fields”。
- 将“IntegrationID”映射到“metadata.product_deployment_id”。
- 将“IntegrationPolicyVendor”映射到“additional.fields”。
- 将“AssetMetadata.customerId”映射到“principal.user.userid”。
- 将“AssetMetadata.primaryEmail”映射到“principal.user.email_addresses”。
- 将“AssetMetadata.agreedToTerms”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.ipWhitelisted”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.lastLoginTime”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.isEnforcedIn2Sv”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.isEnrolledIn2Sv”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.isDelegatedAdmin”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.changePasswordAtNextLogin”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.includeInGlobalAddressList”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.isAdmin”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.suspended”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.url”映射到“principal.url”。
- 将“AssetMetadata.site_admin”映射到“principal.user.attribute.labels”。
- 将“AssetMetadata.login”映射到“principal.user.userid”。
- 将“AssetMetadata.owner.id”映射到“principal.user.userid”。
- 将“AssetMetadata.name.fullName”映射到“principal.user.user_display_name”。
- 将“AssetMetadata.name.givenName”映射到“principal.user.first_name”。
- 将“AssetMetadata.name.familyName”映射到“principal.user.last_name”。
- 将“允许”映射到“security_result.action”。
- 将“AppDomain”映射到“target.administrative_domain”。
- 将“AppUUID”映射到“target.resource.product_object_id”。
- 将“连接”映射到“target.resource.attribute.labels”。
- 将“国家/地区”映射到“target.location.country_or_region”。
- 将“CreatedAt”映射到“metadata.event_timestamp”。
- 将“IPAddress”映射到“target.ip”。
- 将“RayID”映射到“metadata.product_log_id”。
- 将“电子邮件地址”映射到“principal.user.email_addresses”和“target.user.email_addresses”。
- 将“TemporaryAccessDuration”映射到“network.session_duration.seconds”。
- 将“UserUID”映射到“target.user.product_object_id”。
- 将“UserAgent”映射到“network.http.parsed_user_agent”。
- 将“ClientRequestUserAgent”映射到“network.http.parsed_user_agent”。
- 将“PolicyName”映射到“security_result.rule_name”。
- 将“SessionID”映射到“network.session_id”。
- 将“传输”映射到“network.ip_protocol”。
- 将“SNI”映射到“tls.client.server_name”。
- 将“DeviceName”映射到“principal.asset.attribute.labels”。
- 将“BytesReceived”映射到“network.received_bytes”。
- 将“BytesSent”映射到“network.sent_bytes”。
- 将“协议”映射到“network.ip_protocol”。
- 将“ClientTCPHandshakeDurationMs”映射到“additional.fields”。
- 将“ClientTLSCipher”映射到“network.tls.cipher”。
- 将“ClientTLSHandshakeDurationMs”映射到“additional.fields”。
- 将“ClientTLSVersion”映射到“network.tls.version”。
- 将“ConnectionCloseReason”映射到“additional.fields”。
- 将“ConnectionReuse”映射到“additional.fields”。
- 将“DestinationTunnelID”映射到“additional.fields”。
- 将“EgressIP”映射到“principal.ip”。
- 将“EgressPort”映射到“principal.port”。
- 将“EgressRuleID”映射到“additional.fields”。
- 将“EgressRuleName”映射到“additional.fields”。
- 将“IngressColoName”映射到“additional.fields”。
- 将“Offramp”映射到“additional.fields”。
- 将“OriginIP”映射到“target.ip”。
- 将“OriginPort”映射到“target.port”。
- 将“OriginTLSCertificateIssuer”映射到“additional.fields”。
- 将“OriginTLSCertificateValidationResult”映射到“additional.fields”。
- 将“OriginTLSCipher”映射到“additional.fields”。
- 将“OriginTLSHandshakeDurationMs”映射到“additional.fields”。
- 将“OriginTLSVersion”映射到“additional.fields”。
- 将“RuleEvaluationDurationMs”映射到“additional.fields”。
- 将“SessionEndTime”映射到“additional.fields”。
- 将“SessionStartTime”映射到“metadata.event_timestamp”。
- 将“SourceIP”映射到“src.ip”。
- 将“SourcePort”映射到“src.port”。
- 将“UserID”映射到“principal.user.product_object_id”。
- 将“VirtualNetworkID”映射到“principal.resource.product_object_id”。
2023-04-06
- 增强功能 - 在全局级别声明了“WAFRuleMessage”“WAFAction”“QueryType”“RayID”“Email”字段。
- 将“metadata.event_type”映射为“NETWORK_UNCATEGORIZED”,其中“QueryName”和“QueryNameReversed”字段为 null。
- 添加了对以下字段的错误检查:RData[n].type、RData[n].data、EdgeResponseBytes、ClientRequestBytes、EdgeResponseStatus。
- 为“SourcePort”和“DestinationPort”字段添加了字符串转换。
2022-10-10
- 改进
- 将“metadata.product_name”映射到“Web 应用防火墙”。
- 将“metadata.vendor_name”映射到“Cloudflare”。
2022-05-23
- 改进了将以下原始日志元素映射到 UDM 元素的功能:
- 将“ClientASN”映射到“network.asn”。
- 将“ClientSSLCipher”映射到“network.tls.cipher”。
- 将“ClientSSLProtocol”映射到“network.tls.version”。
- 将“EdgeResponseContentType”映射到“target.file.mime_type”。
- 将“OriginIP”映射到“intermediary.ip”。
- 将“FirewallMatchesActions”映射到“security_result.action”。
- 将“FirewallMatchesRuleIDs”映射到“security_result.rule_id”。
- 将“FirewallMatchesSources”映射到“security_result.rule_name”。
- 将“WAFRuleID”“WAFProfile”映射到“security_result.about.labels”。
- 将“CacheCacheStatus”“CacheResponseBytes”“CacheResponseStatus”“ClientDeviceType”“EdgeColoCode”“EdgeColoID”“OriginResponseBytes”“OriginResponseStatus”“OriginResponseTime”“ZoneID”映射到“additional.fields”。