收集 Cloudflare 日志

支持的平台:

概览

此解析器可处理各种 Cloudflare 日志类型(DNS、HTTP、审核、零信任、CASB)。该工具首先会对常用字段进行标准化处理,然后根据 QueryNameActionID 等特定字段应用条件逻辑,以提取相关数据并将其映射到 UDM。它还会执行数据类型转换、对 IP 地址和哈希进行 Grok 匹配,并处理嵌套的 JSON 载荷。

准备工作

  • 确保您拥有 Google SecOps 实例。
  • 确保您拥有 Google Cloud IAM 的特权访问权限。
  • 确保您拥有对 Google Cloud Storage 的特权访问权限。
  • 确保您拥有对 Cloudflare 的超级用户访问权限。

创建 Google Cloud Storage 存储分区

  1. 登录 Google Cloud 控制台。
  2. 前往 Cloud Storage 存储分区页面。

    进入“存储桶”

  3. 点击创建

  4. 创建存储桶页面上,输入您的存储桶信息。完成以下每个步骤后,点击继续以进入下一步:

    1. 开始使用部分中,执行以下操作:

      1. 输入符合存储分区名称要求的唯一名称(例如 cloudflare-data)。
      2. 如需启用分层命名空间,请点击展开箭头以展开 Optimize for file oriented and data-intensive workloads 部分,然后选择 Enable Hierarchical namespace on this bucket
      1. 如需添加存储分区标签,请点击展开箭头以展开标签部分。
      2. 点击添加标签,然后为标签指定键和值。
    2. 选择数据存储位置部分中,执行以下操作:

      1. 选择位置类型
      2. 使用位置类型的下拉菜单选择一个位置,用于永久存储存储分区中的对象数据。
        1. 如果您选择双区域位置类型,还可以使用相关复选框选择启用增强型复制
      3. 如需设置跨存储分区复制,请展开设置跨存储分区复制部分。
    3. 为数据选择一个存储类别部分中,为存储分区选择默认存储类别,或者选择 Autoclass 对存储分区数据进行自动存储类别管理。

    4. 选择如何控制对对象的访问权限部分中,选择以强制执行禁止公开访问,然后为存储分区对象选择访问权限控制模型

    5. 选择如何保护对象数据部分中,执行以下操作:

      1. 数据保护下,选择您要为存储分区设置的任何选项。
      2. 如需选择对象数据的加密方式,请点击标有数据加密的展开箭头,然后选择数据加密方法
  5. 点击创建

创建 Google Cloud 服务账号

  1. 依次前往 IAM 和管理 > 服务账号
  2. 创建新的服务账号。
  3. 为其指定一个描述性名称(例如 cloudflare-logs)。
  4. 向服务账号授予您在上一步中创建的 GCS 存储分区的 Storage Object Creator 角色。
  5. 为服务账号创建 SSH 密钥
  6. 下载服务账号的 JSON 密钥文件。请妥善保管此文件

为 Google Cloud Storage 启用 Cloudflare IAM

  1. 依次前往存储空间 > 浏览器 > 存储分区 > 权限
  2. 添加具有 Storage Object Admin 权限的成员 logpush@cloudflare-data.iam.gserviceaccount.com

在 Google SecOps 中配置 Feed 以提取 Cloudflare 日志

  1. 依次前往 SIEM 设置 > Feed
  2. 点击新增
  3. Feed 名称字段中,输入 Feed 的名称(例如 Cloudflare 日志)。
  4. 选择 Google Cloud Storage 作为来源类型
  5. 选择 Cloudflare 作为日志类型
  6. 点击获取服务账号作为 Chronicle 服务账号
  7. 点击下一步
  8. 为以下输入参数指定值:

    • 存储分区 URI:采用 gs://my-bucket/<value> 格式的 Google Cloud Storage 存储分区网址。
    • URI 是:选择包含子目录的目录
    • 来源删除选项:根据您的偏好选择删除选项。
    • 资源命名空间资源命名空间
    • 提取标签:应用于此 Feed 中的事件的标签。
  9. 点击下一步

  10. 最终确定界面中查看新的 Feed 配置,然后点击提交

配置 Cloudflare 以将日志发送到 Google Cloud Storage

  1. 登录 Cloudflare 信息中心
  2. 选择要与 Logpush 搭配使用的企业账号或网域(也称为“区域”)。
  3. 依次前往分析和日志 > Logpush
  4. 选择创建 Logpush 作业。
  5. 选择目标位置中,选择 Google Cloud Storage
  6. 输入或选择以下目的地详细信息:

    • 存储分区:GCS 存储分区名称
    • 路径:存储容器中的存储分区位置
    • 复选框:将日志整理到每日子文件夹中(推荐)
  7. 点击继续

  8. 所有权验证:

    1. Cloudflare 会向您的存储分区发送文件
    2. 复制并粘贴令牌:
      1. 依次登录 Google Cloud 控制台 > 存储 > Cloudflare 存储分区
      2. 打开所有权异议文件
      3. 复制所有权令牌
      4. Cloudflare 控制台中输入所有权令牌。
      5. 选择继续
    3. 选择要推送到存储分区的数据集
  9. 配置 Logpush 作业:

    1. 输入作业名称。
    2. 在“如果日志匹配”下,您可以选择要包含和/或从日志中移除的事件。
    1. 发送以下字段:选择推送所有日志,或选择要推送的日志
  10. 选择提交以完成配置。

UDM 映射表

日志字段 UDM 映射 逻辑
AccountID target.resource.idtarget.resource.product_object_id 与事件关联的账号 ID。
Action security_result.action 根据事件采取的操作。allowallowed* 会导致 ALLOWunknown 会导致 UNKNOWN_ACTION。其他值会导致 BLOCK。对于访问日志,login 会映射到 USER_LOGINlogout 会映射到 USER_LOGOUT,如果存在电子邮件地址,其他值会映射到 USER_RESOURCE_ACCESS
ActionResult security_result.action 如果为 true,则映射到 ALLOW。如果为 false,则映射到 BLOCK。否则,映射到 UNKNOWN_ACTION
ActionType security_result.description 所执行操作的说明。
ActorEmail principal.user.email_addresses 发起事件的执行者的电子邮件地址。
ActorID principal.user.product_object_id 发起事件的操作者的 ID。
ActorIP principal.ipprincipal.asset.ip 发起事件的操作者的 IP 地址。
Allowed security_result.action 如果为 true,则映射到 ALLOW。否则,映射到 BLOCK
AppDomain target.administrative_domain 事件涉及的应用的网域。
AppUUID target.resource.product_object_id 事件涉及的应用的 UUID。
AssetDisplayName principal.asset.attribute.labels.value,其中键为 AssetDisplayName 资产的显示名称。
AssetExternalID principal.asset_id(前缀为“Cloudflare:”) 素材资源的外部 ID。
AssetLink principal.url 与相应资产关联的链接。
AssetMetadata.agreedToTerms principal.user.attribute.labels.value,其中键为 agreedToTerms 用户是否同意相关条款。
AssetMetadata.changePasswordAtNextLogin principal.user.attribute.labels.value,其中键为 changePasswordAtNextLogin 用户是否需要在下次登录时更改密码。
AssetMetadata.clientId principal.user.userid 资产元数据中的客户 ID。
AssetMetadata.customerId principal.user.userid 资产元数据中的客户 ID。
AssetMetadata.familyName principal.user.last_name 资产元数据中的用户姓氏。
AssetMetadata.givenName principal.user.first_name 资产元数据中的用户名字。
AssetMetadata.includeInGlobalAddressList principal.user.attribute.labels.value,其中键为 includeInGlobalAddressList 用户是否已包含在全局地址列表中。
AssetMetadata.ipWhitelisted principal.user.attribute.labels.value,其中键为 ipWhitelisted 用户的 IP 地址是否已列入白名单。
AssetMetadata.isAdmin principal.user.attribute.labels.value,其中键为 isAdmin 用户是否为管理员。
AssetMetadata.isDelegatedAdmin principal.user.attribute.labels.value,其中键为 isDelegatedAdmin 用户是否为委托管理员。
AssetMetadata.isEnforcedIn2Sv principal.user.attribute.labels.value,其中键为 isEnforcedIn2Sv 是否强制要求用户使用两步验证。
AssetMetadata.isEnrolledIn2Sv principal.user.attribute.labels.value,其中键为 isEnrolledIn2Sv 用户是否注册了两步验证。
AssetMetadata.kind (未映射) 未映射到 IDM 对象。
AssetMetadata.lastLoginTime principal.user.attribute.labels.value,其中键为 lastLoginTime 用户的上次登录时间。
AssetMetadata.login principal.user.userid 资产元数据中的登录名称。
AssetMetadata.name.familyName principal.user.last_name 资产元数据中的姓氏。
AssetMetadata.name.fullName principal.user.user_display_name 资产元数据中的全名。
AssetMetadata.name.givenName principal.user.first_name 资产元数据中的给定名称。
AssetMetadata.nativeApp security_result.detection_fields.value,其中键为 nativeApp 应用是否为原生应用。
AssetMetadata.owner.id principal.user.userid 资产元数据中的所有者 ID。
AssetMetadata.primaryEmail principal.user.email_addresses 资产元数据中的主电子邮件地址。
AssetMetadata.scopes (未映射) 未映射到 IDM 对象。
AssetMetadata.site_admin principal.user.attribute.labels.value,其中键为 site_admin 用户是否为网站管理员。
AssetMetadata.suspended principal.user.attribute.labels.value,其中键为 suspended 用户是否已被暂停。
AssetMetadata.url principal.url 资产元数据中的网址。
AssetMetadata.userKey principal.user.attribute.labels.value,其中键为 userKey 资产元数据中的用户键。
BlockedFileHash target.file.md5target.file.sha1target.file.sha256 被屏蔽文件的哈希值。使用 grok 解析以提取 md5、sha1 或 sha256。
BlockedFileName security_result.about.file.full_path 被屏蔽文件的名称。
BlockedFileReason security_result.summary 屏蔽文件的原因。
BlockedFileSize target.file.size 被屏蔽文件的大小。
BotScore security_result.detection_fields.value,其中键为 BotScore 分配给请求的机器人得分。
BytesReceived network.received_bytes 收到的字节数。
BytesSent network.sent_bytes 发送的字节数。
CacheCacheStatus additional.fields.value.string_value,其中键为 CacheCacheStatus 缓存的状态。
CacheResponseBytes additional.fields.value.string_value,其中键为 CacheResponseBytes 缓存响应中的字节数。
CacheResponseStatus additional.fields.value.string_value,其中键为 CacheResponseStatus 缓存响应的状态代码。
ClientASN (未映射) 未映射到 IDM 对象。
ClientCountry principal.location.country_or_region 客户所在的国家/地区。
ClientDeviceType additional.fields.value.string_value,其中键为 ClientDeviceType 客户端设备的类型。
ClientIP principal.ipprincipal.asset.ip 客户端的 IP 地址。
ClientRequestMethod network.http.method 客户端使用的 HTTP 请求方法。
ClientRequestHost target.hostnametarget.asset.hostname 客户端请求的主机名。
ClientRequestPath (未映射) 未映射到 IDM 对象。
ClientRequestProtocol network.application_protocol 客户端请求中使用的协议(例如HTTP、HTTPS)。协议版本已移除。
ClientRequestReferer network.http.referral_url 客户端请求的引荐来源网址。
ClientRequestURI target.url(与 ClientRequestHost 结合使用,如果存在) 客户端请求的 URI。
ClientRequestUserAgent network.http.user_agent 客户端请求的用户代理。也会被解析并映射到 network.http.parsed_user_agent
ClientSSLCipher network.tls.cipher 客户端使用的 SSL 加密方式。
ClientSSLProtocol network.tls.version 客户端使用的 SSL 协议。
ClientSrcPort principal.port 客户端的来源端口。
ClientTCPHandshakeDurationMs additional.fields.value.string_value,其中键为 ClientTCPHandshakeDurationMs 客户端 TCP 握手的持续时间。
ClientTLSHandshakeDurationMs additional.fields.value.string_value,其中键为 ClientTLSHandshakeDurationMs 客户端 TLS 握手时长。
ClientTLSVersion network.tls.version 客户端使用的 TLS 版本。
ColoID (未映射) 未映射到 IDM 对象。
Connection target.resource.attribute.labels.value,其中键为 Connection 连接类型(例如 saml)。
ConnectionCloseReason additional.fields.value.string_value,其中键为 ConnectionCloseReason 关闭连接的原因。
ConnectionReuse additional.fields.value.string_value,其中键为 ConnectionReuse 是否发生了连接重复使用。
Country target.location.country_or_region 与事件相关的国家/地区。
CreatedAt metadata.event_timestamp 事件创建的时间戳。
Datetime metadata.event_timestamp 活动的日期和时间。
DestinationIP target.iptarget.asset.ip 目标 IP 地址。
DestinationPort target.port 目标端口。
DestinationTunnelID additional.fields.value.string_value,其中键为 DestinationTunnelID 目的地隧道的 ID。
DeviceID principal.asset_id(前缀为“Cloudflare:”) 设备的 ID。
DeviceName principal.hostnameprincipal.asset.hostnameprincipal.asset.attribute.labels.value,其中键为 DeviceName 设备的名称。
DownloadedFileNames security_result.about.labels.value,其中键为 DownloadFileNames 已下载文件的名称。
DstIP target.iptarget.asset.ip 目标 IP 地址。
DstPort target.port 目标端口。
EdgeColoCode additional.fields.value.string_value,其中键为 EdgeColoCode Cloudflare 边缘位置代码。
EdgeColoID additional.fields.value.string_value,其中键为 EdgeColoID Cloudflare 边缘位置 ID。
EdgeEndTimestamp (未映射) 未映射到 IDM 对象。
EdgeResponseBytes network.received_bytes 来自边缘的响应中的字节数。
EdgeResponseContentType target.file.mime_type 边缘响应的内容类型。
EdgeResponseStatus network.http.response_code 边缘响应的状态代码。
EdgeServerIP target.iptarget.asset.ip 边缘服务器的 IP 地址。
EdgeStartTimestamp metadata.event_timestamp 边缘设备上请求开始的时间戳。
Email principal.user.email_addressestarget.user.email_addresses 与活动相关联的电子邮件地址。
EgressColoName additional.fields.value.string_value,其中键为 EgressColoName 出站 Colo 的名称。
EgressIP principal.ipprincipal.asset.ip 出站 IP 地址。将 network.direction 设置为 OUTBOUND
EgressPort principal.port 出站端口。
EgressRuleID additional.fields.value.string_value,其中键为 EgressRuleID 出站规则的 ID。
EgressRuleName additional.fields.value.string_value,其中键为 EgressRuleName 出站规则的名称。
FindingTypeDisplayName security_result.description 发现结果类型的显示名称。
FindingTypeID security_result.rule_id 发现结果类型的 ID。
FindingTypeSeverity security_result.severity 发现结果类型的严重级别。
FirewallMatchesActions security_result.action 防火墙规则执行的操作。allowAllowALLOWskipSKIPSkip 映射到 ALLOWchallengeSolvedjschallengeSolved 映射到 ALLOW_WITH_MODIFICATIONdropblock 映射到 BLOCK。其他值会映射到 UNKNOWN_ACTION
FirewallMatchesRuleIDs security_result.rule_id(对于第一个 ID),后续 ID 会创建新的 security_result 对象。 匹配的防火墙规则的 ID。
FirewallMatchesSources security_result.rule_name 匹配的防火墙规则的来源。
HTTPHost target.hostname HTTP 主机。
HTTPMethod network.http.method HTTP 方法。
HTTPVersion network.application_protocol 如果值包含“HTTP”,请将 network.application_protocol 设置为 HTTP
ID metadata.product_log_id 事件的 ID。
IngressColoName additional.fields.value.string_value,其中键为 IngressColoName 入站 Colo 的名称。
InstanceID principal.resource.product_object_id 实例的 ID。
IntegrationDisplayName additional.fields.value.string_value,其中键为 IntegrationDisplayName 集成的显示名称。
IntegrationID metadata.product_deployment_id 集成的 ID。
IntegrationPolicyVendor additional.fields.value.string_value,其中键为 IntegrationPolicyVendor 集成政策的供应商。
IPAddress target.iptarget.asset.ip 与事件相关联的 IP 地址。
IsIsolated about.labels.value(键为 IsIsolated),security_result.about.resource.attribute.labels.value(键为 IsIsolated 事件是否已被隔离。
Location principal.location.name 与事件相关联的地理位置。
NewValue security_result.about.labels.value,其中键为 NewValue 更新后的新值。
Offramp additional.fields.value.string_value,其中键为 Offramp 连接中使用的出口。
OldValue security_result.about.labels.value,其中键为 OldValue 更新前的旧值。
OriginIP intermediary.iptarget.iptarget.asset.ip 来源 IP 地址。
OriginPort target.port 来源端口。
OriginResponseBytes additional.fields.value.string_value,其中键为 OriginResponseBytes 源响应中的字节数。
OriginResponseStatus additional.fields.value.string_value,其中键为 OriginResponseStatus 来源响应的状态代码。
OriginResponseTime additional.fields.value.string_value,其中键为 OriginResponseTime 源的响应时间。
OriginSSLProtocol (未映射) 未映射到 IDM 对象。
OriginTLSCertificateIssuer additional.fields.value.string_value,其中键为 OriginTLSCertificateIssuer 来源 TLS 证书的发行者。
OriginTLSCertificateValidationResult additional.fields.value.string_value,其中键为 OriginTLSCertificateValidationResult 来源 TLS 证书验证结果。
OriginTLSCipher additional.fields.value.string_value,其中键为 OriginTLSCipher 源 TLS 连接中使用的加密算法。
OriginTLSHandshakeDurationMs additional.fields.value.string_value,其中键为 OriginTLSHandshakeDurationMs 源 TLS 握手时长。
OriginTLSVersion additional.fields.value.string_value,其中键为 OriginTLSVersion 来源使用的 TLS 版本。
OwnerID target.user.product_object_id 所有者的 ID。
Policy security_result.rule_name 与事件相关联的政策。
PolicyID security_result.rule_id 政策的 ID。
PolicyName security_result.rule_name 政策的名称。
Protocol network.application_protocolnetwork.ip_protocol 连接中使用的协议。如果不是“tls”或“TLS”,则转换为大写并映射到 network.application_protocol。否则,使用包含文件进行解析并映射到 network.ip_protocol
PurposeJustificationPrompt (未映射) 未映射到 IDM 对象。
PurposeJustificationResponse (未映射) 未映射到 IDM 对象。
QueryCategoryIDs security_result.about.labels.valuesecurity_result.about.resource.attribute.labels.value,其中键为 QueryCategoryIDs 查询类别的 ID。
QueryName network.dns.questions.name DNS 查询的名称。将 metadata.event_type 设置为 NETWORK_DNS,并将 network.application_protocol 设置为 DNS
QueryNameReversed network.dns.questions.name DNS 查询的反向名称。
QuerySize network.sent_bytes 查询的大小。
QueryType network.dns.questions.type DNS 查询的类型。根据 DNS 查询类型代码映射到数值。
RData network.dns.answers.typenetwork.dns.answers.data DNS 记录数据。RData 数组中的每个元素都会创建一个新的 answer 对象。
RayID metadata.product_log_id 与请求关联的 Ray ID。
Referer network.http.referral_url 引荐来源网址。
RequestID metadata.product_log_id 请求的 ID。
ResolverDecision security_result.summary 解析器做出的决定。
ResourceID target.resource.idtarget.resource.product_object_id 资源的 ID。
ResourceType target.resource.resource_subtype 资源的类型。
RuleEvaluationDurationMs additional.fields.value.string_value,其中键为 RuleEvaluationDurationMs 规则评估的持续时间。
SNI network.tls.client.server_name TLS 客户端 hello 中的服务器名称指示 (SNI)。
SecurityAction security_result.action 已采取安全措施。空值或没有 SecurityAction 会映射到 ALLOWchallengeSolvedjschallengeSolved 映射到 ALLOW_WITH_MODIFICATIONdropblock 映射到 BLOCK
SecurityLevel security_result.severity 安全等级。high 映射到 HIGHmed 映射到 MEDIUMlow 映射到 LOW
SessionEndTime additional.fields.value.string_value,其中键为 SessionEndTime 会话的结束时间。
SessionID network.session_id 会话的 ID。
SessionStartTime metadata.event_timestamp 会话的开始时间。
SourceIP principal.ipprincipal.asset.ipsrc.ipsrc.asset.ip 来源 IP 地址。
SourcePort principal.portsrc.port 来源端口。
SrcIP principal.ipprincipal.asset.ip 来源 IP 地址。
SrcPort principal.port 来源端口。
TemporaryAccessDuration network.session_duration.seconds 临时访问权限的时长。
Timestamp metadata.event_timestamp 事件的时间戳。
Transport network.ip_protocol 传输协议。转换为大写形式,并使用包含文件进行解析。
UploadedFileNames security_result.about.labels.value,其中键为 UploadedFileNames 上传的文件的名称。
URL target.url 事件涉及的网址。
UserAgent network.http.user_agent 用户代理字符串。也会被解析并映射到 network.http.parsed_user_agent
UserID principal.user.product_object_idevent.idm.read_only_udm.target.user.product_object_id 用户的 ID。
UserUID target.user.product_object_id 用户的 UID。
VirtualNetworkID principal.resource.product_object_id 虚拟网络的 ID。
WAFAction security_result.about.labels.value,其中键为 WAFAction Web 应用防火墙 (WAF) 采取的操作。
WAFAttackScore security_result.about.resource.attribute.labels.value,其中键为 WAFAttackScore WAF 分配的攻击得分。
WAFFlags security_result.about.resource.attribute.labels.value,其中键为 WAFFlags WAF 标志。
WAFMatchedVar (未映射) 未映射到 IDM 对象。
WAFProfile security_result.about.labels.value,其中键为 WAFProfile WAF 配置文件。
WAFRCEAttackScore security_result.about.resource.attribute.labels.value,其中键为 WAFRCEAttackScore WAF 远程代码执行 (RCE) 攻击得分。
WAFRuleID security_result.threat_idsecurity_result.about.labels.value,其中键为 WAFRuleID WAF 规则的 ID。
WAFRuleMessage security_result.rule_namesecurity_result.threat_name 与 WAF 规则关联的消息。
WAFSQLiAttackScore security_result.about.resource.attribute.labels.value,其中键为 WAFSQLiAttackScore WAF SQL 注入攻击得分。
WAFXSSAttackScore security_result.about.resource.attribute.labels.value,其中键为 WAFXSSAttackScore WAF 跨站脚本 (XSS) 攻击得分。
ZoneID additional.fields.value.string_value,其中键为 ZoneID 时区 ID。
event.idm.read_only_udm.metadata.event_type metadata.event_type 事件的类型。由解析器根据日志数据设置。如果未设置或 NETWORK_DNS 事件没有主账号或目标,则默认为 GENERIC_EVENT。可以是 NETWORK_DNSNETWORK_CONNECTIONUSER_LOGINUSER_LOGOUTUSER_RESOURCE_ACCESSUSER_RESOURCE_UPDATE_CONTENTGENERIC_EVENT
event.idm.read_only_udm.metadata.log_type metadata.log_type 日志类型,设置为“CLOUDFLARE”。
event.idm.read_only_udm.metadata.product_deployment_id metadata.product_deployment_id 商品部署 ID。
event.idm.read_only_udm.metadata.product_log_id metadata.product_log_id 商品日志 ID。
event.idm.read_only_udm.metadata.product_name metadata.product_name 商品名称。由解析器根据日志数据设置。可以是“Cloudflare Gateway DNS”“Cloudflare Gateway HTTP”“Cloudflare Audit”“Web Application Firewall”。
event.idm.read_only_udm.metadata.vendor_name metadata.vendor_name 供应商名称,设为“Cloudflare”。
event.idm.read_only_udm.metadata.event_timestamp metadata.event_timestamp 事件的时间戳。
event.idm.read_only_udm.network.application_protocol network.application_protocol 网络连接中使用的应用协议。
event.idm.read_only_udm.network.direction network.direction 网络连接的方向。如果存在 EgressIPSourceIP,则设置为 OUTBOUND
event.idm.read_only_udm.network.dns.answers network.dns.answers DNS 回答。
event.idm.read_only_udm.network.dns.questions network.dns.questions DNS 问题。
event.idm.read_only_udm.network.http.method network.http.method HTTP 方法。
event.idm.read_only_udm.network.http.parsed_user_agent network.http.parsed_user_agent 已解析的用户代理。
event.idm.read_only_udm.network.http.referral_url network.http.referral_url HTTP 引荐来源网址。
event.idm.read_only_udm.network.http.response_code network.http.response_code HTTP 响应代码。
event.idm.read_only_udm.network.http.user_agent network.http.user_agent HTTP 用户代理。
event.idm.read_only_udm.network.ip_protocol network.ip_protocol IP 协议。
event.idm.read_only_udm.network.received_bytes network.received_bytes 收到的字节数。
event.idm.read_only_udm.network.sent_bytes network.sent_bytes 发送的字节数。
event.idm.read_only_udm.network.session_duration.seconds network.session_duration.seconds 网络会话时长(以秒为单位)。
event.idm.read_only_udm.network.session_id network.session_id 网络会话 ID。
event.idm.read_only_udm.network.tls.cipher network.tls.cipher TLS 加密套件。
event.idm.read_only_udm.network.tls.client.server_name network.tls.client.server_name TLS 客户端服务器名称。
event.idm.read_only_udm.network.tls.version network.tls.version TLS 版本。
event.idm.read_only_udm.principal.asset.attribute.labels principal.asset.attribute.labels 与主要资产关联的标签。
event.idm.read_only_udm.principal.asset.hostname principal.asset.hostname 主要资产的主机名。
event.idm.read_only_udm.principal.asset.ip principal.asset.ip 主要资产的 IP 地址。
event.idm.read_only_udm.principal.asset_id principal.asset_id 主要资产的 ID。
event.idm.read_only_udm.principal.hostname principal.hostname 正文的主机名。
event.idm.read_only_udm.principal.ip principal.ip 主账号的 IP 地址。
event.idm.read_only_udm.principal.location.country_or_region principal.location.country_or_region 负责人所在的国家或地区。
event.idm.read_only_udm.principal.location.name principal.location.name 主账号所在位置的名称。
event.idm.read_only_udm.principal.port principal.port 主账号使用的端口。
event.idm.read_only_udm.principal.resource.product_object_id principal.resource.product_object_id 主账号资源的商品对象 ID。
event.idm.read_only_udm.principal.url principal.url 与主账号关联的网址。
event.idm.read_only_udm.principal.user.attribute.labels principal.user.attribute.labels 与主要用户关联的标签。
event.idm.read_only_udm.principal.user.email_addresses principal.user.email_addresses 主账号用户的电子邮件地址。
event.idm.read_only_udm.principal.user.first_name principal.user.first_name 主要用户的名字。
event.idm.read_only_udm.principal.user.last_name principal.user.last_name 主要用户的姓氏。
event.idm.read_only_udm.principal.user.product_object_id principal.user.product_object_id 主用户的产品对象 ID。
event.idm.read_only_udm.principal.user.userid principal.user.userid 主用户的用户 ID。
event.idm.read_only_udm.principal.user.user_display_name principal.user.user_display_name 主用户的显示名称。
event.idm.read_only_udm.src.asset.ip src.asset.ip 来源资产的 IP 地址。
event.idm.read_only_udm.src.ip src.ip 来源的 IP 地址。
event.idm.read_only_udm.src.port src.port 来源的端口。
event.idm.read_only_udm.target.administrative_domain target.administrative_domain 目标的管理域。
event.idm.read_only_udm.target.asset.hostname target.asset.hostname 目标资产的主机名。
event.idm.read_only_udm.target.asset.ip target.asset.ip 目标资产的 IP 地址。
event.idm.read_only_udm.target.file.mime_type target.file.mime_type 目标文件的 MIME 类型。
event.idm.read_only_udm.target.file.md5 target.file.md5 目标文件的 MD5 哈希。
event.idm.read_only_udm.target.file.sha1 target.file.sha1 目标文件的 SHA1 哈希值。
event.idm.read_only_udm.target.file.sha256 target.file.sha256 目标文件的 SHA256 哈希。
event.idm.read_only_udm.target.file.size target.file.size 目标文件的大小。
event.idm.read_only_udm.target.hostname target.hostname 目标的主机名。
event.idm.read_only_udm.target.ip target.ip 目标的 IP 地址。
event.idm.read_only_udm.target.location.country_or_region target.location.country_or_region 目标对象所在的国家或地区。
event.idm.read_only_udm.target.port target.port 目标的端口。
event.idm.read_only_udm.target.resource.attribute.labels target.resource.attribute.labels 与目标资源关联的标签。
event.idm.read_only_udm.target.resource.id target.resource.id 目标资源的 ID。
event.idm.read_only_udm.target.resource.product_object_id target.resource.product_object_id 目标资源的商品对象 ID。
event.idm.read_only_udm.target.resource.resource_subtype target.resource.resource_subtype 目标资源的资源子类型。
event.idm.read_only_udm.target.url target.url 目标的网址。
event.idm.read_only_udm.target.user.email_addresses target.user.email_addresses 目标用户的电子邮件地址。
event.idm.read_only_udm.target.user.product_object_id target.user.product_object_id 目标用户的商品对象 ID。
event.idm.read_only_udm.security_result.about.file.full_path security_result.about.file.full_path 安全结果中涉及的文件的完整路径。
event.idm.read_only_udm.security_result.about.labels security_result.about.labels 与安全结果关联的标签。
event.idm.read_only_udm.security_result.about.resource.attribute.labels security_result.about.resource.attribute.labels 安全结果中与资源关联的标签。
event.idm.read_only_udm.security_result.action security_result.action 安全结果中采取的行动。
event.idm.read_only_udm.security_result.detection_fields security_result.detection_fields 安全结果中的检测字段。
event.idm.read_only_udm.security_result.description security_result.description 安全结果的说明。
event.idm.read_only_udm.security_result.rule_id security_result.rule_id 安全结果的规则 ID。
event.idm.read_only_udm.security_result.rule_name security_result.rule_name 安全结果的规则名称。
event.idm.read_only_udm.security_result.severity security_result.severity 安全结果的严重程度。
event.idm.read_only_udm.security_result.summary security_result.summary 安全结果摘要。
event.idm.read_only_udm.security_result.threat_id security_result.threat_id 安全结果的威胁 ID。
event.idm.read_only_udm.security_result.threat_name security_result.threat_name 安全结果的威胁名称。
event.idm.read_only_udm.extensions.auth.type extensions.auth.type 身份验证类型。对于登录和退出登录事件,请将其设置为 MACHINE
event.idm.read_only_udm.about about 关于信息。
event.idm.read_only_udm.additional.fields additional.fields 其他字段。
event.idm.read_only_udm.intermediary intermediary 中介信息。

更改

2024-02-19

  • bug 修复:
  • 如果没有主机和目标机器数据,则将“metadata.event_type”映射到“GENERIC_EVENT”。
  • 如果缺少“日期时间”字段,但存在“时间戳”字段,则将“时间戳”映射到“metadata.event_timestamp”。
  • 将“ClientIP”映射到“principal.ip”。
  • 将“RayID”映射到“metadata.product_log_id”。
  • 将“EdgeResponseStatus”映射到“network.http.response_code”。
  • 将“ClientRequestMethod”映射到“network.http.method”。
  • 将“ClientRequestURI”映射到“target.uri”。
  • 将“ClientRequestHost”映射到“target.hostname”。

2024-01-31

  • 将“BotScore”映射到“security_result.detection_fields”。
  • 对“principal.hostname”“target.hostname”“principal.asset.hostname”和“target.asset.hostname”映射进行了统一。
  • 对“principal.ip”“target.ip”“principal.asset.ip”和“target.asset.ip”映射进行了调整。

2024-01-08

  • 如果“Action”包含“allow”,请将“security_result.action”设置为“ALLOW”。
  • 添加了“DeviceName”与“principal.hostname”“principal.asset.hostname”的映射。
  • 为 DNS 日志添加了“SourceIP”到“principal.ip”的映射。
  • 在将“principal”映射到“event.idm.read_only_udm.principal”之前,添加了 null 条件检查。
  • 在将“target”映射到“event.idm.read_only_udm.target”之前,添加了 null 条件检查。

2023-11-22

  • 将“WAFRuleID”映射到“security_result.threat_id”。
  • 将“WAFRuleMessage”映射到“security_result.threat_name”。
  • 将“WAFRCEAttackScore”“WAFSQLiAttackScore”“WAFXSSAttackScore”“WAFAttackScore”“WAFFlags”映射到“security_result.about.resource.attribute.labels”。

2023-10-09

  • 如果“SecurityAction”值为 null 或不存在,请将“security_result.action”设置为“ALLOW”。

2023-09-26

  • 将映射从使用已废弃的 UDM 字段更改为使用替代字段。
  • 添加了“security_result.about.labels”到“security_result.about.resource.attribute.labels”的映射。
  • 添加了“about.labels”到“security_result.about.resource.attribute.labels”的映射。
  • 添加了“target.resource.id”到“target.resource.product_object_id”的映射。

2023-04-25

  • 增强功能:将以下原始日志字段映射到 UDM 字段:
  • 将“EdgeStartTimestamp”“ClientIP”“ClientRequestHost”“ClientRequestURI”“ClientRequestMethod”“Datetime”“ActorEmail”和“ActorIP”初始化为 null。
  • 将“AssetExternalID”映射到“principal.asset_id”。
  • 将“AssetDisplayName”映射到“principal.asset.attribute.labels”。
  • 将“AssetLink”映射到“principal.url”。
  • 将“AssetMetadata.userKey”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.clientId”映射到“principal.user.userid”。
  • 将“AssetMetadata.anonymous”映射到“security_result.detection_fields”。
  • 将“AssetMetadata.nativeApp”映射到“security_result.detection_fields”。
  • 将“DetectedTimestamp”映射到“metadata.event_timestamp”。
  • 将“FindingTypeDisplayName”映射到“security_result.description”。
  • 将“FindingTypeID”映射到“security_result.rule_id”。
  • 将“FindingTypeSeverity”映射到“security_result.severity”。
  • 将“InstanceID”映射到“principal.resource.product_object_id”。
  • 将“IntegrationDisplayName”映射到“additional.fields”。
  • 将“IntegrationID”映射到“metadata.product_deployment_id”。
  • 将“IntegrationPolicyVendor”映射到“additional.fields”。
  • 将“AssetMetadata.customerId”映射到“principal.user.userid”。
  • 将“AssetMetadata.primaryEmail”映射到“principal.user.email_addresses”。
  • 将“AssetMetadata.agreedToTerms”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.ipWhitelisted”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.lastLoginTime”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.isEnforcedIn2Sv”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.isEnrolledIn2Sv”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.isDelegatedAdmin”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.changePasswordAtNextLogin”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.includeInGlobalAddressList”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.isAdmin”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.suspended”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.url”映射到“principal.url”。
  • 将“AssetMetadata.site_admin”映射到“principal.user.attribute.labels”。
  • 将“AssetMetadata.login”映射到“principal.user.userid”。
  • 将“AssetMetadata.owner.id”映射到“principal.user.userid”。
  • 将“AssetMetadata.name.fullName”映射到“principal.user.user_display_name”。
  • 将“AssetMetadata.name.givenName”映射到“principal.user.first_name”。
  • 将“AssetMetadata.name.familyName”映射到“principal.user.last_name”。
  • 将“允许”映射到“security_result.action”。
  • 将“AppDomain”映射到“target.administrative_domain”。
  • 将“AppUUID”映射到“target.resource.product_object_id”。
  • 将“连接”映射到“target.resource.attribute.labels”。
  • 将“国家/地区”映射到“target.location.country_or_region”。
  • 将“CreatedAt”映射到“metadata.event_timestamp”。
  • 将“IPAddress”映射到“target.ip”。
  • 将“RayID”映射到“metadata.product_log_id”。
  • 将“电子邮件地址”映射到“principal.user.email_addresses”和“target.user.email_addresses”。
  • 将“TemporaryAccessDuration”映射到“network.session_duration.seconds”。
  • 将“UserUID”映射到“target.user.product_object_id”。
  • 将“UserAgent”映射到“network.http.parsed_user_agent”。
  • 将“ClientRequestUserAgent”映射到“network.http.parsed_user_agent”。
  • 将“PolicyName”映射到“security_result.rule_name”。
  • 将“SessionID”映射到“network.session_id”。
  • 将“传输”映射到“network.ip_protocol”。
  • 将“SNI”映射到“tls.client.server_name”。
  • 将“DeviceName”映射到“principal.asset.attribute.labels”。
  • 将“BytesReceived”映射到“network.received_bytes”。
  • 将“BytesSent”映射到“network.sent_bytes”。
  • 将“协议”映射到“network.ip_protocol”。
  • 将“ClientTCPHandshakeDurationMs”映射到“additional.fields”。
  • 将“ClientTLSCipher”映射到“network.tls.cipher”。
  • 将“ClientTLSHandshakeDurationMs”映射到“additional.fields”。
  • 将“ClientTLSVersion”映射到“network.tls.version”。
  • 将“ConnectionCloseReason”映射到“additional.fields”。
  • 将“ConnectionReuse”映射到“additional.fields”。
  • 将“DestinationTunnelID”映射到“additional.fields”。
  • 将“EgressIP”映射到“principal.ip”。
  • 将“EgressPort”映射到“principal.port”。
  • 将“EgressRuleID”映射到“additional.fields”。
  • 将“EgressRuleName”映射到“additional.fields”。
  • 将“IngressColoName”映射到“additional.fields”。
  • 将“Offramp”映射到“additional.fields”。
  • 将“OriginIP”映射到“target.ip”。
  • 将“OriginPort”映射到“target.port”。
  • 将“OriginTLSCertificateIssuer”映射到“additional.fields”。
  • 将“OriginTLSCertificateValidationResult”映射到“additional.fields”。
  • 将“OriginTLSCipher”映射到“additional.fields”。
  • 将“OriginTLSHandshakeDurationMs”映射到“additional.fields”。
  • 将“OriginTLSVersion”映射到“additional.fields”。
  • 将“RuleEvaluationDurationMs”映射到“additional.fields”。
  • 将“SessionEndTime”映射到“additional.fields”。
  • 将“SessionStartTime”映射到“metadata.event_timestamp”。
  • 将“SourceIP”映射到“src.ip”。
  • 将“SourcePort”映射到“src.port”。
  • 将“UserID”映射到“principal.user.product_object_id”。
  • 将“VirtualNetworkID”映射到“principal.resource.product_object_id”。

2023-04-06

  • 增强功能 - 在全局级别声明了“WAFRuleMessage”“WAFAction”“QueryType”“RayID”“Email”字段。
  • 将“metadata.event_type”映射为“NETWORK_UNCATEGORIZED”,其中“QueryName”和“QueryNameReversed”字段为 null。
  • 添加了对以下字段的错误检查:RData[n].type、RData[n].data、EdgeResponseBytes、ClientRequestBytes、EdgeResponseStatus。
  • 为“SourcePort”和“DestinationPort”字段添加了字符串转换。

2022-10-10

  • 改进
  • 将“metadata.product_name”映射到“Web 应用防火墙”。
  • 将“metadata.vendor_name”映射到“Cloudflare”。

2022-05-23

  • 改进了将以下原始日志元素映射到 UDM 元素的功能:
  • 将“ClientASN”映射到“network.asn”。
  • 将“ClientSSLCipher”映射到“network.tls.cipher”。
  • 将“ClientSSLProtocol”映射到“network.tls.version”。
  • 将“EdgeResponseContentType”映射到“target.file.mime_type”。
  • 将“OriginIP”映射到“intermediary.ip”。
  • 将“FirewallMatchesActions”映射到“security_result.action”。
  • 将“FirewallMatchesRuleIDs”映射到“security_result.rule_id”。
  • 将“FirewallMatchesSources”映射到“security_result.rule_name”。
  • 将“WAFRuleID”“WAFProfile”映射到“security_result.about.labels”。
  • 将“CacheCacheStatus”“CacheResponseBytes”“CacheResponseStatus”“ClientDeviceType”“EdgeColoCode”“EdgeColoID”“OriginResponseBytes”“OriginResponseStatus”“OriginResponseTime”“ZoneID”映射到“additional.fields”。