用于安全性数据分析的 SQL 查询

本文档介绍了如何在 Log Analytics 页面中使用 BigQuery 标准 SQL 查询来分析 Cloud Logging 审核日志。借助 SQL 查询,您可以汇总和分析审核日志,这些日志可提供有关 Google Cloud 资源中的管理活动和访问情况的信息。

关于审核日志

Google Cloud 服务可以写入四种类型的审核日志:

  • 管理员活动审核日志:管理员活动审核日志记录 API 调用或 用于修改资源配置或元数据的其他操作。这些 始终会写入日志您无法配置、排除或停用它们。

  • 数据访问审核日志:数据访问审核日志记录 读取资源的配置或元数据,以及用户驱动的 API 用于创建、修改或读取用户提供的资源数据的调用。因为 访问数据是一项频繁的 API 操作,因此这些日志 (BigQuery 除外)。

  • 系统事件审核日志:系统事件审核日志包含修改资源配置的 Google Cloud 操作所对应的日志条目。这些 日志由 Google 系统生成;这些日志并非由用户生成 操作。您无法配置、排除或停用系统事件审核日志。

  • 政策拒绝审核日志:当 Google Cloud 服务因违反安全政策而拒绝访问用户或服务账号时,系统会记录政策拒绝审核日志。这些日志无法停用,但您可以 请使用排除项过滤器来阻止系统将这些日志存储在 Logging。

如需详细了解审核日志,请参阅审核日志概览。 如需查看与审核日志集成的服务列表,请参阅 具有审核日志的 Google Cloud 服务

使用审核日志识别违反政策的行为或可疑活动

您可以使用审核日志来找出违反政策或可疑活动:

准备工作

  • 确保您有一个 Google Cloud 项目、文件夹或组织, 审核日志。

  • 确保您有权访问审核日志存储桶上的某个视图 被路由到的 IP 地址必须升级日志存储桶才能使用 Log Analytics。如需了解如何创建已升级为使用 Log Analytics 的日志存储桶,请参阅配置日志存储桶

  • 要获取创建接收器和查看日志所需的权限, 请让管理员授予您 以下 IAM 角色:

    如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

    根据要查看的审核日志,您可能需要 角色或权限。如需了解如何设置 IAM 角色 请参阅 Logging 使用 IAM 进行访问权限控制 文档。

  • 如需在 Log Analytics 页面中使用本文档中的查询,请执行 以下:

    1. 在 Google Cloud 控制台中,前往 Log Analytics 页面:

      转到 Log Analytics

      如果您使用搜索栏查找此页面,请选择子标题为 Logging 的结果。

    2. 确定要查询的日志视图的表名称。

      如需找到此名称,请转到日志视图列表。 找到日志视图,然后选择 Query 返回多个结果。Query 窗格显示默认查询, 包含查询的日志视图的表名称。 表名称的格式为 project_ID.region.bucket_ID.view_ID

      如需详细了解如何访问默认查询,请参阅 查询日志视图

    3. TABLE_NAME_OF_LOG_VIEW 替换为日志视图的表名称 然后复制该查询

    4. 将查询粘贴到查询窗格中,然后点击运行查询

查询示例

本部分提供了用于查询审核日志的 SQL 查询示例。

对日志记录设置所做的更改

确定审核日志何时停用或何时对默认值进行了更改 Logging 设置,查询管理员活动审核日志:

SELECT
  receive_timestamp, timestamp AS eventTimestamp,
  proto_payload.audit_log.request_metadata.caller_ip,
  proto_payload.audit_log.authentication_info.principal_email,
  proto_payload.audit_log.resource_name,
  proto_payload.audit_log.method_name
FROM
  `TABLE_NAME_OF_LOG_VIEW`
WHERE
  proto_payload.audit_log.service_name = "logging.googleapis.com"
  AND log_id = "cloudaudit.googleapis.com/activity"

确定过去一个月中最常执行的操作

为了确定过去 30 天内哪些操作执行得最多, 查询所有审核日志:

SELECT
  proto_payload.audit_log.method_name,
  proto_payload.audit_log.service_name,
  resource.type,
  COUNT(*) AS counter
FROM
  `TABLE_NAME_OF_LOG_VIEW`
WHERE
  timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
  AND log_id="cloudaudit.googleapis.com/data_access"
GROUP BY
  proto_payload.audit_log.method_name,
  proto_payload.audit_log.service_name,
  resource.type
ORDER BY
  counter DESC
LIMIT 100

上一个查询搜索过去 30 天的所有审核日志,并返回 执行次数最多的 100 项操作(包含method_name的相关信息)、 service_name、资源类型以及所执行操作的计数器。

检测服务账号授予的角色

要识别服务账号模拟或已授予服务账号的角色 查询管理员活动审核日志:

SELECT
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as grantor,
  JSON_VALUE(bindingDelta.member) as grantee,
  JSON_VALUE(bindingDelta.role) as role,
  proto_payload.audit_log.resource_name,
  proto_payload.audit_log.method_name
FROM
  `TABLE_NAME_OF_LOG_VIEW`,
  UNNEST(JSON_QUERY_ARRAY(proto_payload.audit_log.service_data.policyDelta.bindingDeltas)) AS bindingDelta
WHERE
  timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND log_id = "cloudaudit.googleapis.com/activity"
  AND (
    (resource.type = "service_account"
    AND proto_payload.audit_log.method_name LIKE "google.iam.admin.%.SetIAMPolicy")
    OR
    (resource.type IN ("project", "folder", "organization")
    AND proto_payload.audit_log.method_name = "SetIamPolicy"
    AND JSON_VALUE(bindingDelta.role) LIKE "roles/iam.serviceAccount%")
  )
  AND JSON_VALUE(bindingDelta.action) = "ADD"
  -- Principal (grantee) exclusions
  AND JSON_VALUE(bindingDelta.member) NOT LIKE "%@example.com"
ORDER BY
  timestamp DESC

上述查询会搜索审核日志,这些日志捕获授予 主账号。Service Account Token Creator 角色可让 主账号模拟服务账号。该查询还指定了 过去 7 天的日期范围内,不包括获得批准的受助人(%@example.com)。

识别主账号的高 API 用量

如需确定主账号的 API 用量异常高,请查询所有审核日志:

SELECT
  *
FROM (
  SELECT
    *,
    AVG(counter) OVER (
      PARTITION BY principal_email
      ORDER BY day
      ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING) AS avg,
    STDDEV(counter) OVER (
      PARTITION BY principal_email
      ORDER BY day
      ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING) AS stddev,
    COUNT(*) OVER (
      PARTITION BY principal_email
      RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING) AS numSamples
  FROM (
    SELECT
      proto_payload.audit_log.authentication_info.principal_email,
      EXTRACT(DATE FROM timestamp) AS day,
      ARRAY_AGG(DISTINCT proto_payload.audit_log.method_name IGNORE NULLS) AS actions,
      COUNT(*) AS counter
    FROM `TABLE_NAME_OF_LOG_VIEW`
    WHERE
      timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 60 DAY)
      AND proto_payload.audit_log.authentication_info.principal_email IS NOT NULL
      AND proto_payload.audit_log.method_name NOT LIKE "storage.%.get"
      AND proto_payload.audit_log.method_name NOT LIKE "v1.compute.%.list"
      AND proto_payload.audit_log.method_name NOT LIKE "beta.compute.%.list"
    GROUP BY
      proto_payload.audit_log.authentication_info.principal_email,
      day
  )
)
WHERE
  counter > avg + 3 * stddev
  AND day >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
ORDER BY
  counter DESC

对于指定的主账号 principal_email,查询会计算平均值 每天的 API 调用次数,以及这些 API 调用的标准差。 如果 API 调用的平均数量大于运行平均值加上标准差的三倍,则查询会显示以下信息:

  • 执行的操作的计数器。
  • 系统计算出的每天执行的平均操作次数。
  • 所执行的具体操作。

后续步骤