本文档介绍了如何在 Log Analytics 页面中使用 BigQuery 标准 SQL 查询来分析 Cloud Logging 审核日志。借助 SQL 查询,您可以汇总和分析审核日志,这些日志可提供有关 Google Cloud 资源中的管理活动和访问情况的信息。
关于审核日志
Google Cloud 服务可以写入四种类型的审核日志:
管理员活动审核日志:管理员活动审核日志记录 API 调用或 用于修改资源配置或元数据的其他操作。这些 始终会写入日志您无法配置、排除或停用它们。
数据访问审核日志:数据访问审核日志记录 读取资源的配置或元数据,以及用户驱动的 API 用于创建、修改或读取用户提供的资源数据的调用。因为 访问数据是一项频繁的 API 操作,因此这些日志 (BigQuery 除外)。
系统事件审核日志:系统事件审核日志包含修改资源配置的 Google Cloud 操作所对应的日志条目。这些 日志由 Google 系统生成;这些日志并非由用户生成 操作。您无法配置、排除或停用系统事件审核日志。
政策拒绝审核日志:当 Google Cloud 服务因违反安全政策而拒绝访问用户或服务账号时,系统会记录政策拒绝审核日志。这些日志无法停用,但您可以 请使用排除项过滤器来阻止系统将这些日志存储在 Logging。
如需详细了解审核日志,请参阅审核日志概览。 如需查看与审核日志集成的服务列表,请参阅 具有审核日志的 Google Cloud 服务。
使用审核日志识别违反政策的行为或可疑活动
您可以使用审核日志来找出违反政策或可疑活动:
使用 Identity and Access Management (IAM), Logging、使用管理员活动审核日志。有关示例查询 请参阅 对日志记录设置所做的更改。
为了识别潜在的 API 滥用情况,或发现托管在 Cloud Storage 或 BigQuery,请使用数据访问审核日志。对于 可确定这种情况的示例查询,请参阅 识别主账号的 API 用量较高的情况。
要确定数据的访问频率以及哪些用户访问了数据,请查询 所有审核日志有关确定这种情况的示例查询,请参阅 确定过去一个月中最常执行的操作。
准备工作
确保您有一个 Google Cloud 项目、文件夹或组织, 审核日志。
确保您有权访问审核日志存储桶上的某个视图 被路由到的 IP 地址必须升级日志存储桶才能使用 Log Analytics。如需了解如何创建已升级为使用 Log Analytics 的日志存储桶,请参阅配置日志存储桶。
-
要获取创建接收器和查看日志所需的权限, 请让管理员授予您 以下 IAM 角色:
-
Logs Configuration Writer (
roles/logging.configWriter
) 针对你的项目 -
项目的 Logs Viewer (
roles/logging.viewer
)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
根据要查看的审核日志,您可能需要 角色或权限。如需了解如何设置 IAM 角色 请参阅 Logging 使用 IAM 进行访问权限控制 文档。
-
Logs Configuration Writer (
如需在 Log Analytics 页面中使用本文档中的查询,请执行 以下:
-
在 Google Cloud 控制台中,前往 Log Analytics 页面:
如果您使用搜索栏查找此页面,请选择子标题为 Logging 的结果。
确定要查询的日志视图的表名称。
如需找到此名称,请转到日志视图列表。 找到日志视图,然后选择 Query 返回多个结果。Query 窗格显示默认查询, 包含查询的日志视图的表名称。 表名称的格式为
project_ID.region.bucket_ID.view_ID
。如需详细了解如何访问默认查询,请参阅 查询日志视图。
将 TABLE_NAME_OF_LOG_VIEW 替换为日志视图的表名称 然后复制该查询
将查询粘贴到查询窗格中,然后点击运行查询。
-
查询示例
本部分提供了用于查询审核日志的 SQL 查询示例。
对日志记录设置所做的更改
确定审核日志何时停用或何时对默认值进行了更改 Logging 设置,查询管理员活动审核日志:
SELECT
receive_timestamp, timestamp AS eventTimestamp,
proto_payload.audit_log.request_metadata.caller_ip,
proto_payload.audit_log.authentication_info.principal_email,
proto_payload.audit_log.resource_name,
proto_payload.audit_log.method_name
FROM
`TABLE_NAME_OF_LOG_VIEW`
WHERE
proto_payload.audit_log.service_name = "logging.googleapis.com"
AND log_id = "cloudaudit.googleapis.com/activity"
确定过去一个月中最常执行的操作
为了确定过去 30 天内哪些操作执行得最多, 查询所有审核日志:
SELECT
proto_payload.audit_log.method_name,
proto_payload.audit_log.service_name,
resource.type,
COUNT(*) AS counter
FROM
`TABLE_NAME_OF_LOG_VIEW`
WHERE
timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
AND log_id="cloudaudit.googleapis.com/data_access"
GROUP BY
proto_payload.audit_log.method_name,
proto_payload.audit_log.service_name,
resource.type
ORDER BY
counter DESC
LIMIT 100
上一个查询搜索过去 30 天的所有审核日志,并返回
执行次数最多的 100 项操作(包含method_name
的相关信息)、
service_name
、资源类型以及所执行操作的计数器。
检测服务账号授予的角色
要识别服务账号模拟或已授予服务账号的角色 查询管理员活动审核日志:
SELECT
timestamp,
proto_payload.audit_log.authentication_info.principal_email as grantor,
JSON_VALUE(bindingDelta.member) as grantee,
JSON_VALUE(bindingDelta.role) as role,
proto_payload.audit_log.resource_name,
proto_payload.audit_log.method_name
FROM
`TABLE_NAME_OF_LOG_VIEW`,
UNNEST(JSON_QUERY_ARRAY(proto_payload.audit_log.service_data.policyDelta.bindingDeltas)) AS bindingDelta
WHERE
timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
AND log_id = "cloudaudit.googleapis.com/activity"
AND (
(resource.type = "service_account"
AND proto_payload.audit_log.method_name LIKE "google.iam.admin.%.SetIAMPolicy")
OR
(resource.type IN ("project", "folder", "organization")
AND proto_payload.audit_log.method_name = "SetIamPolicy"
AND JSON_VALUE(bindingDelta.role) LIKE "roles/iam.serviceAccount%")
)
AND JSON_VALUE(bindingDelta.action) = "ADD"
-- Principal (grantee) exclusions
AND JSON_VALUE(bindingDelta.member) NOT LIKE "%@example.com"
ORDER BY
timestamp DESC
上述查询会搜索审核日志,这些日志捕获授予
主账号。Service Account Token Creator 角色可让
主账号模拟服务账号。该查询还指定了
过去 7 天的日期范围内,不包括获得批准的受助人(%@example.com
)。
识别主账号的高 API 用量
如需确定主账号的 API 用量异常高,请查询所有审核日志:
SELECT
*
FROM (
SELECT
*,
AVG(counter) OVER (
PARTITION BY principal_email
ORDER BY day
ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING) AS avg,
STDDEV(counter) OVER (
PARTITION BY principal_email
ORDER BY day
ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING) AS stddev,
COUNT(*) OVER (
PARTITION BY principal_email
RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING) AS numSamples
FROM (
SELECT
proto_payload.audit_log.authentication_info.principal_email,
EXTRACT(DATE FROM timestamp) AS day,
ARRAY_AGG(DISTINCT proto_payload.audit_log.method_name IGNORE NULLS) AS actions,
COUNT(*) AS counter
FROM `TABLE_NAME_OF_LOG_VIEW`
WHERE
timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 60 DAY)
AND proto_payload.audit_log.authentication_info.principal_email IS NOT NULL
AND proto_payload.audit_log.method_name NOT LIKE "storage.%.get"
AND proto_payload.audit_log.method_name NOT LIKE "v1.compute.%.list"
AND proto_payload.audit_log.method_name NOT LIKE "beta.compute.%.list"
GROUP BY
proto_payload.audit_log.authentication_info.principal_email,
day
)
)
WHERE
counter > avg + 3 * stddev
AND day >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
ORDER BY
counter DESC
对于指定的主账号 principal_email
,查询会计算平均值
每天的 API 调用次数,以及这些 API 调用的标准差。
如果 API 调用的平均数量大于运行平均值加上标准差的三倍,则查询会显示以下信息:
- 执行的操作的计数器。
- 系统计算出的每天执行的平均操作次数。
- 所执行的具体操作。
后续步骤
如需大致了解 Log Analytics,请参阅 Log Analytics。
如需查看更多示例查询,请参阅 SQL 查询示例。
如需查看用于根据日志生成安全性数据分析的更多示例查询, 请参阅社区安全分析代码库。
要了解如何启用、汇总和分析日志,请参阅 请参阅 Google Cloud 中的安全日志分析。