Spanner 审核日志信息

本文档介绍 Cloud Audit Logs 中由 Spanner 创建的审核日志。

概览

Google Cloud 服务会写入审核日志,便于您了解在您的 Google Cloud 资源中“谁在何时何地执行了什么操作”。

Google Cloud 项目只包含直接属于 Google Cloud 项目的资源的审核日志。其他 Google Cloud 资源(例如文件夹、组织和结算账号)包含实体本身的审核日志。

如需大致了解 Cloud Audit Logs,请参阅 Cloud Audit Logs 概览。如需深入了解审核日志格式,请参阅了解审核日志

可用的审核日志

Spanner 提供以下类型的审核日志:

  • 管理员活动审核日志

    包括写入元数据或配置信息的“管理员写入”操作。

    您无法停用管理员活动审核日志。

  • 数据访问审核日志

    包括读取元数据或配置信息的“管理员读取”操作。 此外,还包括读取或写入用户提供的数据的“数据读取”和“数据写入”操作。

    如需接收数据访问审核日志,您必须明确启用这些日志。

  • 系统事件审核日志

    标识修改资源配置的自动 Google Cloud 操作。

    您无法停用系统事件审核日志。

如需查看审核日志类型的完整说明,请参阅审核日志类型

审核的操作

下表汇总了与 Spanner 中的每种审核日志类型相对应的 API 操作:

审核日志类别 Spanner 操作
管理员活动日志

实例操作:

  • CreateInstance
  • DeleteInstance
  • UpdateInstance

数据库操作:

  • CreateDatabase
  • DropDatabase
  • RestoreDatabase[1] [2]
  • UpdateDatabaseDdl

备份操作:

  • CreateBackup[2]
  • DeleteBackup
  • UpdateBackup
数据访问日志 (ADMIN_READ)

实例操作:

  • GetInstance
  • GetInstanceConfig
  • ListInstanceConfigs
  • ListInstances

数据库操作:

  • GetDatabase
  • GetDatabaseDdl
  • ListDatabases

备份操作:

  • GetBackup
  • ListBackups
数据访问日志 (DATA_READ)
  • BeginTransaction(对于 ReadOnly 事务)
  • ExecuteSql[3]
  • ExecuteStreamingSql[3]
  • GetSession
  • ListSessions
  • Read[3](系统不会记录请求的密钥)
  • StreamingRead[3](系统不会记录请求的密钥)
数据访问日志 (DATA_WRITE)
  • BeginTransaction(对于 ReadWrite 事务)
  • ExecuteSql[3]
  • ExecuteStreamingSql[3]
  • Commit
  • CreateSession
  • DeleteSession
  • Read[3](系统不会记录请求的密钥)
  • Rollback
  • StreamingRead[3](系统不会记录请求的密钥)
系统事件日志
  • OptimizeRestoredDatabase

[1] 尽管恢复数据库需要对两个资源(可能位于不同实例中的备份和恢复数据库)进行授权,但 RestoreDatabase 事件仅记录为已恢复数据库实例的单个条目。此条目中有两个 authorizationInfo 条目:一个用于数据库(检查 spanner.databases.create 权限),另一个用于备份(检查 spanner.backups.restoreDatabase 权限)。

[2] 对于 RestoreDatabaseCreateBackup,操作完成时记录的条目不包含任何身份验证或授权信息。身份验证和授权信息在操作开始时记录的匹配条目中提供。如需在日志浏览器中查找匹配的日志条目,请点击日志条目的 operation.id 字段,然后在菜单中选择显示匹配的条目

[3] 如果方法的 TransactionSelector 中指定了,则执行读取操作的数据访问方法 ReadStreamingReadExecuteSqlExecuteStreamingSql 也可能会启动读写事务。在这种情况下,操作将同时匹配 DATA_READDATA_WRITE 访问权限类型。

处理用时

如需查看处理 DATA_READDATA_WRITE 请求所需的时间,请参阅 AuditLogmetadata 对象中的 processingDurationSeconds 字段。processingDurationSeconds 可帮助您监控请求延迟时间。

processingDurationSeconds 描述 Spanner API 请求延迟时间。它指的是 Spanner API 前端收到请求的第一个字节到发送响应的最后一个字节之间的时长(以秒为单位)。在 Spanner 后端和 API 层中处理 API 请求所需的时间就是延迟时间。但是,此延迟时间不包括 Spanner 客户端和服务器之间的网络开销或 Google Front End 开销。如需直观呈现 Spanner API 请求中涉及的概要组件,请参阅 Spanner 端到端延迟时间指南

例如,以下是包含 processingDurationSeconds 信息的审核日志:

{
  "protoPayload": {
    "@type": "type.googleapis.com/google.cloud.audit.AuditLog",
    "authenticationInfo": {...},
    "requestMetadata": {...},
    "serviceName": "spanner.googleapis.com",
    "methodName": "google.spanner.v1.Spanner.Commit",
    "authorizationInfo": [{...}],
    "resourceName": "projects/example-project/instances/example-instance/databases/example-database/sessions/example-session",
    "request": {
      "transactionId": "example-transactionId",
      "@type": "type.googleapis.com/google.spanner.v1.CommitRequest",
      "session": "projects/example-project/instances/example-instance/databases/example-database/sessions/example-session"
    },
    "response": {
      "@type": "type.googleapis.com/google.spanner.v1.CommitResponse",
      "commitTimestamp": "2023-02-13T17:11:10.106602Z"
    },
    "metadata": {
      "@type": "type.googleapis.com/spanner.cloud.instance_v1.QueryPerformanceMetadata",
      "processingDurationSeconds": 0.1932541
    }
  },
  "insertId": "p9ju4gdi7j0",
  "resource": {...},
  "timestamp": "2023-02-13T17:11:10.000093953Z",
  "severity": "INFO",
  "logName": "projects/example-project/logs/cloudaudit.googleapis.com%2Fdata_access",
  "receiveTimestamp": "2023-02-13T17:11:11.170517524Z"
}

对于 ExecuteStreamingSqlStreamingReadPartitionReadPartitionQuery 请求,未设置 processingDurationSeconds 字段。如需计算流式传输和分区请求延迟时间,请参阅计算流式传输和分区请求延迟时间

审核日志格式

审核日志条目包含以下对象:

  • 日志条目本身,即类型为 LogEntry 的对象。以下是一些实用的字段:

    • logName 包含资源 ID 和审核日志类型。
    • resource 包含所审核操作的目标。
    • timeStamp 包含所审核操作的时间。
    • protoPayload 包含审核的信息。
  • 审核日志记录数据,即保存在日志条目的 protoPayload 字段中的 AuditLog 对象。

  • (可选)服务专属的审核信息,即服务专属对象。对于早期集成,此对象保存在 AuditLog 对象的 serviceData 字段中;之后的集成使用 metadata 字段。

如需了解上述对象中的其他字段以及如何解读这些字段,请参阅了解审核日志

日志名称

Cloud Audit Logs 日志名称包含资源标识符,指明了审核日志所属的 Google Cloud 项目或其他 Google Cloud 实体,以及日志是包含管理员活动、数据访问、政策拒绝还是系统事件审核日志记录数据。

以下是审核日志名称,包括资源标识符的变量:

   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Factivity
   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fpolicy

   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Factivity
   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Fpolicy

   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Factivity
   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Fpolicy

   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Factivity
   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Fpolicy

服务名称

Spanner 审核日志使用服务名称 spanner.googleapis.com

如需查看所有 Cloud Logging API 服务名称及其相应受监控的资源类型的列表,请参阅服务与资源的映射

资源类型

Spanner 审核日志全部都使用资源类型 spanner_instance

如需查看所有 Cloud Logging 受监控资源类型和说明信息的完整列表,请参阅受监控的资源类型

调用方身份

调用方的 IP 地址保存在 AuditLog 对象的 RequestMetadata.caller_ip 字段中。Logging 可能会隐去某些调用方身份和 IP 地址。

如需了解在审核日志中隐去的信息,请参阅审核日志中的调用方身份

启用审核日志记录

系统在任何情况下都会启用系统事件审核日志,无法停用。

系统在任何情况下都会启用管理员活动审核日志,无法停用。

数据访问审核日志默认处于停用状态,除非明确启用,否则无法向其中写入数据(BigQuery 数据访问审核日志是一个例外,无法停用)。

如需了解如何启用部分或全部数据访问审核日志,请参阅启用数据访问审核日志

权限和角色

IAM 权限和角色决定了您能否访问 Google Cloud 资源中的审核日志数据。

在决定哪些特定于 Logging 的权限和角色适用于您的使用场景时,请考虑以下因素:

  • Logs Viewer 角色 (roles/logging.viewer) 为您提供对管理员活动、政策拒绝和系统事件审核日志的只读权限。如果您只具有此角色,则无法查看 _Default 存储桶中的数据访问审核日志。

  • Private Logs Viewer 角色 ((roles/logging.privateLogViewer) 包含 roles/logging.viewer 具有的权限,以及读取 _Default 存储桶中的数据访问审核日志的权限。

    请注意,如果这些私密日志存储在用户定义的存储桶中,有权读取这些存储桶中的日志的任何用户都可以读取这些私密日志。如需详细了解日志存储桶,请参阅路由和存储概览

如需详细了解适用于审核日志数据的 IAM 权限和角色,请参阅使用 IAM 进行访问权限控制

查看日志

您可以查询所有审核日志,也可以按其审核日志名称来查询日志。审核日志名称包含您要查看其审核日志记录信息的 Google Cloud 项目、文件夹、结算账号或组织的资源标识符。您的查询可以指定已编入索引的 LogEntry 字段,如果您使用支持 SQL 查询的 Log Analytics 页面,则您可以以图表形式查看查询结果

如需详细了解如何查询日志,请参阅以下页面:

您可以使用 Google Cloud 控制台、Google Cloud CLI 或 Logging API 查看 Cloud Logging 中的审核日志。

控制台

在 Google Cloud 控制台中,您可以使用 Logs Explorer 来检索 Google Cloud 项目、文件夹或组织的审核日志条目:

  1. 在 Google Cloud 控制台的导航面板中,选择 Logging,然后选择 Logs Explorer

    前往 Logs Explorer

  2. 选择现有的 Google Cloud 项目、文件夹或组织。

  3. 如需显示所有审核日志,请在查询编辑器字段中输入以下任一查询,然后点击运行查询

    logName:"cloudaudit.googleapis.com"
    
    protoPayload."@type"="type.googleapis.com/google.cloud.audit.AuditLog"
    
  4. 如需显示特定资源和审核日志类型的审核日志,请在查询构建器窗格中执行以下操作:

    • 资源类型中,选择要查看其审核日志的 Google Cloud 资源。

    • 日志名称中,选择要查看的审核日志类型:

      • 对于管理员活动审核日志,选择 activity
      • 对于数据访问审核日志,选择 data_access
      • 对于系统事件审核日志,选择 system_event
      • 对于政策拒绝审核日志,选择 policy
    • 点击运行查询

    如果您没有看到这些选项,则表示 Google Cloud 项目、文件夹或组织中没有该类型的任何审核日志。

    如果您在尝试从 Logs Explorer 中查看日志时遇到问题,请参阅问题排查信息。

    如需详细了解如何使用 Logs Explorer 进行查询,请参阅在 Logs Explorer 中构建查询。 如需了解如何使用 Gemini 在日志浏览器中汇总日志条目,请参阅在 Gemini 协助下汇总日志条目

gcloud

Google Cloud CLI 为 Logging API 提供了命令行界面。在每个日志名称中提供有效的资源标识符。例如,如果您的查询包含 PROJECT_ID,则您提供的项目标识符必须引用当前选择的 Google Cloud 项目。

如需读取 Google Cloud 项目级层审核日志条目,请运行以下命令:

gcloud logging read "logName : projects/PROJECT_ID/logs/cloudaudit.googleapis.com" \
    --project=PROJECT_ID

如需读取文件夹级审核日志条目,请运行以下命令:

gcloud logging read "logName : folders/FOLDER_ID/logs/cloudaudit.googleapis.com" \
    --folder=FOLDER_ID

如需读取组织级审核日志条目,请运行以下命令:

gcloud logging read "logName : organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com" \
    --organization=ORGANIZATION_ID

如需读取 Cloud Billing 账号级层审核日志条目,请运行以下命令:

gcloud logging read "logName : billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com" \
    --billing-account=BILLING_ACCOUNT_ID

在命令中添加 --freshness 标志可读取超过 1 天的日志。

如需详细了解如何使用 gcloud CLI,请参阅 gcloud logging read

API

构建查询时,请在每个日志名称中提供有效的资源标识符。例如,如果您的查询包含 PROJECT_ID,则您提供的项目标识符必须引用当前选择的 Google Cloud 项目。

例如,要使用 Logging API 查看项目级的审核日志条目,请执行以下操作:

  1. 转到 entries.list 方法文档中的试用此 API 部分。

  2. 将以下内容添加到试用此 API 表单的请求正文部分。点击此预填充的表单后,系统会自动填充请求正文,但您需要在每个日志名称中提供一个有效的 PROJECT_ID

    {
      "resourceNames": [
        "projects/PROJECT_ID"
      ],
      "pageSize": 5,
      "filter": "logName : projects/PROJECT_ID/logs/cloudaudit.googleapis.com"
    }
    
  3. 点击执行

路由审核日志

您可以将审核日志路由到受支持的目标位置,方式与路由其他类型的日志相同。以下是您可能需要路由审核日志的一些原因:

  • 如需长时间保留审核日志或使用更强大的搜索功能,您可以将审核日志的副本路由到 Cloud Storage、BigQuery 或 Pub/Sub。您可以使用 Pub/Sub 将内容路由到其他应用、其他代码库和第三方工具。

  • 如需管理整个组织范围内与您相关的审核日志,您可以创建一个汇总接收器,以便从组织中的任意或所有 Google Cloud 项目路由日志。

  • 如果启用的数据访问审核日志会导致 Google Cloud 项目超出日志配额,您可以创建接收器,以从 Logging 中排除数据访问审核日志。

如需了解如何路由日志,请参阅将日志路由到支持的目的地

价格

如需详细了解价格,请参阅 Cloud Logging 价格摘要

后续步骤