监控 Data Boost 使用情况

本页介绍了如何使用 Cloud Monitoring 和 Spanner 审核日志来监控和分析 Spanner Data Boost 使用情况。

Cloud Monitoring 可以跟踪一段时间内的总用量， 来按用户细分使用情况数据Spanner 审核日志允许 提供灵活的使用情况分析功能，包括按用户或 BigQuery 作业 ID。

使用 Cloud Monitoring 跟踪流量提升功能的使用情况

要跟踪 Data Boost 的整体使用情况，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，前往 Monitoring。
    转到 Monitoring
  2. 如果导航菜单中显示 Metrics Explorer，请选择该浏览器。 否则，请点击资源，然后选择 Metrics Explorer。
  3. 在页面顶部，选择一个时间间隔。
  4. 在指标下拉列表中的按资源或指标过滤 name 字段中，输入 spanner 并按 Enter 以缩小搜索范围。

  5. 在指标列表中，依次选择 Cloud Spanner 实例 > 实例 > 处理单元/秒，然后点击应用。

    这会创建一个折线图，显示跨环境的 Data Boost 汇总使用情况 所有 Spanner 实例。

  6. 如需查看特定实例的使用情况，请按以下步骤操作：

    1. 使用过滤条件字段添加过滤条件，例如实例 ID。
    2. 点击 + 可添加其他属性。

  7. 如需查看所有实例的用量明细，请按以下步骤操作：

    1. 点击过滤条件旁边的 X 图标，清除所有过滤条件 字段。
    2. 在 Aggregation 运算符下拉列表中，选择 Sum，然后 按 instance_id 选择。

  8. 如需按主账号细分用量，请在 Aggregation 运算符下拉菜单中 选择 Sum（总和），然后按 credential_id 进行选择。

使用审核日志分析 Data Boost 使用情况

Spanner 审核日志可让您更灵活地分析 流量消耗。除了能够细分使用情况之外 与 Cloud Monitoring 一样 Spanner 审核日志（如果已启用且可用）允许细分 按数据库或 BigQuery 作业 ID 查看用量随时间变化的情况。

启用审核日志可能会产生额外费用。有关 Logging 价格，请参阅 Google Cloud Observability 价格：Cloud Logging。

启用 Data Boost 使用情况审核日志

您必须先为 Spanner 启用数据访问审核日志，然后才能 收集 Data Boost 的使用情况数据。请按以下步骤操作：

  1. 请按照 使用 Google Cloud 控制台配置数据访问审核日志。
  2. 为 Spanner API 服务启用数据读取日志类型。
  3. 如需通过 BigQuery 作业 SQL 文本获取 Data Boost 用量， 确保也启用了 BigQuery 的审核日志。

按主账号查看用量

如需查询审核日志以查看用户的数据提升使用情况，请按照下列步骤操作： 具体步骤：

  1. 打开 Google Cloud 控制台中的 Logs Explorer。

    转到日志浏览器

  2. 在导航菜单中，点击 Log Analytics。

  3. 如需按用户和数据库显示过去 7 天的用量，请运行以下命令 查询。要更改显示用量的时间范围，请修改 WHERE 子句中的 timestamp 表达式。

    SELECT
  SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
  REGEXP_EXTRACT(
    proto_payload.audit_log.resource_name,
    'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
  proto_payload.audit_log.authentication_info.principal_email AS principal_email
FROM `PROJECT_NAME.global._Default._AllLogs`
WHERE
  timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND resource.type = 'spanner_instance' AND operation.last IS NULL
  AND JSON_VALUE(labels.data_boost_usage) != ''
GROUP BY database, principal_email;

    将 PROJECT_NAME 替换为您的项目名称。

以下示例展示了 4 个主账号在处理单元中的用量。

审核日志中用户的 Data Boost 用量

按 BigQuery 作业 ID 查看用量

查询审核日志以查看细分的 Data Boost 用量 数据库、用户和 BigQuery 作业 ID，请按以下步骤操作：

  1. 打开 Google Cloud 控制台中的 Logs Explorer。

    转到日志浏览器

  2. 在导航菜单中，点击 Log Analytics。

  3. 请运行以下查询：

    SELECT
  SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
  REGEXP_EXTRACT(
    proto_payload.audit_log.resource_name,
    'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
  proto_payload.audit_log.authentication_info.principal_email AS principal_email,
  IFNULL(JSON_VALUE(labels.data_boost_workload_id), 'not from BQ') AS job_id
FROM `PROJECT_NAME.global._Default._AllLogs`
WHERE
  timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND resource.type = 'spanner_instance' AND operation.last IS NULL
  AND JSON_VALUE(labels.data_boost_usage) != ''
GROUP BY database, principal_email, job_id;

    将 PROJECT_NAME 替换为您的项目名称。

以下示例显示了按 BigQuery 作业 ID 划分的用量。

Data Boost 用量（按作业 ID）

按 BigQuery SQL 文本查看用量

查看多个 BigQuery 作业的 Data Boost 用量 按这些作业的 SQL 文本汇总，请按照以下步骤操作：

  1. 打开 Google Cloud 控制台中的 Logs Explorer。

    转到日志浏览器

  2. 在导航菜单中，点击 Log Analytics。

  3. 请运行以下查询：

    SELECT
  SUM(
    CAST(
      JSON_VALUE(db.labels.data_boost_usage)
      AS INT64)) AS usage,
  JSON_VALUE(
    bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
    AS bq_query
FROM
  `PROJECT_NAME.global._Default._AllLogs` db,
  `PROJECT_NAME.global._Default._AllLogs` bq
WHERE
  db.timestamp > TIMESTAMP_SUB(
    CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND db.resource.type = 'spanner_instance'
  AND JSON_VALUE(db.labels.data_boost_usage) != ''
  AND db.operation.last IS NULL
  AND bq.timestamp > TIMESTAMP_SUB(
    CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND bq.proto_payload.audit_log.method_name
    = 'google.cloud.bigquery.v2.JobService.InsertJob'
  AND bq.resource.type = 'bigquery_project'
  AND JSON_VALUE(
    bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
    IS NOT NULL
  AND JSON_VALUE(db.labels.data_boost_workload_id)
    = REGEXP_EXTRACT(bq.proto_payload.audit_log.resource_name, '[^/]*$')
GROUP BY bq_query
ORDER BY usage DESC

    将 PROJECT_NAME 替换为您的项目名称。

以下示例显示了按 SQL 文本查看 Data Boost 的使用情况。

Data Boost 用量（按 SQL 文本）

创建 Data Boost 提醒

创建在数据提升使用量超过时发出的提醒 预定义的阈值，请参阅 设置 Data Boost 用量提醒。

后续步骤