监控 Data Boost 使用情况

本页介绍了如何使用 Cloud Monitoring 和 Spanner 审核日志来监控和分析 Spanner Data Boost 使用情况。

Cloud Monitoring 可以跟踪一段时间内的总用量, 来按用户细分使用情况数据Spanner 审核日志允许 提供灵活的使用情况分析功能,包括按用户或 BigQuery 作业 ID。

使用 Cloud Monitoring 跟踪流量提升功能的使用情况

要跟踪 Data Boost 的整体使用情况,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往 Monitoring
    转到 Monitoring
  2. 如果导航菜单中显示 Metrics Explorer,请选择该浏览器。 否则,请点击资源,然后选择 Metrics Explorer
  3. 在页面顶部,选择一个时间间隔。
  4. 指标下拉列表中的按资源或指标过滤 name 字段中,输入 spanner 并按 Enter 以缩小搜索范围。
  5. 指标列表中,依次选择 Cloud Spanner 实例 > 实例 > 处理单元/秒,然后点击应用

    这会创建一个折线图,显示跨环境的 Data Boost 汇总使用情况 所有 Spanner 实例。

  6. 如需查看特定实例的使用情况,请按以下步骤操作:

    1. 使用过滤条件字段添加过滤条件,例如实例 ID。
    2. 点击 + 可添加其他属性。
  7. 如需查看所有实例的用量明细,请按以下步骤操作:

    1. 点击过滤条件旁边的 X 图标,清除所有过滤条件 字段。
    2. Aggregation 运算符下拉列表中,选择 Sum,然后 按 instance_id 选择。
  8. 如需按主账号细分用量,请在 Aggregation 运算符下拉菜单中 选择 Sum(总和),然后按 credential_id 进行选择。

使用审核日志分析 Data Boost 使用情况

Spanner 审核日志可让您更灵活地分析 流量消耗。除了能够细分使用情况之外 与 Cloud Monitoring 一样 Spanner 审核日志(如果已启用且可用)允许细分 按数据库或 BigQuery 作业 ID 查看用量随时间变化的情况。

启用审核日志可能会产生额外费用。有关 Logging 价格,请参阅 Google Cloud Observability 价格:Cloud Logging

启用 Data Boost 使用情况审核日志

您必须先为 Spanner 启用数据访问审核日志,然后才能 收集 Data Boost 的使用情况数据。请按以下步骤操作:

  1. 请按照 使用 Google Cloud 控制台配置数据访问审核日志
  2. Spanner API 服务启用数据读取日志类型。
  3. 如需通过 BigQuery 作业 SQL 文本获取 Data Boost 用量, 确保也启用了 BigQuery 的审核日志。

按主账号查看用量

如需查询审核日志以查看用户的数据提升使用情况,请按照下列步骤操作: 具体步骤:

  1. 打开 Google Cloud 控制台中的 Logs Explorer。

    转到日志浏览器

  2. 在导航菜单中,点击 Log Analytics

  3. 如需按用户和数据库显示过去 7 天的用量,请运行以下命令 查询。要更改显示用量的时间范围,请修改 WHERE 子句中的 timestamp 表达式。

    SELECT
      SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
      REGEXP_EXTRACT(
        proto_payload.audit_log.resource_name,
        'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
      proto_payload.audit_log.authentication_info.principal_email AS principal_email
    FROM `PROJECT_NAME.global._Default._AllLogs`
    WHERE
      timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
      AND resource.type = 'spanner_instance' AND operation.last IS NULL
      AND JSON_VALUE(labels.data_boost_usage) != ''
    GROUP BY database, principal_email;
    

    PROJECT_NAME 替换为您的项目名称。

以下示例展示了 4 个主账号在处理单元中的用量。

审核日志中用户的 Data Boost 用量

按 BigQuery 作业 ID 查看用量

查询审核日志以查看细分的 Data Boost 用量 数据库、用户和 BigQuery 作业 ID,请按以下步骤操作:

  1. 打开 Google Cloud 控制台中的 Logs Explorer。

    转到日志浏览器

  2. 在导航菜单中,点击 Log Analytics

  3. 请运行以下查询:

    SELECT
      SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
      REGEXP_EXTRACT(
        proto_payload.audit_log.resource_name,
        'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
      proto_payload.audit_log.authentication_info.principal_email AS principal_email,
      IFNULL(JSON_VALUE(labels.data_boost_workload_id), 'not from BQ') AS job_id
    FROM `PROJECT_NAME.global._Default._AllLogs`
    WHERE
      timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
      AND resource.type = 'spanner_instance' AND operation.last IS NULL
      AND JSON_VALUE(labels.data_boost_usage) != ''
    GROUP BY database, principal_email, job_id;
    

    PROJECT_NAME 替换为您的项目名称。

以下示例显示了按 BigQuery 作业 ID 划分的用量。

Data Boost 用量(按作业 ID)

按 BigQuery SQL 文本查看用量

查看多个 BigQuery 作业的 Data Boost 用量 按这些作业的 SQL 文本汇总,请按照以下步骤操作:

  1. 打开 Google Cloud 控制台中的 Logs Explorer。

    转到日志浏览器

  2. 在导航菜单中,点击 Log Analytics

  3. 请运行以下查询:

    SELECT
      SUM(
        CAST(
          JSON_VALUE(db.labels.data_boost_usage)
          AS INT64)) AS usage,
      JSON_VALUE(
        bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
        AS bq_query
    FROM
      `PROJECT_NAME.global._Default._AllLogs` db,
      `PROJECT_NAME.global._Default._AllLogs` bq
    WHERE
      db.timestamp > TIMESTAMP_SUB(
        CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
      AND db.resource.type = 'spanner_instance'
      AND JSON_VALUE(db.labels.data_boost_usage) != ''
      AND db.operation.last IS NULL
      AND bq.timestamp > TIMESTAMP_SUB(
        CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
      AND bq.proto_payload.audit_log.method_name
        = 'google.cloud.bigquery.v2.JobService.InsertJob'
      AND bq.resource.type = 'bigquery_project'
      AND JSON_VALUE(
        bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
        IS NOT NULL
      AND JSON_VALUE(db.labels.data_boost_workload_id)
        = REGEXP_EXTRACT(bq.proto_payload.audit_log.resource_name, '[^/]*$')
    GROUP BY bq_query
    ORDER BY usage DESC
    

    PROJECT_NAME 替换为您的项目名称。

以下示例显示了按 SQL 文本查看 Data Boost 的使用情况。

Data Boost 用量(按 SQL 文本)

创建 Data Boost 提醒

创建在数据提升使用量超过时发出的提醒 预定义的阈值,请参阅 设置 Data Boost 用量提醒

后续步骤