活跃的分区 DML 统计信息

正在执行的分区数据操纵语言 (DML) 会为数据库中处于活动状态的分区 DML 提供实时进度。

Spanner 提供了一个内置表 SPANNER_SYS.ACTIVE_PARTITIONED_DMLS,该表列出了正在运行的分区 DML 以及其进度。

本页详细介绍了该表,并介绍了一些使用此表的示例查询,最后演示了如何使用这些查询来帮助缓解由活跃分区 DML 引发的问题。本页中的信息适用于 GoogleSQL 方言数据库和 PostgreSQL 方言数据库。

可用性

SPANNER_SYS 数据只能通过 SQL 接口获得;例如:

Spanner 提供的其他单次读取方法不支持 SPANNER_SYS

ACTIVE_PARTITIONED_DMLS

SPANNER_SYS.ACTIVE_PARTITIONED_DMLS 返回按开始时间排序的活跃分区 DML 列表。

表架构

下表显示了 SPANNER_SYS.ACTIVE_PARTITIONED_DMLS 的表架构。

列名 类型 说明
TEXT STRING 分区 DML 查询语句文本。
TEXT_FINGERPRINT INT64 指纹是分区 DML 文本的哈希。
SESSION_ID STRING 正在执行分区 DML 的会话的 ID。删除会话 ID 将会取消查询。
NUM_PARTITIONS_TOTAL INT64 分区 DML 中的分区总数。
NUM_PARTITIONS_COMPLETE INT64 分区 DML 已完成的分区数。
NUM_TRIVIAL_PARTITIONS_COMPLETE INT64 未处理任何行的完整分区数。
PROGRESS DOUBLE 分区 DML 的进度计算方法为:已完成的非琐碎分区数除以非琐碎分区总数。
ROWS_PROCESSED INT64 到目前为止处理的行数,会在每个分区完成后更新。
START_TIMESTAMP TIMESTAMP 分区 DML 的开始时间上限。
LAST_UPDATE_TIMESTAMP TIMESTAMP 分区 DML 取得进展的上次时间戳。在分区完成后更新。

示例查询

您可以使用客户端库Google Cloud CLIGoogle Cloud 控制台 运行下列示例 SQL 语句。

列出最早运行的查询

以下查询将返回正在运行的分区 DML 列表,按查询的开始时间排序。

SELECT text,
       session_id,
       num_partitions_total,
       num_partitions_complete,
       num_trivial_partitions_complete,
       progress,
       rows_processed,
       start_timestamp,
       last_update_timestamp
FROM spanner_sys.active_partitioned_dmls
ORDER BY start_timestamp ASC;
文本 session_id num_partitions_total num_partitions_complete num_trivial_partitions_complete #googlecloudcertifiedprogress 标签 rows_processed start_timestamp last_update_timestamp
UPDATE Concerts SET VenueId = \'amazing venue\' WHERE SingerId < 900000 5bd37a99-200c-5d2e-9021-15d0dbbd97e6 27 15 3 50.00% 2398654 2024-01-21 15:56:30.498744-08:00 2024-01-22 15:56:39.049799-08:00
UPDATE Singers SET LastName = NULL WHERE LastName = '' 0028284f-0190-52f9-b396-aa588e034806 8 4 4 00.00% 0 2024-01-22 15:55:18.498744-08:00 2024-01-22 15:56:28.049799-08:00
DELETE from Singers WHERE SingerId > 1000000 0071a85e-7e5c-576b-8a17-f9bc3d157eea 8 4 3 20.00% 238654 2024-01-22 15:56:30.498744-08:00 2024-01-22 15:56:19.049799-08:00
UPDATE Singers SET MarketingBudget = 1000 WHERE true 036097a9-91d4-566a-a399-20c754eabdc2 8 5 0 62.50% 238654 2024-01-22 15:57:47.498744-08:00 2024-01-22 15:57:39.049799-08:00

限制

使用 SPANNER_SYS.ACTIVE_PARTITIONED_DMLS 表时,存在以下限制:

  • PROGRESSROWS_PROCESSEDLAST_UPDATE_TIMESTAMP 结果会在已完成的分区边界处递增,因此分区 DML 可能会继续更新行,而这三个字段中的值保持不变。

  • 如果分区 DML 中包含数百万个分区,PROGRESS 列中的值可能无法捕获所有增量进度。使用 NUM_PARTITIONS_COMPLETENUM_TRIVIAL_PARTITIONS_COMPLETE 来引用更精细的进度。

  • 如果您使用 RPC 请求取消分区 DML,已取消的分区 DML 可能仍会显示在表中。如果您使用会话删除功能取消分区 DML,该操作会立即从表中移除该 DML。如需了解详情,请参阅删除会话 ID

使用活跃的分区 DML 查询数据排查高 CPU 利用率的问题

在排查 Spanner 数据库中的延迟问题时,查询统计信息事务统计信息会提供一些有用的信息。这些工具会提供有关已完成查询的信息。但是,有时需要知道系统中正在运行的程序。例如,在 CPU 利用率较高的情况下,您需要回答以下问题。

  • 目前有多少个分区 DML 正在运行?
  • 这些分区 DML 是什么?
  • 有多少个分区 DML 在长时间运行?
  • 哪个会话正在运行查询?

如果您已回答上述问题,可以决定执行以下操作。

  • 删除执行查询的会话可立即解决问题。
  • 降低分区 DML 的频率。

在以下演示中,我们将研究活跃的分区 DML,并确定要采取的行动(如果有的话)。

检索活跃分区 DML 的摘要

在示例场景中,我们发现高于正常 CPU 使用率的情况,因此决定运行以下查询返回活跃的分区 DML 的计数。

SELECT count(*) as active_count
FROM spanner_sys.active_partitioned_dmls;

该查询会产生以下结果。

active_count
22

列出最热门的 2 个最早运行的分区 DML

然后,我们可以运行一个查询,以按分区 DML 的开始时间查找前 2 个最早运行的分区 DML 的更多信息。

SELECT text,
       session_id,
       num_partitions_total,
       num_partitions_complete,
       num_trivial_partitions_complete,
       progress,
       rows_processed,
       start_timestamp,
       last_update_timestamp
FROM spanner_sys.active_partitioned_dmls
ORDER BY start_timestamp ASC LIMIT 2;
文本 session_id num_partitions_total num_partitions_complete num_trivial_partitions_complete #googlecloudcertifiedprogress 标签 rows_processed start_timestamp last_update_timestamp
UPDATE Concerts SET VenueId = \'amazing venue\' WHERE SingerId < 900000 5bd37a99-200c-5d2e-9021-15d0dbbd97e6 27 15 3 50.00% 2398654 2024-01-21 15:56:30.498744-08:00 2024-01-22 15:56:39.049799-08:00
UPDATE Singers SET LastName = NULL WHERE LastName = '' 0028284f-0190-52f9-b396-aa588e034806 8 4 4 00.00% 0 2024-01-22 15:55:18.498744-08:00 2024-01-22 15:56:28.049799-08:00

取消耗费高昂的查询

我们发现一个分区 DML 已运行数天,但没有任何进展。因此,我们可以运行以下 gcloud spanner databases sessions delete 命令来使用会话 ID 删除会话,从而取消分区 DML。

gcloud spanner databases sessions delete\
   5bd37a99-200c-5d2e-9021-15d0dbbd97e6 \
    --database=singer_db --instance=test-instance

后续步骤