活跃分区 DML 统计信息

主动分区数据操纵语言 (DML) 提供实时 当前活跃的分区 DML 的进度 您的数据库。

Spanner 提供了一个内置表， SPANNER_SYS.ACTIVE_PARTITIONED_DMLS，用于列出正在运行的分区 DML 及其进展情况

在本文中，我们将详细描述该表格，并展示一些示例 使用此表的查询，最后演示了如何使用这些表 有助于缓解由活跃分区 DML 引起的问题。

可用性

SPANNER_SYS 数据只能通过 SQL 接口获取；例如：

Spanner 提供的其他单次读取方法不支持 SPANNER_SYS。

ACTIVE_PARTITIONED_DMLS

SPANNER_SYS.ACTIVE_PARTITIONED_DMLS 会返回活跃分区 DML 的列表（按其开始时间排序）。

表架构

下表显示了 SPANNER_SYS.ACTIVE_PARTITIONED_DMLS 的表架构。

列名 类型 说明
TEXT STRING 分区 DML 查询语句文本。
TEXT_FINGERPRINT INT64 Fingerprint（指纹）是分区 DML 文本的哈希值。
SESSION_ID STRING 正在执行分区 DML 的会话的 ID。删除会话 ID 将会取消查询。
NUM_PARTITIONS_TOTAL INT64 分区 DML 中的分区总数。
NUM_PARTITIONS_COMPLETE INT64 分区 DML 已完成的分区数。
NUM_TRIVIAL_PARTITIONS_COMPLETE INT64 未处理任何行的完整分区数。
PROGRESS DOUBLE 分区 DML 的进度计算方法为：已完成的非琐碎分区数除以非琐碎分区总数。
ROWS_PROCESSED INT64 到目前为止处理的行数，会在每个分区完成后更新。
START_TIMESTAMP。 TIMESTAMP 分区 DML 的开始时间上限。
LAST_UPDATE_TIMESTAMP TIMESTAMP 分区 DML 取得进展的上次时间戳。在分区完成后更新。

示例查询

您可以使用客户端库、Google Cloud CLI 或 Google Cloud 控制台 运行下列示例 SQL 语句。

列出最早运行的查询

以下查询会返回正在运行的分区 DML 的列表（按开头排序） 查询发生的时间。

SELECT text,
       session_id,
       num_partitions_total,
       num_partitions_complete,
       num_trivial_partitions_complete,
       progress,
       rows_processed,
       start_timestamp,
       last_update_timestamp
FROM spanner_sys.active_partitioned_dmls
ORDER BY start_timestamp ASC;
文本 session_id num_partitions_total num_partitions_complete num_trivial_partitions_complete #googlecloudcertifiedprogress 标签 rows_processed start_timestamp last_update_timestamp
更新音乐会 SET VenueId = \“amazing place”WHERE SingerId <90 万 5bd37a99-200c-5d2e-9021-15d0dbbd97e6 27 15 3 50.00% 2398654 2024-01-21 15:56:30.498744-08:00 2024 年 1 月 22 日 15:56:39.049799-08:00
UPDATE Singers SET LastName = NULL WHERE LastName = &#39;&#39; 0028284f-0190-52f9-b396-aa588e034806 8 4 4 00.00% 0 2024-01-22 15:55:18.498744-08:00 2024-01-22 15:56:28.049799-08:00
从 WHERE SingerId 删除的歌手 >100 万 0071a85e-7e5c-576b-8a17-f9bc3d157eea 8 4 3 20.00% 238654 2024-01-22 15:56:30.498744-08:00 2024-01-22 15:56:19.049799-08:00
UPDATE Singers SET MarketingBudget = 1000 WHERE true 036097a9-91d4-566a-a399-20c754eabdc2 8 5 0 62.50% 238654 2024-01-22 15:57:47.498744-08:00 2024-01-22 15:57:39.049799-08:00

限制

使用 SPANNER_SYS.ACTIVE_PARTITIONED_DMLS 表会产生以下结果 限制：

  • PROGRESS、ROWS_PROCESSED 和 LAST_UPDATE_TIMESTAMP 结果会在已完成的分区边界处递增，因此分区 DML 可能会继续更新行，而这三个字段中的值保持不变。

  • 如果一个分区 DML 中有数百万个分区，则 PROGRESS 列可能不会捕获所有增量进度。使用 NUM_PARTITIONS_COMPLETE 和 NUM_TRIVIAL_PARTITIONS_COMPLETE 来引用更精细的进度。

  • 如果您使用 RPC 请求取消分区 DML，已取消的分区 DML 可能仍会显示在表中。如果您使用会话删除功能取消分区 DML，系统会立即将其从表中移除。如需了解详情，请参阅删除会话 ID。

使用活跃的分区 DML 查询数据排查高 CPU 利用率的问题

在排查 Spanner 数据库中的延迟问题时，查询统计信息和事务统计信息会提供一些有用的信息。这些工具会提供有关已完成查询的信息。不过，有时有必要了解系统中运行的是什么。例如，请考虑以下情况 您需要回答以下问题。

  • 目前有多少个分区 DML 正在运行？
  • 什么是分区 DML？
  • 这些分区 DML 中有多少已运行很长时间？
  • 哪个会话正在运行查询？

如果您对上述问题已有答案，则可以决定采取以下措施 操作。

  • 删除执行查询的会话可立即解决问题。
  • 降低分区 DML 的频率。

在以下演示中，我们将检查活跃的分区 DML 并确定要采取的操作（如果有）。

检索活跃分区 DML 的摘要

在示例场景中，我们发现高于正常 CPU 使用率的情况，因此决定运行以下查询返回活跃分区 DML 的计数。

SELECT count(*) as active_count
FROM spanner_sys.active_partitioned_dmls;

该查询会产生以下结果。

active_count
22

列出运行中时间最久的 2 个分区 DML

然后，我们可以运行查询，以查找关于前 2 个最早的 运行已按分区 DML 的开始时间排序的分区 DML。

SELECT text,
       session_id,
       num_partitions_total,
       num_partitions_complete,
       num_trivial_partitions_complete,
       progress,
       rows_processed,
       start_timestamp,
       last_update_timestamp
FROM spanner_sys.active_partitioned_dmls
ORDER BY start_timestamp ASC LIMIT 2;
文本 session_id num_partitions_total num_partitions_complete num_trivial_partitions_complete #googlecloudcertifiedprogress 标签 rows_processed start_timestamp last_update_timestamp
更新音乐会 SET VenueId = \“amazing place”WHERE SingerId <90 万 5bd37a99-200c-5d2e-9021-15d0dbbd97e6 27 15 3 50.00% 2398654 2024-01-21 15:56:30.498744-08:00 2024 年 1 月 22 日 15:56:39.049799-08:00
UPDATE Singers SET LastName = NULL WHERE LastName = &#39;&#39; 0028284f-0190-52f9-b396-aa588e034806 8 4 4 00.00% 0 2024-01-22 15:55:18.498744-08:00 2024-01-22 15:56:28.049799-08:00

取消开销大的查询

我们发现了一个分区 DML，该 DML 已运行了几天但没有任何进展。我们可以 因此，请运行以下 gcloud spanner databases sessions delete 命令以使用会话 ID 删除会话，从而取消分区 DML。

gcloud spanner databases sessions delete\
   5bd37a99-200c-5d2e-9021-15d0dbbd97e6 \
    --database=singer_db --instance=test-instance

后续步骤