主动分区数据操纵语言 (DML) 提供实时 当前活跃的分区 DML 的进度 您的数据库。
Spanner 提供了一个内置表,
SPANNER_SYS.ACTIVE_PARTITIONED_DMLS
,用于列出正在运行的分区 DML
及其进展情况
在本文中,我们将详细描述该表格,并展示一些示例 使用此表的查询,最后演示了如何使用这些查询 有助于缓解由活跃分区 DML 引起的问题。
可用性
SPANNER_SYS
数据只能通过 SQL 接口获取;例如:
Google Cloud 控制台中数据库的 Spanner Studio 页面
executeQuery
API
不支持 Spanner 提供的其他单次读取方法
SPANNER_SYS
.
ACTIVE_PARTITIONED_DMLS
SPANNER_SYS.ACTIVE_PARTITIONED_DMLS
会返回活跃分区 DML 的列表(按其开始时间排序)。
表架构
下面显示了 SPANNER_SYS.ACTIVE_PARTITIONED_DMLS 的表架构。
列名 | 类型 | 说明 |
---|---|---|
TEXT |
STRING |
分区 DML 查询语句文本。 |
TEXT_FINGERPRINT |
INT64 |
Fingerprint(指纹)是分区 DML 文本的哈希值。 |
SESSION_ID |
STRING |
正在执行分区 DML 的会话的 ID。删除会话 ID 将会取消查询。 |
NUM_PARTITIONS_TOTAL |
INT64 |
分区 DML 中分区的总数。 |
NUM_PARTITIONS_COMPLETE |
INT64 |
分区 DML 已完成的分区数。 |
NUM_TRIVIAL_PARTITIONS_COMPLETE |
INT64 |
未处理任何行的完整分区数。 |
PROGRESS |
DOUBLE |
分区 DML 的进度计算方式为已完成的重要分区数除以重要分区总数。 |
ROWS_PROCESSED |
INT64 |
到目前为止已处理的行数,在每个分区完成后更新。 |
START_TIMESTAMP 。 |
TIMESTAMP |
分区 DML 的开始时间的上限。 |
LAST_UPDATE_TIMESTAMP |
TIMESTAMP |
分区 DML 进行的最后时间戳。在分区完成后更新。 |
示例查询
您可以使用客户端 库, Google Cloud CLI 或 Google Cloud 控制台。
列出最早运行的查询
以下查询会返回正在运行的分区 DML 的列表(按开头排序) 查询发生的时间。
SELECT text,
session_id,
num_partitions_total,
num_partitions_complete,
num_trivial_partitions_complete,
progress,
rows_processed,
start_timestamp,
last_update_timestamp
FROM spanner_sys.active_partitioned_dmls
ORDER BY start_timestamp ASC;
文本 | session_id | num_partitions_total | num_partitions_complete | num_trivial_partitions_complete | #googlecloudcertifiedprogress 标签 | rows_processed | start_timestamp | last_update_timestamp |
---|---|---|---|---|---|---|---|---|
更新音乐会 SET VenueId = \“amazing place”WHERE SingerId <90 万 | 5bd37a99-200c-5d2e-9021-15d0dbbd97e6 | 27 | 15 | 3 | 50.00% | 2398654 | 2024-01-21 15:56:30.498744-08:00 | 2024 年 1 月 22 日 15:56:39.049799-08:00 |
UPDATE Singers SET LastName = NULL WHERE LastName = '' | 0028284f-0190-52f9-b396-aa588e034806 | 8 | 4 | 4 | 00.00% | 0 | 2024-01-22 15:55:18.498744-08:00 | 2024 年 1 月 22 日 15:56:28.049799-08:00 |
从 WHERE SingerId 删除的歌手 >100 万 | 0071a85e-7e5c-576b-8a17-f9bc3d157eea | 8 | 4 | 3 | 20.00% | 238654 | 2024 年 1 月 22 日 15:56:30.498744-08:00 | 2024 年 1 月 22 日 15:56:19.049799-08:00 |
更新 Singers SET MarketingBudget = 1000 WHERE true | 036097a9-91d4-566a-a399-20c754eabdc2 | 8 | 5 | 0 | 62.50% | 238654 | 2024-01-22 15:57:47.498744-08:00 | 2024 年 1 月 22 日 15:57:39.049799-08:00 |
限制
使用 SPANNER_SYS.ACTIVE_PARTITIONED_DMLS
表会产生以下结果
限制:
PROGRESS
、ROWS_PROCESSED
和LAST_UPDATE_TIMESTAMP
的结果是 在完成的分区边界处递增,因此分区 DML 在这三个字段中的值保持不变的情况下,可能不断更新行。如果一个分区 DML 中有数百万个分区,则
PROGRESS
列可能不会捕获所有增量进度。使用NUM_PARTITIONS_COMPLETE
和NUM_TRIVIAL_PARTITIONS_COMPLETE
更精细地查看进度如果使用 RPC 请求取消分区 DML,则已取消 分区 DML 可能仍会出现在表中。如果取消已分区的 使用会话删除的 DML,系统会立即将其从表中移除。 如需了解详情,请参阅删除会话 ID。
使用活跃分区 DML 查询数据来排查高 CPU 利用率问题
查询统计信息和交易统计信息 在排查 Spanner 数据库延迟问题时提供实用信息。这些工具会提供有关已完成查询的信息。不过,有时有必要了解系统中运行的是什么。例如,请考虑以下情况 您需要回答以下问题。
- 目前正在运行多少个分区 DML?
- 什么是分区 DML?
- 这些分区 DML 中有多少已运行很长时间?
- 哪个会话正在运行查询?
如果您对上述问题已有答案,则可以决定采取以下措施 操作。
- 删除执行查询的会话可立即解决问题。
- 降低分区 DML 的频率。
在以下演示中,我们将检查活跃的分区 DML 并确定要采取的操作(如果有)。
检索活跃分区 DML 的摘要
在示例场景中,我们发现 CPU 使用率高于正常水平,因此我们决定 运行以下查询以返回活跃分区 DML 的数量。
SELECT count(*) as active_count
FROM spanner_sys.active_partitioned_dmls;
查询会产生以下结果。
active_count |
---|
22 |
列出运行时间最久的 2 个分区 DML
然后,我们可以运行查询,以查找关于前 2 个最早的 运行已按分区 DML 的开始时间排序的分区 DML。
SELECT text,
session_id,
num_partitions_total,
num_partitions_complete,
num_trivial_partitions_complete,
progress,
rows_processed,
start_timestamp,
last_update_timestamp
FROM spanner_sys.active_partitioned_dmls
ORDER BY start_timestamp ASC LIMIT 2;
文本 | session_id | num_partitions_total | num_partitions_complete | num_trivial_partitions_complete | #googlecloudcertifiedprogress 标签 | rows_processed | start_timestamp | last_update_timestamp |
---|---|---|---|---|---|---|---|---|
更新音乐会 SET VenueId = \“amazing place”WHERE SingerId <90 万 | 5bd37a99-200c-5d2e-9021-15d0dbbd97e6 | 27 | 15 | 3 | 50.00% | 2398654 | 2024-01-21 15:56:30.498744-08:00 | 2024 年 1 月 22 日 15:56:39.049799-08:00 |
UPDATE Singers SET LastName = NULL WHERE LastName = '' | 0028284f-0190-52f9-b396-aa588e034806 | 8 | 4 | 4 | 00.00% | 0 | 2024-01-22 15:55:18.498744-08:00 | 2024 年 1 月 22 日 15:56:28.049799-08:00 |
取消开销大的查询
我们发现了一个分区 DML,该 DML 已运行了几天但没有任何进展。我们可以
因此,请运行以下 gcloud spanner databases sessions delete
命令以使用会话 ID 删除会话,从而取消分区 DML。
gcloud spanner databases sessions delete\
5bd37a99-200c-5d2e-9021-15d0dbbd97e6 \
--database=singer_db --instance=test-instance