アクティブなパーティション化データ操作言語（DML）では、データベースで現在アクティブなパーティション化 DML の進捗状況をリアルタイムで確認できます。
Spanner には、実行中のパーティション化 DML とその進捗状況を一覧表示する組み込みテーブル SPANNER_SYS.ACTIVE_PARTITIONED_DMLS が用意されています。
この記事では、このテーブルについて詳しく説明し、このテーブルを使用するクエリの例を紹介します。最後に、これらのクエリを使用して、アクティブなパーティション化 DML により問題を軽減する方法を紹介します。
対象
SPANNER_SYS データは SQL インターフェースを介してのみ使用できます。例えば:
Google Cloud コンソールのデータベースの Spanner Studio ページ
executeQueryAPI
Spanner が提供する他の単一読み取りメソッドは、SPANNER_SYS をサポートしていません。
ACTIVE_PARTITIONED_DMLS
SPANNER_SYS.ACTIVE_PARTITIONED_DMLS は、開始時間で並べ替えられたアクティブなパーティション化 DML のリストを返します。
テーブル スキーマ
SPANNER_SYS.ACTIVE_PARTITIONED_DMLS のテーブル スキーマを以下に示します。
| 列名 | 型 | 説明 |
|---|---|---|
TEXT |
STRING |
パーティション化 DML クエリ ステートメントのテキスト。 |
TEXT_FINGERPRINT |
INT64 |
フィンガープリントは、パーティション化 DML テキストのハッシュです。 |
SESSION_ID |
STRING |
パーティション化 DML を実行しているセッションの ID。セッション ID を削除すると、クエリがキャンセルされます。 |
NUM_PARTITIONS_TOTAL |
INT64 |
パーティション化 DML のパーティションの合計数。 |
NUM_PARTITIONS_COMPLETE |
INT64 |
パーティション化 DML が完了したパーティションの数。 |
NUM_TRIVIAL_PARTITIONS_COMPLETE |
INT64 |
行が処理されなかった完全なパーティションの数。 |
PROGRESS |
DOUBLE |
パーティション化 DML の進捗状況は、完了した重要パーティションの数を、重要でないパーティションの合計数で割って計算されます。 |
ROWS_PROCESSED |
INT64 |
これまでに処理された行数。各パーティションの完了後に更新されます。 |
START_TIMESTAMP。 |
TIMESTAMP |
パーティション化 DML の開始時間の上限。 |
LAST_UPDATE_TIMESTAMP |
TIMESTAMP |
パーティション化 DML が完了した時点の最後のタイムスタンプ。パーティションの完了後に更新されます。 |
クエリの例
次の SQL ステートメントの例は、クライアント ライブラリ、Google Cloud CLI、または Google Cloud コンソールを使用して実行できます。
最も古い実行中クエリの一覧表示
次のクエリは、クエリの開始時間で並べ替えて、実行中のパーティション化 DML のリストを返します。
SELECT text,
session_id,
num_partitions_total,
num_partitions_complete,
num_trivial_partitions_complete,
progress,
rows_processed,
start_timestamp,
last_update_timestamp
FROM spanner_sys.active_partitioned_dmls
ORDER BY start_timestamp ASC;
| 指定しています | session_id | num_partitions_total | num_partitions_complete | num_trivial_partitions_complete | ツイートしましょう | rows_processed | start_timestamp | last_update_timestamp |
|---|---|---|---|---|---|---|---|---|
| UPDATE Concerts SET VenueId = \'amazing venue\' WHERE SingerId < 900000 | 5bd37a99-200c-5d2e-9021-15d0dbbd97e6 | 27 | 15 | 3 | 50.00% | 2398654 | 2024-01-21 15:56:30.498744-08:00 | 2024-01-22 15:56:39.049799-08:00 |
| UPDATE Singers SET LastName = NULL WHERE LastName = '' | 0028284f-0190-52f9-b396-aa588e034806 | 8 | 4 | 4 | 00.00% | 0 | 2024-01-22 15:55:18.498744-08:00 | 2024-01-22 15:56:28.049799-08:00 |
| DELETE from Singers WHERE SingerId > 1000000 | 0071a85e-7e5c-576b-8a17-f9bc3d157eea | 8 | 4 | 3 | 20.00% | 238654 | 2024-01-22 15:56:30.498744-08:00 | 2024-01-22 15:56:19.049799-08:00 |
| UPDATE Singers SET MarketingBudget = 1000 WHERE true | 036097a9-91d4-566a-a399-20c754eabdc2 | 8 | 5 | 0 | 62.50% | 238654 | 2024-01-22 15:57:47.498744-08:00 | 2024-01-22 15:57:39.049799-08:00 |
制限事項
SPANNER_SYS.ACTIVE_PARTITIONED_DMLS テーブルの使用には、次の制限があります。
PROGRESS、ROWS_PROCESSED、LAST_UPDATE_TIMESTAMPの結果は、完了したパーティション境界で増分されるため、これらの 3 つのフィールドの値は変わりませんが、パーティション化 DML は行の更新を続ける場合があります。パーティション化 DML に数百万のパーティションがある場合、
PROGRESS列の値ですべての増分の進行状況が取得されないことがあります。NUM_PARTITIONS_COMPLETEとNUM_TRIVIAL_PARTITIONS_COMPLETEを使用して、詳細な進行状況を参照します。RPC リクエストを使用してパーティション化 DML をキャンセルしても、キャンセルしたパーティション化 DML がテーブルに引き続き表示される場合があります。セッション削除を使用してパーティション化 DML をキャンセルすると、テーブルからすぐに削除されます。詳細については、セッション ID を削除するをご覧ください。
アクティブなパーティション化 DML クエリのデータを使用して CPU 使用率が高い場合のトラブルシューティング
クエリ統計とトランザクション統計は、Spanner データベースでのレイテンシのトラブルシューティングに役立つ情報を提供します。これらのツールは、完了したクエリに関する情報を提供します。ただし、システムで実行されているクエリの情報が必要になる場合もあります。たとえば、CPU 使用率が高く、次の質問に答えたい場合を考えてみます
- 現在実行中のパーティション化 DML の数はいくつですか。
- パーティション化 DML とは。
- 長時間実行されているパーティション化 DML の数はいくつですか。
- クエリを実行しているセッションはどれですか？
前述の質問に対する回答がある場合は、次の操作を行うことができます。
- 即時解決のためにクエリを実行しているセッションを削除する。
- パーティション化 DML の頻度を減らします。
次のチュートリアルでは、アクティブなパーティション化 DML を調べ、行うべき操作（もしあれば）を決定します。
アクティブなパーティション化 DML の概要を取得する
このシナリオの例では、通常の CPU 使用率を上回っているため、次のクエリを実行してアクティブなパーティション化 DML の数を返します。
SELECT count(*) as active_count
FROM spanner_sys.active_partitioned_dmls;
クエリの結果は次のとおりです。
| active_count |
|---|
22 |
上位 2 つの最も古い実行中パーティション化 DML の一覧表示
その後、クエリを実行して、パーティション化 DML の開始時間で並べ替えて、上位 2 つの最も古いパーティション化 DML の詳細を検索します。
SELECT text,
session_id,
num_partitions_total,
num_partitions_complete,
num_trivial_partitions_complete,
progress,
rows_processed,
start_timestamp,
last_update_timestamp
FROM spanner_sys.active_partitioned_dmls
ORDER BY start_timestamp ASC LIMIT 2;
| 指定しています | session_id | num_partitions_total | num_partitions_complete | num_trivial_partitions_complete | ツイートしましょう | rows_processed | start_timestamp | last_update_timestamp |
|---|---|---|---|---|---|---|---|---|
| UPDATE Concerts SET VenueId = \'amazing venue\' WHERE SingerId < 900000 | 5bd37a99-200c-5d2e-9021-15d0dbbd97e6 | 27 | 15 | 3 | 50.00% | 2398654 | 2024-01-21 15:56:30.498744-08:00 | 2024-01-22 15:56:39.049799-08:00 |
| UPDATE Singers SET LastName = NULL WHERE LastName = '' | 0028284f-0190-52f9-b396-aa588e034806 | 8 | 4 | 4 | 00.00% | 0 | 2024-01-22 15:55:18.498744-08:00 | 2024-01-22 15:56:28.049799-08:00 |
コストの高いクエリをキャンセルする
数日間実行されていて、進まないパーティション化 DML が見つかりました。この場合、次の gcloud spanner databases sessions delete コマンドを実行し、セッション ID でパーティション化 DML をキャンセルしてセッションを削除できます。
gcloud spanner databases sessions delete\
5bd37a99-200c-5d2e-9021-15d0dbbd97e6 \
--database=singer_db --instance=test-instance
次のステップ
- 別のイントロスペクション ツールについて学習します。
- Spanner が各データベースについて、データベースの情報スキーマ テーブルに保存するその他の情報について学習します。
- Spanner に関する SQL のベスト プラクティスについて学習します。