SQL 最佳做法

查询执行计划中所述,SQL 编译器会将 SQL 语句转换为查询执行计划,以用于获取查询结果。本页面介绍了构造 SQL 语句以帮助 Spanner 找到高效的执行计划的最佳实践。

本页面中显示的示例 SQL 语句使用以下示例架构:

GoogleSQL

CREATE TABLE Singers (
 SingerId   INT64 NOT NULL,
 FirstName  STRING(1024),
 LastName   STRING(1024),
 SingerInfo BYTES(MAX),
 BirthDate  DATE
) PRIMARY KEY (SingerId);

CREATE TABLE Albums (
 SingerId     INT64 NOT NULL,
 AlbumId      INT64 NOT NULL,
 AlbumTitle   STRING(MAX),
 ReleaseDate  DATE
) PRIMARY KEY (SingerId, AlbumId),
INTERLEAVE IN PARENT Singers ON DELETE CASCADE;

如需查看完整的 SQL 参考文档,请参阅语句语法函数和运算符以及词汇结构和语法

PostgreSQL

CREATE TABLE Singers (
 SingerId   BIGINT PRIMARY KEY,
 FirstName  VARCHAR(1024),
 LastName   VARCHAR(1024),
 SingerInfo BYTEA,
 BirthDate  TIMESTAMPTZ
);

CREATE TABLE Albums (
 SingerId        BIGINT NOT NULL,
 AlbumId         BIGINT NOT NULL,
 AlbumTitle      VARCHAR(1024),
 ReleaseDate     DATE,
 PRIMARY KEY(SingerId, AlbumId),
 FOREIGN KEY (SingerId) REFERENCES Singers(SingerId)
) INTERLEAVE IN PARENT Singers ON DELETE CASCADE;

如需了解详情,请参阅 Spanner 中的 PostgreSQL 语言

使用查询参数

Spanner 支持使用查询参数来提高性能,并在使用用户输入构建查询时帮助防止 SQL 注入。您可以使用查询参数来代替任意表达式,但不能替代标识符、列名称、表名称或查询的其他部分。

形参可以出现在需要字面量值的任何位置。同一个参数名称可以在单个 SQL 语句中多次使用。

总的来说,查询参数通过以下方式支持查询执行:

  • 预先优化的计划:每次调用时,系统都可以更快地执行使用参数的查询,因为参数化可让 Spanner 更轻松地缓存执行计划。
  • 简化的查询组合:在查询参数中提供字符串值时,无需对其进行转义。查询参数还可以降低语法错误的风险。
  • 安全性:查询参数保护您免受各种 SQL 注入攻击,从而提高查询的安全性。这种保护对于根据用户输入构造的查询尤其重要。

了解 Spanner 如何执行查询

Spanner 允许您使用指定您要检索的数据的声明式 SQL 语句来查询数据库。如果您想了解 Spanner 如何获取结果,请检查查询的执行计划。查询执行计划显示与查询的每个步骤相关的计算开销。借助这些开销信息,您可以调试查询性能问题并优化查询。如需了解详情,请参阅查询执行计划

您可以通过 Google Cloud 控制台或客户端库检索查询执行计划。

如需使用 Google Cloud 控制台获取特定查询的查询执行计划,请按以下步骤操作:

  1. 打开 Spanner 实例页面。

    转到 Spanner 实例

  2. 选择 Spanner 实例的名称以及要查询的数据库。

  3. 点击左侧导航面板中的 Spanner Studio

  4. 在文本字段中输入查询,然后点击运行查询

  5. 点击说明
    。Google Cloud 控制台将直观显示您的查询的执行计划。

    Cloud 控制台中可视化执行计划的屏幕截图

如需详细了解如何理解可视化计划并使用它们来调试查询,请参阅使用查询计划可视化工具调整查询

您还可以查看历史查询计划的示例,并比较特定查询在一段时间内的查询性能。如需了解详情,请参阅采样查询计划

使用二级索引

与其他关系型数据库一样,Spanner 也提供二级索引,您可以通过 SQL 语句或 Spanner 的读取接口来检索数据。从索引中提取数据的更常见方法是使用 Spanner Studio。在 SQL 查询中使用二级索引可以指定 Spanner 获取结果的方式。 指定二级索引可以加快查询执行速度。

例如,假设您想要提取具有特定姓氏的所有歌手的 ID。可按照如下方法编写这样一个 SQL 查询:

SELECT s.SingerId
FROM Singers AS s
WHERE s.LastName = 'Smith';

此查询将返回您期望的结果,但需要的时间可能很长,具体取决于 Singers 表中的行数以及满足谓词 WHERE s.LastName = 'Smith' 的行数。如果没有包含要读取的 LastName 列的二级索引,那么查询计划将读取整个 Singers 表来查找与谓词相匹配的行。读取整个表称为“全表扫描”。如果表仅包含一小部分具有该姓氏的 Singers,则采用全表扫描来获取结果的成本非常高昂。

您可以通过在姓氏列上定义二级索引来提高此查询的性能:

CREATE INDEX SingersByLastName ON Singers (LastName);

由于二级索引 SingersByLastName 包含已编入索引的表列 LastName 和主键列 SingerId,因此 Spanner 可以从小得多的索引表中提取所有数据,而不是扫描整个 Singers 表。

在这种情况下,Spanner 会在执行查询时自动使用二级索引 SingersByLastName(前提是自数据库创建之日起过去三天;请参阅有关新数据库的说明)。但最佳做法是,在 FROM 子句中指定索引指令,以明确指示 Spanner 使用该索引:

GoogleSQL

SELECT s.SingerId
FROM Singers@{FORCE_INDEX=SingersByLastName} AS s
WHERE s.LastName = 'Smith';

PostgreSQL

 SELECT s.SingerId
FROM Singers /*@ FORCE_INDEX=SingersByLastName */ AS s
WHERE s.LastName = 'Smith';

现在,假设除了 ID 之外,您还想提取歌手的名字。即使索引中不包含 FirstName 列,您仍应像之前一样指定索引指令:

GoogleSQL

SELECT s.SingerId, s.FirstName
FROM Singers@{FORCE_INDEX=SingersByLastName} AS s
WHERE s.LastName = 'Smith';

PostgreSQL

SELECT s.SingerId, s.FirstName
FROM Singers /*@ FORCE_INDEX=SingersByLastName */ AS s
WHERE s.LastName = 'Smith';

您仍然可以通过使用索引获得性能优势,因为 Spanner 在执行查询计划时不需要执行全表扫描。相反,它会从 SingersByLastName 索引中选择满足谓词的那部分行,然后从基表 Singers 执行查找,仅提取这部分行的名字。

如果您希望 Spanner 根本不必从基表提取任何行,可以将 FirstName 列的副本存储在索引本身中:

GoogleSQL

CREATE INDEX SingersByLastName ON Singers (LastName) STORING (FirstName);

PostgreSQL

CREATE INDEX SingersByLastName ON Singers (LastName) INCLUDE (FirstName);

像这样使用 STORING 子句(适用于 GoogleSQL 方言)或 INCLUDE 子句(适用于 PostgreSQL 方言)会占用额外的存储空间,但具有以下优势:

  • 对于使用索引并选择存储在 STORINGINCLUDE 子句中的列的 SQL 查询,不需要与基表进行额外联接。
  • 使用索引的读取调用可以读取存储在 STORINGINCLUDE 子句中的列。

上面的示例说明了当可以使用二级索引快速识别查询的 WHERE 子句所选择的行时,二级索引如何加快查询的运行速度。

此外,对于返回有序结果的某些查询,二级索引也有助于提高性能。例如,假设您希望按发行日期的升序和专辑标题的降序提取所有专辑标题及其发布日期。您可以编写如下所示的 SQL 查询:

SELECT a.AlbumTitle, a.ReleaseDate
FROM Albums AS a
ORDER BY a.ReleaseDate, a.AlbumTitle DESC;

如果没有二级索引,则此查询可能需要在执行计划中执行一个开销很大的排序步骤。您可以通过定义此二级索引来加快查询的执行速度:

CREATE INDEX AlbumsByReleaseDateTitleDesc on Albums (ReleaseDate, AlbumTitle DESC);

然后,重写查询以使用二级索引:

GoogleSQL

SELECT a.AlbumTitle, a.ReleaseDate
FROM Albums@{FORCE_INDEX=AlbumsByReleaseDateTitleDesc} AS a
ORDER BY a.ReleaseDate, a.AlbumTitle DESC;

PostgreSQL

SELECT a.AlbumTitle, a.ReleaseDate
FROM Albums /*@ FORCE_INDEX=AlbumsByReleaseDateTitleDesc */ AS s
ORDER BY a.ReleaseDate, a.AlbumTitle DESC;

此查询和索引定义同时满足以下两个条件:

  • 如需移除排序步骤,请确保 ORDER BY 子句中的列列表是索引键列表的前缀。
  • 为避免从基表联接以提取任何缺失的列,请确保索引涵盖查询使用的表中的所有列。

虽然二级索引可以加快常见查询的速度,但添加二级索引可能会增加提交操作的延迟时间,因为每个二级索引通常需要在每次提交时涉及一个额外的节点。对于大多数工作负载而言,最好是使用少量二级索引。但是,您应该考虑您是否更在意读取或写入延迟,并考虑哪些操作对于您的工作负载最为关键。您可以对工作负载进行基准测试,以确保其按预期运行。

如需查看二级索引的完整参考,请参阅二级索引

优化扫描

在扫描数据时,某些 Spanner 查询可能会受益于使用面向批处理的处理方法,而不是较为常见的面向行的处理方法。批量处理扫描是一次性处理大量数据的更高效方法,并且可让查询降低 CPU 利用率并缩短延迟时间。

Spanner 扫描操作始终在面向行的模式下开始执行。在此期间,Spanner 会收集多个运行时指标。然后,Spanner 会根据这些指标的结果应用一组启发法来确定最佳扫描模式。Spanner 会在适当情况下切换到面向批处理的处理模式,以帮助提高扫描吞吐量和性能。

常见使用场景

具有以下特征的查询通常适合使用批量处理:

  • 对不经常更新的数据进行大规模扫描。
  • 使用谓词对固定宽度的列进行扫描。
  • 具有大量跳转次数的扫描。(跳转使用索引来检索记录。)

没有性能提升的用例

并非所有查询都能从面向批处理的处理中受益。以下查询类型在面向行的扫描处理中效果更好:

  • 点查询查询:仅提取一行的查询。
  • 小规模扫描查询:只扫描几行(除非查找计数较大)的表扫描。
  • 使用 LIMIT 的查询。
  • 读取高流失率数据的查询:频繁更新读取的约 10% 以上的数据的查询。
  • 行包含大型值的查询:大值行是指在单列中包含大于 32,000 字节(预压缩)的值的值。

如何检查查询使用的扫描方法

如需检查查询使用的是面向批处理、面向行的处理,还是会自动在两种扫描方法之间切换:

  1. 前往 Google Cloud 控制台中的 Spanner 实例页面。

    转到“实例”页面

  2. 点击要调查的查询所在的实例的名称。

  3. 在“数据库”表下,点击要调查的查询所在的数据库。

  4. 在导航菜单中,点击 Spanner Studio

  5. 点击 New SQL Editor 标签页 New tab 打开一个新标签页。

  6. 在查询编辑器出现时,编写查询。

  7. 点击运行

    Spanner 运行查询并显示结果。

  8. 点击查询编辑器下方的说明标签页。

    Spanner 显示了查询计划执行计划可视化工具。 图表上的每张卡片都代表一个迭代器。

  9. 点击 Table scan 迭代器卡片以打开信息面板。

    信息面板会显示所选扫描的相关上下文信息。扫描方法会显示在此卡片上。 自动表示 Spanner 确定扫描方法。其他可能的值包括 Vectorized(适用于批量处理)和 Scalar(适用于行处理)。

    显示扫描方法为“自动”的表扫描卡片的屏幕截图

如何强制执行查询使用的扫描方法

为了优化查询性能,Spanner 会为您的查询选择最佳扫描方法。我们建议您使用此默认扫描方法。但是,在某些情况下,您可能希望强制执行特定类型的扫描方法。

如何强制执行面向批处理的扫描

您可以在表级层和语句级层强制执行面向批处理的扫描。

如需在表级层强制执行面向批处理的扫描方法,请在查询中使用表提示:

GoogleSQL

  SELECT ...
  FROM (t1@{SCAN_METHOD=BATCH} JOIN t2 ON ...)
  WHERE ...

PostgreSQL

  SELECT ...
  FROM (t1/*@ scan_method=batch */ JOIN t2 on ...)
  WHERE ...

如需在语句级别强制执行面向批处理的扫描方法,请在查询中使用语句提示:

GoogleSQL

  @{SCAN_METHOD=BATCH}
  SELECT ...
  FROM ...
  WHERE ...

PostgreSQL

  /*@ scan_method=batch */
  SELECT ...
  FROM ...
  WHERE ...

如何停用自动扫描并强制执行面向行的扫描

虽然我们不建议停用 Spanner 设置的自动扫描方法,但您可能会决定将其停用,并使用面向行的扫描方法来排查问题,例如诊断延迟。

如需停用自动扫描方法并在表级层强制执行行处理,请在查询中使用表提示:

GoogleSQL

  SELECT ...
  FROM (t1@{SCAN_METHOD=ROW} JOIN t2 ON ...)
  WHERE ...

PostgreSQL

  SELECT ...
  FROM (t1/*@ scan_method=row */ JOIN t2 on ...)
  WHERE ...

如需停用自动扫描方法并在语句级别强制执行行处理,请在查询中使用语句提示:

GoogleSQL

  @{SCAN_METHOD=ROW}
  SELECT ...
  FROM ...
  WHERE ...

PostgreSQL

  /*@ scan_method=row */
  SELECT ...
  FROM ...
  WHERE ...

优化范围键查找

SQL 查询的一个常见用途是基于已知键列表从 Spanner 读取多行。

在通过一系列键提取数据时,以下最佳实践可帮助您编写高效的查询:

  • 如果键列表稀疏且不相邻,请使用查询参数和 UNNEST 来构造查询。

    例如,如果您的键列表是 {1, 5, 1000},请编写类似下面的查询:

    GoogleSQL

    SELECT *
    FROM Table AS t
    WHERE t.Key IN UNNEST (@KeyList)
    

    PostgreSQL

    SELECT *
    FROM Table AS t
    WHERE t.Key IN UNNEST ($1)
    

    备注:

    • 数组 UNNEST 运算符可将输入数组展平为多行元素。

    • 上述最佳实践中所述,查询参数(对于 GoogleSQL 为 @KeyList)和 $1(对于 PostgreSQL)可以加快查询的运行速度。

  • 如果键列表相邻且在一个范围内,请在 WHERE 子句中指定键范围的下限和上限。

    例如,如果您的键列表是 {1,2,3,4,5},请按如下方式构造查询:

    GoogleSQL

    SELECT *
    FROM Table AS t
    WHERE t.Key BETWEEN @min AND @max
    

    PostgreSQL

    SELECT *
    FROM Table AS t
    WHERE t.Key BETWEEN $1 AND $2
    

    只有当键范围内的键相邻时,此查询才会更高效。换句话说,如果您的键列表是 {1, 5, 1000},请不要像上述查询中那样指定下限和上限,因为生成的查询会扫描介于 1 和 1000 之间的每个值。

优化联接

联接操作的成本可能很高,因为它们会显著增加查询需要扫描的行数,从而导致查询速度变慢。除了您习惯在其他关系型数据库中用于优化联接查询的技术之外,下面介绍了在使用 Spanner SQL 时实现更高效的联接的一些最佳做法:

  • 如果可能,请通过主键联接交错表中的数据。例如:

    SELECT s.FirstName, a.ReleaseDate
    FROM Singers AS s JOIN Albums AS a ON s.SingerId = a.SingerId;
    

    交错表 Albums 中的行一定会以物理方式与 Singers 中的父行一起存储在同一个分片中,如架构和数据模型中所述。因此,可以在本地完成联接,而无需通过网络发送大量数据。

  • 如果要强制进行联接,请使用联接指令。例如:

    GoogleSQL

    SELECT *
    FROM Singers AS s JOIN@{FORCE_JOIN_ORDER=TRUE} Albums AS a
    ON s.SingerId = a.Singerid
    WHERE s.LastName LIKE '%x%' AND a.AlbumTitle LIKE '%love%';
    

    PostgreSQL

    SELECT *
    FROM Singers AS s JOIN/*@ FORCE_JOIN_ORDER=TRUE */ Albums AS a
    ON s.SingerId = a.Singerid
    WHERE s.LastName LIKE '%x%' AND a.AlbumTitle LIKE '%love%';
    

    联接指令 FORCE_JOIN_ORDER 指示 Spanner 使用查询中指定的联接顺序(即 Singers JOIN Albums,而不是 Albums JOIN Singers)。无论 Spanner 选择的顺序如何,返回的结果都是相同的。但是,如果您在查询计划中发现 Spanner 更改了联接顺序并导致了不良后果(例如较大的中间结果,或错过了查找行的机会),则可能需要使用此联接指令。

  • 使用联接指令选择一种联接实现。当您使用 SQL 查询多个表时,Spanner 会自动使用联接方法,这可能会使查询更加高效。不过,Google 建议您使用不同的联接算法进行测试。选择正确的联接算法可以缩短延迟时间和/或降低内存消耗。此查询演示了使用 JOIN 指令的语法,并提示 JOIN_METHOD 选择 HASH JOIN

    GoogleSQL

    SELECT *
    FROM Singers s JOIN@{JOIN_METHOD=HASH_JOIN} Albums AS a
    ON a.SingerId = a.SingerId
    

    PostgreSQL

    SELECT *
    FROM Singers s JOIN/*@ JOIN_METHOD=HASH_JOIN */ Albums AS a
    ON a.SingerId = a.SingerId
    
  • 如果您使用的是 HASH JOINAPPLY JOIN,并且您在 JOIN 的一侧有一个高度选择性的 WHERE 子句,请将产生最小行数的表作为第一个表放在联接的 FROM 子句中。这种结构很有帮助,因为目前在 HASH JOIN 中,Spanner 始终选择左侧表进行构建,选择右侧表进行探测。同样,对于 APPLY JOIN,Spanner 会选择左侧表作为外侧,选择右侧表作为内侧。如需详细了解这些联接类型,请参阅哈希联接应用联接

  • 对于对您的工作负载至关重要的查询,请在 SQL 语句中指定性能最高的联接方法和联接顺序,以实现更加一致的性能。

在读写事务中避免大量读取

在提交调用之前,读写事务允许一系列(零个或多个)读取或 SQL 查询,并且可以包含一组变更。为了保持数据一致性,Spanner 在表和索引中读取和写入行时会获取锁。如需详细了解锁定,请参阅读取和写入的生命周期

由于 Spanner 中锁定的工作原理,执行读取大量行的读取或 SQL 查询(例如 SELECT * FROM Singers)意味着在事务被提交或中止之前,没有其他事务可以写入您读取的行。

此外,由于您的事务正在处理大量行,因此它所花的时间可能比读取较小范围行的事务(例如 SELECT LastName FROM Singers WHERE SingerId = 7)要长,这进一步加剧了问题并降低系统吞吐量。

因此,除非您愿意接受较低的写入吞吐量,否则应尽量避免在事务中执行大量读取操作(例如,全表扫描或大规模联接操作)。

在某些情况下,以下模式可以产生更好的结果:

  1. 只读事务中执行大批量读取。只读事务不使用锁,因此可实现更高的聚合吞吐量。
  2. 可选:对您刚刚读取的数据进行任何所需的处理。
  3. 启动一个读写事务。
  4. 验证自您在第 1 步中执行只读事务以来关键行没有更改值。
    • 如果行已更改,请回滚您的事务并从第 1 步重新开始。
    • 如果一切正常,则提交您的变更。

确保在读写事务中避免大量读取的一种方法是查看查询生成的执行计划。

使用 ORDER BY 来确保 SQL 结果的排序

如果您希望 SELECT 查询结果按特定顺序排列,请明确包含 ORDER BY 子句。例如,如果要按主键顺序列出所有歌手,请使用以下查询:

SELECT * FROM Singers
ORDER BY SingerId;

仅当查询中存在 ORDER BY 子句时,Spanner 才会保证结果排序。换句话说,请考虑不含 ORDER BY 的以下查询:

SELECT * FROM Singers;

Spanner 不保证此查询的结果将按主键顺序排列。此外,结果的排序可能会随时发生变化,并且每次调用都无法保证结果的排序一致。如果查询包含 ORDER BY 子句,并且 Spanner 使用提供所需顺序的索引,则 Spanner 不会明确对数据进行排序。因此,您无需担心添加此子句对性能的影响。您可以通过查看查询计划来检查执行中是否包含显式排序操作。

使用 STARTS_WITH 而非 LIKE

由于 Spanner 在执行时间之前不会评估参数化的 LIKE 模式,因此 Spanner 必须读取所有行并针对 LIKE 表达式对其进行评估,以过滤掉不匹配的行。

LIKE 模式采用 foo% 格式(例如,以固定字符串开头,以单个通配符百分比结尾)且列已编入索引时,请使用 STARTS_WITH 而不是 LIKE。此选项可让 Spanner 更有效地优化查询执行计划。

不推荐:

GoogleSQL

SELECT a.AlbumTitle FROM Albums a
WHERE a.AlbumTitle LIKE @like_clause;

PostgreSQL

SELECT a.AlbumTitle FROM Albums a
WHERE a.AlbumTitle LIKE $1;

建议

GoogleSQL

SELECT a.AlbumTitle FROM Albums a
WHERE STARTS_WITH(a.AlbumTitle, @prefix);

PostgreSQL

SELECT a.AlbumTitle FROM Albums a
WHERE STARTS_WITH(a.AlbumTitle, $2);

使用提交时间戳

如果您的应用需要查询在特定时间之后写入的数据,请将提交时间戳列添加到相关表中。如果查询的 WHERE 子句将结果限制为比特定时间更晚写入的行,则提交时间戳会启用 Spanner 优化,从而减少查询的 I/O。

详细了解使用 GoogleSQL 方言数据库使用 PostgreSQL 方言数据库的优化。