从 MySQL 迁移到 Spanner

本文介绍如何迁移您的联机事务处理 (OLTP) 数据库从 MySQL 复制到 Spanner。

迁移限制

Spanner 使用的某些概念与其他企业数据库管理工具有所不同，因此您可能需要对应用架构进行某些调整，以充分利用其功能。您可能还需要使用 Google Cloud 中的某些其他服务作为 Spanner 的补充，以满足您的需求。

存储过程和触发器

Spanner 不支持在数据库级层运行用户代码，因此在迁移过程中，必须将由数据库级层存储过程和触发器实现的业务逻辑迁移到应用中。

序列

Spanner 建议将 UUID 版本 4 作为默认方法 主键值。GENERATE_UUID() 函数 (GoogleSQL、 PostgreSQL) 返回表示为 STRING 类型的 UUID 版本 4 值。

如果您需要生成整数值，Spanner 支持 位反向正序列（GoogleSQL、 PostgreSQL) 在 64 位正数空间中均匀分布的值。您可以 请使用这些数字来避免热点问题。

如需了解详情，请参阅主键默认值策略。

访问权限控制

Spanner 支持对表和列进行精细的访问权限控制 。不支持对视图进行精细的访问权限控制。有关 相关信息，请参阅关于精细访问权限控制。

数据验证限制

Spanner 在数据库层支持一组有限的数据验证限制。如果需要更复杂的数据限制，则必须在应用层实现它们。

下表讨论了 MySQL 数据库中常见的限制类型，以及如何使用 Spanner 来实现它们。

限制	使用 Spanner 的实现
NOT NULL	NOT NULL 列限制
唯一	具有 UNIQUE 限制的二级索引
Foreign key（适用于普通表）	请参阅创建和管理外键关系。
外键 ON DELETE/ON UPDATE 操作	仅适用于交错表；否则，在应用层实现
通过 CHECK 限制检查和验证值	请参阅创建和管理检查限制条件。
通过触发器检查和验证值	在应用层实现

生成的列

Spanner 支持生成的列，其中列值将始终由作为表定义的一部分提供的函数生成。与在 MySQL 中一样，生成的列无法明确设置为 DML 语句中的提供值。

生成的列在执行 CREATE TABLE 或 ALTER TABLE 数据定义语言 (DDL) 语句期间被定义为列定义的一部分。AS 关键字后跟有效的 SQL 函数和所需的后缀关键字 STORED。STORED 关键字是 ANSI SQL 规范的一部分，表示函数结果将与表的其他列一起存储。

SQL 函数 Generation expression 可以包含任何确定性表达式、函数和运算符，且可以用在二级索引中或用作外部索引键。

如需详细了解如何管理此列类型，请参阅创建和管理生成的列。

受支持的数据类型

MySQL 和 Spanner 支持的数据类型集有所不同。下表列出了 MySQL 数据类型及其在 Spanner 中的对应项。如需详细了解各种 Spanner 数据类型的定义，请参阅数据类型。

您可能需要按照“备注”列中的说明进一步转换数据，让 MySQL 数据能够融入您的 Spanner 数据库。例如，您可以先将一个大型 BLOB 作为对象存储在 Cloud Storage 存储分区（而非数据库）中，然后再将对该 Cloud Storage 对象的 URI 引用以 STRING 形式存储在数据库中。

MySQL 数据类型	Spanner 对应项	备注
INTEGER、INT、BIGINT MEDIUMINT、SMALLINT	INT64
TINYINT、BOOL、BOOLEAN	BOOL、INT64	TINYINT(1) 值用于表示“true”（非零）或“false”(0) 的布尔值。
FLOAT、DOUBLE	FLOAT64
DECIMAL、NUMERIC	NUMERIC、STRING	在 MySQL 中，NUMERIC 和 DECIMAL 数据类型最多支持 65 位精度和标度（如列声明中所定义）。Spanner NUMERIC 数据类型最多支持 38 位的精度和 9 位小数的标度。 如果您需要提升精度，请参阅存储任意精度数值数据以了解替代机制。
BIT	BYTES
DATE	DATE	Spanner 和 MySQL 都采用“yyyy-mm-dd”格式来表示日期，因此不需要进行转换。Spanner 提供了用于将日期转换为格式化字符串的 SQL 函数。
DATETIME、TIMESTAMP	TIMESTAMP	Spanner 在存储时间时不会考虑时区。如果您需要存储时区，则必须另外使用一个 STRING 列。Spanner 提供了将时间戳转换为格式化时区字符串的 SQL 函数。
CHAR、VARCHAR	STRING	注意：Spanner 始终使用 Unicode 字符串。 VARCHAR 支持的长度上限为 65535 字节，而 Spanner 最多支持 2621440 个字符。
BINARY、VARBINARY、BLOB、TINYBLOB	BYTES	小型对象（小于 10 MiB）可以存储为 BYTES。如需存储较大对象，建议使用替代 Google Cloud 产品（如 Cloud Storage）
TEXT、TINYTEXT、ENUM	STRING	小型 TEXT 值（小于 10 MiB）可以存储为 STRING。如需存储较大的 TEXT 值，建议使用替代 Google Cloud 产品（如 Cloud Storage）。
ENUM	STRING	必须在应用中对 ENUM 值执行验证
SET	ARRAY<STRING>	必须在应用中对 SET 元素值执行验证
LONGBLOB、MEDIUMBLOB	BYTES 或 STRING（包含对象的 URI）。	小型对象（小于 10 MiB）可以存储为 BYTES。如需存储较大对象，建议使用替代 Google Cloud 产品（如 Cloud Storage）
LONGTEXT、MEDIUMTEXT	STRING（包含数据或外部对象的 URI）	小型对象（少于 2621440 个字符）可以存储为 STRING。如需存储较大对象，建议使用替代 Google Cloud 产品（如 Cloud Storage）
JSON	JSON	小型 JSON 字符串（少于 2621440 个字符）可以存储为 JSON。要存储较大对象，建议使用替代 Google Cloud 产品（如 Cloud Storage）。
GEOMETRY、POINT、LINESTRING、POLYGON、MULTIPOINT、MULTIPOLYGON、GEOMETRYCOLLECTION		Spanner 不支持地理空间数据类型。您必须使用标准数据类型存储此类数据，并在应用层实现所有搜索/过滤逻辑。

迁移过程

迁移过程的整个时间安排如下所示：

1. 转换架构和数据模型。
2. 转换任何 SQL 查询。
3. 迁移您的应用，使其可同时使用 MySQL 和 Spanner。
4. 从 MySQL 批量导出您的数据，并使用 Dataflow 将这些数据导入 Spanner。
5. 在迁移期间确保两个数据库保持一致。
6. 将您的应用从 MySQL 中迁出。

第 1 步：转换数据库和架构

您将现有架构转换为 Spanner 架构 来存储数据为了使应用更易于修改，请确保转换的架构尽可能接近现有 MySQL 架构。不过，由于功能上存在差异，您可能需要进行一些更改。

使用 架构设计最佳实践 可以帮助您提高吞吐量并减少 Spanner 数据库。

主键

在 Spanner 中，必须存储多行的每个表都必须 具有由表的一个或多个列组成的主键。您的表 主键唯一标识表中的每一行，以及 Spanner 使用主键对表格中的行进行排序。由于 Spanner 因此，请务必选择 一种可随数据增长有效扩展的分析法。如需了解详情，请参阅 主键迁移策略 建议。

请注意，指定主键后，便无法添加或移除 主键列，或稍后更改主键值而不将其删除并 重新创建表如需详细了解如何指定主键， 请参阅架构和数据模型 - 主要 密钥。

交错表

Spanner 提供了一项可将两个表定义为具有一对多父子关系的功能。借助此功能，您可以在存储空间内将子数据行交错到其对应的父行旁边，从而有效地预联接表，并提高父项和子项一起查询时的数据检索效率。

子表的主键必须以父表的主键列开头。从子行的角度来看，父行主键称为外键。您最多可以定义 6 个级别的父子关系。

您可以 定义删除操作 子表，以确定在删除父行时会发生什么情况： 所有子行都会被删除，或者在删除父行时被阻止， 存在多个子行。

以下示例演示了如何创建一个与之前定义的父级 Singers 表互相交错的 Albums 表：

CREATE TABLE Albums (
  SingerId     INT64 NOT NULL,
  AlbumId      INT64 NOT NULL,
  AlbumTitle   STRING(MAX),
) PRIMARY KEY (SingerId, AlbumId)
INTERLEAVE IN PARENT (Singers)
ON DELETE CASCADE;

创建二级索引

您还可以创建 二级索引 将表中主键之外的数据编入索引。 Spanner 实现二级索引的方式与表相同， 因此要用作索引键的列值将具有 同样的限制 用作表的主键。这也意味着，索引具有与 Spanner 表相同的一致性保证。

使用二级索引查找值等效于使用表联接执行查询。您可以使用索引来提高查询性能，方法是将 使用 STORING 子句，使其成为 覆盖索引。

只有在索引本身存储了所有查询列（覆盖查询）时，Spanner 的查询优化工具才会自动使用二级索引。在查询原始列中的列时强制使用索引 则必须使用 FORCE INDEX 指令 例如：

SELECT *
FROM MyTable@{FORCE_INDEX=MyTableIndex}
WHERE IndexedColumn=@value

索引可用于强制规定表列中的唯一值，方法是定义 一 UNIQUE 索引 。该索引会阻止添加重复值。

以下示例 DDL 语句将为 Albums 表创建二级索引：

CREATE INDEX AlbumsByAlbumTitle ON Albums(AlbumTitle);

如果在数据加载后创建其他索引，则填充索引可能需要一些时间。建议您将索引添加速率限制为平均每天三次。如需详细了解如何创建二级索引，请参阅二级索引。如需详细了解有关索引创建方面的限制，请参阅架构更新。

第 2 步：转换任何 SQL 查询

Spanner 使用 ANSI 2011 带有扩展功能的 SQL 方言， 有很多 函数和运算符 来帮助转换和汇总数据对于使用 MySQL 专用的方言、函数和类型的任何 SQL 查询，都需要进行转换才能与 Spanner 兼容。

不支持使用结构化数据作为列定义，但您可以在 SQL 查询中通过 ARRAY<> 和 STRUCT<> 类型来使用结构化数据。例如，您可以使用由 STRUCT 组成的 ARRAY（利用预联接的数据）编写一个返回艺术家的所有专辑的查询。有关详情，请参阅 子查询 部分。

您可以使用 Spanner Studio 页面中的 使用 Google Cloud 控制台执行查询对大型表执行全表扫描时，查询费用通常很高，因此应谨慎使用。如需详细了解如何优化 SQL 查询，请参阅 SQL 最佳实践 文档。

第 3 步：迁移应用以使用 Spanner

Spanner 提供了一系列 客户端库 可使用多种语言，并且能够使用 特定于 Spanner 的 API 调用，以及通过使用 SQL 查询 和 数据修改语言 (DML) 语句。对于某些查询（例如按键直接读取行），使用 API 调用时的执行速度可能更快，因为不需要转换 SQL 语句。

Spanner 提供了 JDBC 驱动程序 Java 应用。

在迁移过程中，对于 Spanner 中不提供的功能，您必须在应用中实现它们。例如，如需实现用于验证数据值和更新一个相关表的触发器，您需要在应用中使用读写事务来读取现有行，验证限制，然后将更新后的行写入两个表。

Spanner 提供读写事务和只读事务，用于确保数据的外部一致性。此外，还可读取事务 可以有 时间戳边界 即读取的数据的一致版本，即：

• 过去某一确切时间（最多 1 小时前）的数据。
• 未来数据（在该时间到来之前，无法执行读取操作）。
• 与可接受的有界限过期设置对应的数据（在这种情况下，在截至过去某个时间点之前，系统将返回一致的视图，无需检查其他副本上提供的后续数据）。这可以带来性能优势，但同时也可能会读取过时的数据。

第 4 步：将数据从 MySQL 转移到 Spanner

如需将数据从 MySQL 转移到 Spanner，您必须将 MySQL 数据库导出为一种可移植的文件格式（例如 XML），然后使用 Dataflow 将该数据导入 Spanner。

从 MySQL 批量导出

MySQL 附带的 mysqldump 工具可以将整个数据库导出到格式正确的 XML 文件。或者，您可以使用 SELECT ... INTO OUTFILE 为每个表创建 CSV 文件的 SQL 语句。但是，这种方法的缺点是一次只能导出一个表，这意味着您必须暂停应用或让数据库处于静默状态，这样数据库才能保持一致的状态以进行导出。

导出这些数据文件后，我们建议您将其上传到 Cloud Storage 以便其可供导入。

批量导入 Spanner

由于 MySQL 与 Spanner 的数据库架构可能有所不同，因此您可能需要在导入过程中进行一些数据转换。如需执行这些数据转换并将数据导入 Spanner，最简单的方法是使用 Dataflow。Dataflow 是 Google Cloud 提供的一项分布式提取、转换和加载 (ETL) 服务。它提供了一个平台，供您运行使用 Apache Beam SDK 为了在多个系统中并行读取和处理大量数据， 虚拟机。

Apache Beam SDK 会要求您编写一个简单的 Java 程序来设置对数据的读取、转换和写入。Cloud Storage 和 Spanner 都会提供 Beam 连接器，因此您只需要编写数据转换代码。

如需查看有关从 CSV 文件读取数据并将数据写入 Spanner 的简单流水线示例，请参阅示例代码库。

如果在 Spanner 架构中使用交错的父子表，那么请注意，导入过程会先创建父行，然后再创建子行。通过 Spanner 导入流水线代码 具体做法是先导入根级表的所有数据，然后再导入所有 然后是所有第 2 级子表，依此类推。

您可以直接使用 Spanner 导入流水线来批量导入数据，但这种方法需要使用正确的架构将数据存储在 Avro 文件中。

第 5 步：保持两个数据库之间的一致性

许多应用都有可用性要求，这使得应用无法在导出和导入数据所需的时间内保持脱机状态。因此，在将数据转移到 Spanner 时，应用仍会修改现有数据库。如此一来，您就需要复制 Spanner 数据库在应用运行期间发生的更新。

您可以通过多种方法让两个数据库保持同步，例如，捕获变更数据以及在应用中实现同步更新。

变更数据捕获

MySQL 没有原生代码 变更数据捕获 (CDC) 实用程序。但是，它提供了可以接收 MySQL 二进制日志 (Binlog) 并将其转换为 CDC 流的各种开源项目。例如 Maxwell 的守护程序 可以为您的数据库提供 CDC 流。

您可以编写一个应用来订阅此流，并在经过数据转换后对 Spanner 数据库进行相同的修改。

通过应用同时更新两个数据库

您也可以将应用修改为向两个数据库写入数据。一个数据库（最初的 MySQL 数据库）被视为可靠数据源；在每次向该数据库写入数据之后，应用都会对整行内容进行读取和转换，并将其写入 Spanner 数据库。这样，应用就会不断使用最新数据来覆盖 Spanner 行中的内容。

如果您确定所有数据都已正确转移，则可以将数据源切换到 Spanner 数据库。如果在切换到 Spanner 时发现问题，这种机制提供了一条回滚路径。

验证数据一致性

随着数据不断流入 Spanner 数据库，您可以定期对 Spanner 数据和 MySQL 数据运行比较，以确保二者保持一致。要验证一致性，您可以对两个数据源执行查询并比较查询结果。

借助 Dataflow，您可以使用 Join 转换对大型数据集执行详细比较。此转换采用 2 个键控数据集，并按键匹配值。然后可以比较匹配值是否相等。您可以定期运行此验证，直到一致性程度符合您的业务要求。

第 6 步：切换到 Spanner 作为应用的可靠来源

确定数据迁移完毕后，即可将应用切换为使用 Spanner 作为数据源。这样一来，您就可以继续向 MySQL 数据库写回更改，从而使 MySQL 数据库保持最新状态，并可在出现问题时获得一条回滚路径。

最后，您可以停用并移除 MySQL 数据库更新代码，然后关闭现已作废的 MySQL 数据库。

导出和导入 Spanner 数据库

如需执行导出操作，您可以选择使用 Dataflow 模板将表从 Spanner 导出到 Cloud Storage 存储分区。生成的文件夹包含一组 Avro 文件和 JSON 清单文件（含导出的表）。这些文件有多种用途，具体如下：

• 备份数据库以实现数据保留政策合规性或灾难恢复。
• 将 Avro 文件导入其他 Google Cloud 产品（如 BigQuery）。

如需详细了解导出和导入流程，请参阅 导出数据库 和 导入数据库。

后续步骤

• 了解如何优化 Spanner 架构。
• 了解如何使用 Dataflow 用于更复杂的场景