此页面由 Cloud Translation API 翻译。

从 MySQL 迁移到 Spanner

本文介绍如何将联机事务处理 (OLTP) 数据库从 MySQL 迁移到 Spanner。

迁移限制

Spanner 使用的某些概念与其他企业数据库管理工具有所不同，因此您可能需要对应用架构进行某些调整，以充分利用其功能。您可能还需要使用 Google Cloud 中的某些其他服务作为 Spanner 的补充，以满足您的需求。

存储过程和触发器

Spanner 不支持在数据库级层运行用户代码，因此在迁移过程中，必须将由数据库级层存储过程和触发器实现的业务逻辑迁移到应用中。

序列

Spanner 建议将 UUID 版本 4 作为生成主键值的默认方法。GENERATE_UUID() 函数（GoogleSQL、PostgreSQL）返回表示为 STRING 类型的 UUID 版本 4 值。

如果您需要生成整数值，Spanner 支持位倒序正序列（GoogleSQL、PostgreSQL），这些序列可生成在 64 位正数空间中均匀分布的值。您可以使用这些数字来避免热点问题。

如需了解详情，请参阅主键默认值策略。

访问权限控制

Spanner 支持在表级和列级实现精细的访问权限控制。不支持对视图进行精细的访问权限控制。如需了解详情，请参阅精细访问权限控制简介。

数据验证限制

Spanner 在数据库层支持一组有限的数据验证限制。如果需要更复杂的数据限制，则必须在应用层实现它们。

下表讨论了 MySQL 数据库中常见的限制类型，以及如何使用 Spanner 来实现它们。

限制	使用 Spanner 的实现
NOT NULL	`NOT NULL` 列限制
唯一	具有 `UNIQUE` 限制的二级索引
`Foreign key`（适用于普通表）	请参阅创建和管理外键关系。
外键 `ON DELETE/ON UPDATE` 操作	仅适用于交错表；否则，在应用层实现
通过 `CHECK` 限制检查和验证值	请参阅创建和管理检查限制条件。
通过触发器检查和验证值	在应用层实现

生成的列

Spanner 支持生成的列，其中列值将始终由作为表定义的一部分提供的函数生成。与在 MySQL 中一样，生成的列无法明确设置为 DML 语句中的提供值。

生成的列在执行 CREATE TABLE 或 ALTER TABLE 数据定义语言 (DDL) 语句期间被定义为列定义的一部分。AS 关键字后跟有效的 SQL 函数和所需的后缀关键字 STORED。STORED 关键字是 ANSI SQL 规范的一部分，表示函数结果将与表的其他列一起存储。

SQL 函数 Generation expression 可以包含任何确定性表达式、函数和运算符，且可以用在二级索引中或用作外部索引键。

如需详细了解如何管理此列类型，请参阅创建和管理生成的列。

受支持的数据类型

MySQL 和 Spanner 支持的数据类型集有所不同。下表列出了 MySQL 数据类型及其在 Spanner 中的对应项。如需详细了解各种 Spanner 数据类型的定义，请参阅数据类型。

您可能需要按照“备注”列中的说明进一步转换数据，让 MySQL 数据能够融入您的 Spanner 数据库。例如，您可以先将一个大型 BLOB 作为对象存储在 Cloud Storage 存储桶（而非数据库）中，然后再将对该 Cloud Storage 对象的 URI 引用以 STRING 形式存储在数据库中。

MySQL 数据类型	Spanner 对应项	Notes
`INTEGER`、`INT`、`BIGINT` `MEDIUMINT`、`SMALLINT`	`INT64`
`TINYINT`、`BOOL`、`BOOLEAN`	`BOOL`，`INT64`	`TINYINT(1)` 值用于表示“true”（非零）或“false”(0) 的布尔值。
`FLOAT`，`DOUBLE`	`FLOAT64`
`DECIMAL`，`NUMERIC`	`NUMERIC`、`STRING`	在 MySQL 中，`NUMERIC` 和 `DECIMAL` 数据类型最多支持 65 位精度和标度（如列声明中所定义）。Spanner `NUMERIC` 数据类型最多支持 38 位的精度和 9 位小数的标度。如果您需要提升精度，请参阅存储任意精度数值数据以了解替代机制。
`BIT`	`BYTES`
`DATE`	`DATE`	Spanner 和 MySQL 都采用“`yyyy-mm-dd`”格式来表示日期，因此不需要进行转换。Spanner 提供了用于将日期转换为格式化字符串的 SQL 函数。
`DATETIME`，`TIMESTAMP`	`TIMESTAMP`	Spanner 在存储时间时不会考虑时区。如果您需要存储时区，则必须另外使用一个 `STRING` 列。Spanner 提供了将时间戳转换为格式化时区字符串的 SQL 函数。
`CHAR`、`VARCHAR`	`STRING`	注意：Spanner 始终使用 Unicode 字符串。 VARCHAR 支持的长度上限为 65535 字节，而 Spanner 最多支持 2621440 个字符。
`BINARY`、`VARBINARY`、`BLOB`、`TINYBLOB`	`BYTES`	小型对象（小于 10 MiB）可以存储为 `BYTES`。如需存储较大对象，建议使用 Cloud Storage 等替代 Google Cloud 产品
`TEXT`、`TINYTEXT`、`ENUM`	`STRING`	较小的 `TEXT` 值（小于 10 MiB）可以存储为 `STRING`。请考虑使用其他 Google Cloud 产品（如 Cloud Storage），以支持更大的 `TEXT` 值。
`ENUM`	`STRING`	必须在应用中对 `ENUM` 值执行验证
`SET`	`ARRAY<STRING>`	必须在应用中对 `SET` 元素值执行验证
`LONGBLOB`，`MEDIUMBLOB`	`BYTES` 或 `STRING`（包含对象的 URI）。	小型对象（小于 10 MiB）可以存储为 `BYTES`。如需存储较大对象，请考虑使用其他 Google Cloud 产品（如 Cloud Storage）。
`LONGTEXT`，`MEDIUMTEXT`	`STRING`（包含数据或外部对象的 URI）	小型对象（少于 2621440 个字符）可以存储为 `STRING`。如要存储较大对象，建议使用 Cloud Storage 等 Google Cloud 替代
`JSON`	`JSON`	小型 JSON 字符串（少于 2621440 个字符）可以存储为 `JSON`。请考虑使用替代性 Google Cloud 产品（如 Cloud Storage）来存储较大的对象。
`GEOMETRY`、`POINT`、`LINESTRING`、`POLYGON`、`MULTIPOINT`、`MULTIPOLYGON`、`GEOMETRYCOLLECTION`		Spanner 不支持地理空间数据类型。您必须使用标准数据类型存储此类数据，并在应用层实现所有搜索/过滤逻辑。

迁移过程

迁移过程的整个时间安排如下所示：

转换架构和数据模型。
转换任何 SQL 查询。
迁移您的应用，使其可同时使用 MySQL 和 Spanner。
从 MySQL 批量导出您的数据，并使用 Dataflow 将这些数据导入 Spanner。
在迁移期间确保两个数据库保持一致。
将您的应用从 MySQL 中迁出。

第 1 步：转换数据库和架构

您可以将现有架构转换为 Spanner 架构来存储您的数据。为了使应用更易于修改，请确保转换的架构尽可能接近现有 MySQL 架构。不过，由于功能上存在差异，您可能需要进行一些更改。

如需了解如何提高吞吐量以及减少 Spanner 数据库中的热点，请参阅架构设计最佳实践。

主键

在 Spanner 中，必须存储多个行的每个表都必须具有一个主键，该主键由表的一个或多个列组成。表的主键可唯一标识表中的每一行，并且 Spanner 使用主键对表中的行进行排序。由于 Spanner 高度分布式，因此请务必选择可以随数据增长良好扩缩的主键生成技术。如需了解详情，请参阅我们推荐的主键迁移策略。

请注意，指定主键后，如果不删除并重新创建表，您以后就无法添加或移除主键列，也无法更改主键值。如需详细了解如何指定主键，请参阅架构和数据模型 - 主键。

交错表

Spanner 提供了一项可将两个表定义为具有一对多父子关系的功能。借助此功能，您可以在存储空间内将子数据行交错到其对应的父行旁边，从而有效地预联接表，并提高父项和子项一起查询时的数据检索效率。

子表的主键必须以父表的主键列开头。从子行的角度来看，父行主键称为外键。您最多可以定义 6 个级别的父子关系。

您可以为子表定义删除时操作，以确定父行被删除后会发生什么：要么所有子行都被删除，要么当子行存在时父行被删除。

以下示例演示了如何创建一个与之前定义的父级 Singers 表互相交错的 Albums 表：

CREATE TABLE Albums (
  SingerId     INT64 NOT NULL,
  AlbumId      INT64 NOT NULL,
  AlbumTitle   STRING(MAX),
) PRIMARY KEY (SingerId, AlbumId)
INTERLEAVE IN PARENT (Singers)
ON DELETE CASCADE;

创建二级索引

您还可以创建二级索引，以便将表中主键以外的数据编入索引。Spanner 实现二级索引的方式与表相同，因此要用作索引键的列值将受到与表主键相同的限制。这也意味着，索引具有与 Spanner 表相同的一致性保证。

使用二级索引查找值等效于使用表联接执行查询。您可以使用索引提高查询性能，方法是使用 STORING 子句在二级索引中存储原始表的列值的副本，并将其设为覆盖索引。

只有在索引本身存储了所有查询列（覆盖查询）时，Spanner 的查询优化工具才会自动使用二级索引。如需在查询原始表中的列时强制使用索引，您必须在 SQL 语句中使用 FORCE INDEX 指令，例如：

SELECT *
FROM MyTable@{FORCE_INDEX=MyTableIndex}
WHERE IndexedColumn=@value

您可以使用索引强制某一表列使用唯一值，方法是为该列定义 UNIQUE 索引。该索引会阻止添加重复值。

以下示例 DDL 语句将为 Albums 表创建二级索引：

CREATE INDEX AlbumsByAlbumTitle ON Albums(AlbumTitle);

如果在数据加载后创建其他索引，则填充索引可能需要一些时间。建议您将索引添加速率限制为平均每天三次。如需详细了解如何创建二级索引，请参阅二级索引。如需详细了解有关索引创建方面的限制，请参阅架构更新。

第 2 步：转换任何 SQL 查询

Spanner 采用 ANSI 2011 扩展版 SQL 方言，并提供了许多有助于转换和聚合数据的函数和运算符。对于使用 MySQL 专用的方言、函数和类型的任何 SQL 查询，都需要进行转换才能与 Spanner 兼容。

不支持使用结构化数据作为列定义，但您可以在 SQL 查询中通过 ARRAY<> 和 STRUCT<> 类型来使用结构化数据。例如，您可以使用由 STRUCT 组成的 ARRAY（利用预联接的数据）编写一个返回艺术家的所有专辑的查询。如需了解详情，请参阅文档的子查询部分。

在执行 SQL 查询时，您可以使用 Google Cloud 控制台中的 Spanner Studio 页面来分析该查询。对大型表执行全表扫描时，查询费用通常很高，因此应谨慎使用。如需详细了解如何优化 SQL 查询，请参阅 SQL 最佳实践文档。

第 3 步：迁移应用以使用 Spanner

Spanner 提供了一组适用于各种语言的客户端库，并支持使用 Spanner 专属 API 调用以及 SQL 查询和数据修改语言 (DML) 语句读取和写入数据。对于某些查询（例如按键直接读取行），使用 API 调用时的执行速度可能更快，因为不需要转换 SQL 语句。

Spanner 为 Java 应用提供了 JDBC 驱动程序。

在迁移过程中，对于 Spanner 中不提供的功能，您必须在应用中实现它们。例如，如需实现用于验证数据值和更新一个相关表的触发器，您需要在应用中使用读写事务来读取现有行，验证限制，然后将更新后的行写入两个表。

Spanner 提供读写事务和只读事务，用于确保数据的外部一致性。此外，如果要读取一致的数据版本，您还可以对读取事务应用时间戳边界：

过去某一确切时间（最多 1 小时前）的数据。
未来数据（在该时间到来之前，无法执行读取操作）。
与可接受的有界限过期设置对应的数据（在这种情况下，在截至过去某个时间点之前，系统将返回一致的视图，无需检查其他副本上提供的后续数据）。这可以带来性能优势，但同时也可能会读取过时的数据。

第 4 步：将数据从 MySQL 转移到 Spanner

如需将数据从 MySQL 转移到 Spanner，您必须将 MySQL 数据库导出为一种可移植的文件格式（例如 XML），然后使用 Dataflow 将该数据导入 Spanner。

将数据从 MySQL 转移到 Spanner

从 MySQL 批量导出

MySQL 附带的 mysqldump 工具可以将整个数据库导出到格式正确的 XML 文件。或者，您也可以使用 SELECT ... INTO OUTFILE SQL 语句为每个表创建 CSV 文件。但是，这种方法的缺点是一次只能导出一个表，这意味着您必须暂停应用或让数据库处于静默状态，这样数据库才能保持一致的状态以进行导出。

导出这些数据文件后，建议您将它们上传到 Cloud Storage 存储桶，以便可供导入。

批量导入 Spanner

由于 MySQL 与 Spanner 的数据库架构可能有所不同，因此您可能需要在导入过程中进行一些数据转换。如需执行这些数据转换并将数据导入 Spanner，最简单的方法是使用 Dataflow。Dataflow 是 Google Cloud 提供的一项分布式提取、转换和加载 (ETL) 服务。它提供了一个平台，用于运行使用 Apache Beam SDK 编写的数据流水线，以便在多台机器上并行读取和处理大量数据。

Apache Beam SDK 会要求您编写一个简单的 Java 程序来设置对数据的读取、转换和写入。Cloud Storage 和 Spanner 都会提供 Beam 连接器，因此您只需要编写数据转换代码。

如需查看有关从 CSV 文件读取数据并将数据写入 Spanner 的简单流水线示例，请参阅示例代码库。

如果在 Spanner 架构中使用交错的父子表，那么请注意，导入过程会先创建父行，然后再创建子行。为此，Spanner 导入流水线代码会依次导入根级表的所有数据、所有 1 级子表、所有 2 级子表，以此类推。

您可以直接使用 Spanner 导入流水线来批量导入数据，但这种方法需要使用正确的架构将数据存储在 Avro 文件中。

第 5 步：保持两个数据库之间的一致性

许多应用都有可用性要求，这使得应用无法在导出和导入数据所需的时间内保持脱机状态。因此，在将数据转移到 Spanner 时，应用仍会修改现有数据库。如此一来，您就需要复制 Spanner 数据库在应用运行期间发生的更新。

您可以通过多种方法让两个数据库保持同步，例如，捕获变更数据以及在应用中实现同步更新。

变更数据捕获

MySQL 没有原生的变更数据捕获 (CDC) 实用程序。但是，它提供了可以接收 MySQL 二进制日志 (Binlog) 并将其转换为 CDC 流的各种开源项目。例如，Maxwell 的守护程序可以为您的数据库提供 CDC 流。

您可以编写一个应用来订阅此流，并在经过数据转换后对 Spanner 数据库进行相同的修改。

通过应用同时更新两个数据库

您也可以将应用修改为向两个数据库写入数据。一个数据库（最初的 MySQL 数据库）被视为可靠数据源；在每次向该数据库写入数据之后，应用都会对整行内容进行读取和转换，并将其写入 Spanner 数据库。这样，应用就会不断使用最新数据来覆盖 Spanner 行中的内容。

如果您确定所有数据都已正确转移，则可以将数据源切换到 Spanner 数据库。如果在切换到 Spanner 时发现问题，这种机制提供了一条回滚路径。

验证数据一致性

随着数据不断流入 Spanner 数据库，您可以定期对 Spanner 数据和 MySQL 数据运行比较，以确保二者保持一致。要验证一致性，您可以对两个数据源执行查询并比较查询结果。

借助 Dataflow，您可以使用 Join 转换对大型数据集执行详细比较。此转换采用 2 个键控数据集，并按键匹配值。然后可以比较匹配值是否相等。您可以定期运行此验证，直到一致性程度符合您的业务要求。

第 6 步：切换到 Spanner 作为应用的可靠来源

确定数据迁移完毕后，即可将应用切换为使用 Spanner 作为数据源。这样一来，您就可以继续向 MySQL 数据库写回更改，从而使 MySQL 数据库保持最新状态，并可在出现问题时获得一条回滚路径。

最后，您可以停用并移除 MySQL 数据库更新代码，然后关闭现已作废的 MySQL 数据库。

导出和导入 Spanner 数据库

如需执行导出操作，您可以选择使用 Dataflow 模板将表从 Spanner 导出到 Cloud Storage 存储桶。生成的文件夹包含一组 Avro 文件和 JSON 清单文件（含导出的表）。这些文件有多种用途，具体如下：

备份数据库以实现数据保留政策合规性或灾难恢复。
将 Avro 文件导入其他 Google Cloud 产品（如 BigQuery）。

如需详细了解导出和导入过程，请参阅导出数据库和导入数据库。

后续步骤

了解如何优化 Spanner 架构。
了解如何在更复杂的情况下使用 Dataflow。