本文介绍了如何将 数据库从 Oracle® 联机事务处理 (OLTP) 系统迁移到 Spanner。
Spanner 使用的某些概念与其他企业数据库管理工具有所不同，因此您可能需要对应用进行某些调整，以充分利用其功能。您可能还需要使用 Google Cloud 中的某些其他服务作为 Spanner 的补充，以满足您的需求。
迁移限制
将应用迁移到 Spanner 时，您必须考虑其所提供的功能有何不同。您可能需要重新设计应用架构，以便契合 Spanner 的功能集并与其他 Google Cloud 服务进行集成。
存储过程和触发器
Spanner 不支持在数据库级层运行用户代码，因此在迁移过程中，您必须将由数据库级存储过程和触发器实现的业务逻辑迁移到应用中。
序列
我们建议使用 UUID 版本 4 作为生成主键的默认方法
值。
GENERATE_UUID() 函数 (GoogleSQL、
PostgreSQL）
将 UUID 版本 4 的值作为 STRING 类型返回。
如果您需要生成 64 位整数值，Spanner 支持 正位反向序列（GoogleSQL、 PostgreSQL）， 它们产生的值在 64 位正数之间均匀分布 空间。您可以使用这些数字来避免热点问题。
如需了解详情，请参阅主键默认值策略。
访问权限控制
Spanner 仅支持使用 IAM 访问权限和角色来控制数据库级访问权限。预定义角色可授予对数据库的读写或只读权限。
如果您需要更精细的权限，则必须在应用层实现它们。一般情况下，应当仅允许应用对数据库执行读写操作。
如果您出于报告目的需要向用户公开数据库，并且希望使用精细的安全权限（例如，表级和视图级的权限），建议您将数据库导出到 BigQuery 中。
数据验证限制
Spanner 在数据库层支持一组有限的数据验证限制。
如果需要更复杂的数据限制，请在应用层实现。
下表讨论了 Oracle® 数据库中常见的限制类型，以及如何使用 Spanner 来实现它们。
| 限制 | 使用 Spanner 的实现 |
|---|---|
| NOT NULL | NOT NULL 列限制 |
| 唯一 | 具有 UNIQUE 限制的二级索引 |
| 外键（适用于普通表） | 请参阅创建和管理外键关系。 |
外键 ON DELETE/ON UPDATE 操作 |
仅适用于交错表；否则，在应用层实现 |
通过 CHECK 限制或触发器检查和验证值 |
在应用层实现 |
受支持的数据类型
Oracle® 数据库和 Spanner 支持的数据类型集有所不同。下表列出了 Oracle 数据类型及其在 Spanner 中的对应项。如需详细了解各种 Spanner 数据类型的定义，请参阅数据类型。
您可能还必须按照“备注”列中的说明进一步转换数据，让 Oracle 数据能够融入您的 Spanner 数据库中。
例如，您可以先将一个大型 BLOB 作为对象存储在 Cloud Storage 存储分区（而非数据库）中，然后再将对该 Cloud Storage 对象的 URI 引用以 STRING 形式存储在数据库中。
| Oracle 数据类型 | Spanner 对应项 | 备注 |
|---|---|---|
字符类型（CHAR、VARCHAR、NCHAR、NVARCHAR）
|
STRING
|
注意：Spanner 始终使用 Unicode 字符串。 Oracle 支持的长度上限为 32000 字节（具体取决于类型），而 Spanner 最多支持 2621440 个字符。 |
BLOB、LONG RAW、BFILE |
BYTES 或 STRING（包含对象的 URI）。
|
小型对象（小于 10 MiB）可以存储为 BYTES。如需存储较大对象，建议使用替代性 Google Cloud 产品（如 Cloud Storage）。 |
CLOB、NCLOB |
STRING（包含数据或外部对象的 URI） |
小型对象（少于 2621440 个字符）可以存储为 STRING。如需存储较大对象，建议使用替代性 Google Cloud 产品（如 Cloud Storage）。 |
NUMBER、NUMERIC、DECIMAL |
STRING、FLOAT64、INT64 |
NUMBER Oracle 数据类型最多支持 38 位精度，而 FLOAT64 Spanner 数据类型最多支持 16 位精度。如需了解替代机制，请参阅存储任意精度数值数据。 |
INT、INTEGER、SMALLINT |
INT64
|
|
BINARY_FLOAT、BINARY_DOUBLE
|
FLOAT64
|
|
DATE
|
DATE
|
在 Spanner 中，DATE 类型的默认 STRING 表示形式为 yyyy-mm-dd，这与 Oracle 不同，因此在日期及其 STRING 表示形式之间进行自动转换时，请谨慎操作。Spanner 提供了用于将日期转换为格式化字符串的 SQL 函数。 |
DATETIME
|
TIMESTAMP
|
Spanner 在存储时间时不会考虑时区。如果需要存储时区，则需要另外使用一个 STRING 列。
Spanner 提供了将时间戳转换为带时区格式的字符串的 SQL 函数。 |
XML
|
STRING（包含数据或外部对象的 URI） |
小型 XML 对象（少于 2621440 个字符）可以存储为 STRING。如需存储较大对象，建议使用替代性 Google Cloud 产品（如 Cloud Storage）。 |
URI、DBURI、XDBURI、HTTPURI |
STRING
|
|
ROWID
|
PRIMARY KEY
|
Spanner 使用表的主键在内部对各行进行排序和引用，因此在 Spanner 中，主键等效于 ROWID 数据类型。 |
SDO_GEOMETRY、SDO_TOPO_GEOMETRY_SDO_GEORASTER
|
Spanner 不支持地理空间数据类型。您必须使用标准数据类型存储此类数据，并在应用层实现所有搜索和过滤逻辑。 | |
ORDAudio、ORDDicom、ORDDoc、ORDImage、ORDVideo、ORDImageSignature |
Spanner 不支持媒体数据类型。建议使用 Cloud Storage 来存储媒体数据。 |
迁移过程
迁移过程的整个时间安排如下所示：
- 转换架构和数据模型。
- 转换任何 SQL 查询。
- 迁移您的应用，使其可同时使用 Oracle 和 Spanner。
- 从 Oracle 批量导出您的数据，并使用 Dataflow 将这些数据导入 Spanner。
- 在迁移期间确保两个数据库保持一致。
- 将您的应用与 Oracle 分离。
第 1 步：转换数据库和架构
您将现有架构转换为 Spanner 架构 来存储数据为使应用更易于修改，该架构应尽可能接近现有 Oracle 架构。不过，由于功能上存在差异，您可能需要进行一些更改。
使用 架构设计最佳实践 可以帮助您提高吞吐量并减少 Spanner 数据库。
主键
在 Spanner 中，必须存储多行的每个表都必须 具有由表的一个或多个列组成的主键。您的表 主键唯一标识表中的每一行， 按主键排序Spanner 高度分布式， 请务必选择一个可以扩缩主密钥生成方法， 数据增长的理想选择。如需了解详情，请参阅 主键迁移策略。
请注意，指定主键后，您便无法添加或移除 主键列，或稍后更改主键值而不将其删除并 重新创建表如需详细了解如何指定主键， 请参阅架构和数据模型 - 主要 密钥。
交错表
Spanner 提供了一项可将两个表定义为具有一对多父子关系的功能。借助此功能，您可以在存储空间内将子数据行与其对应的父行相互交错，从而有效地预联接表，并提高父项和子项一起查询时的数据检索效率。
子表的主键必须以父表的主键列开头。从子行的角度来看，父行主键称为外键。您最多可以定义 6 个级别的父子关系。
您可以 定义删除操作 子表，以确定在删除父行时会发生什么情况： 所有子行都会被删除，或者在删除父行时被阻止， 子行已存在。
以下示例演示了如何创建一个与之前定义的父级 Singers 表互相交错的 Albums 表：
CREATE TABLE Albums (
SingerId INT64 NOT NULL,
AlbumId INT64 NOT NULL,
AlbumTitle STRING(MAX),
) PRIMARY KEY (SingerId, AlbumId)
INTERLEAVE IN PARENT (Singers)
ON DELETE CASCADE;
创建二级索引
您还可以创建 二级索引 将表中主键之外的数据编入索引。
Spanner 实现二级索引的方式与表相同， 因此要用作索引键的列值具有 同样的限制 用作表的主键。这也意味着，索引具有与 Spanner 表相同的一致性保证。
使用二级索引查找值等效于使用表联接执行查询。您可以利用索引提高查询性能，方法是使用 STORING 子句将原始表的列值存储在二级索引中，并将该索引设为覆盖索引。
只有在索引本身存储了所有查询列（覆盖查询）时，Spanner 的查询优化工具才会自动使用二级索引。在查询原始列中的列时强制使用索引
则必须使用
FORCE INDEX 指令
例如：
SELECT *
FROM MyTable@{FORCE_INDEX=MyTableIndex}
WHERE IndexedColumn=@value
索引可用于强制规定表列中的唯一值，方法是定义
一
UNIQUE 索引
。该索引会阻止添加重复值。
以下示例 DDL 语句将为 Albums 表创建二级索引：
CREATE INDEX AlbumsByAlbumTitle ON Albums(AlbumTitle);
请注意，如果在数据加载后创建其他索引，则填充索引可能需要一些时间。建议您将索引添加速率限制为平均每天三次。如需详细了解如何创建二级索引，请参阅二级索引。 如需详细了解有关索引创建方面的限制，请参阅架构更新。
第 2 步：转换任何 SQL 查询
Spanner 使用 ANSI 2011 带有扩展功能的 SQL 方言， 有很多 函数和运算符 来帮助转换和汇总数据对于使用 Oracle 专用的语法、函数和类型的任何 SQL 查询，都需要进行转换才能与 Spanner 兼容。
尽管 Spanner 不支持使用结构化数据作为列定义，但您可以在 SQL 查询中通过 ARRAY 和 STRUCT 类型来使用结构化数据。
例如，您可以使用 STRUCT 类型的 ARRAY（利用预联接的数据）编写一个返回艺术家的所有专辑的查询。有关详情，请参阅
有关子查询的注意事项
部分。
您可以使用 Spanner Studio 页面中的 使用 Google Cloud Console 执行查询对大型表执行全表扫描的查询通常非常耗时，因此应谨慎使用。
请参阅 SQL 最佳实践 如需详细了解如何优化 SQL 查询，请参阅此文档。
第 3 步：迁移应用以使用 Spanner
Spanner 提供了一系列 客户端库 可使用多种语言，并且能够使用 特定于 Spanner 的 API 调用，以及通过使用 SQL 查询 和 数据修改语言 (DML) 语句。对于某些查询（例如按键直接读取行），使用 API 调用时的执行速度可能更快，因为不需要转换 SQL 语句。
此外，您也可以通过 Java 数据库连接 (JDBC) 驱动程序，利用没有进行原生集成的现有工具和基础架构连接到 Spanner。
在迁移过程中，对于 Spanner 中不提供的功能，您必须在应用中实现它们。例如，如需实现用于验证数据值和更新一个相关表的触发器，您需要在应用中使用读写事务来读取现有行，验证限制，然后将更新后的行写入两个表。
Spanner 提供读写事务和只读事务，用于确保数据的外部一致性。此外，还可读取事务 可以有 时间戳边界 即读取同一版本的指定数据 方式：
- 过去某一确切时间（最多 1 小时前）的数据。
- 未来数据（在该时间到来之前，无法执行读取操作）。
- 与可接受的有限的过时程度对应的数据（在这种情况下，系统将在过去某个时间之前返回一致的视图，无需检查其他副本上有无更新的数据）。这可以带来性能优势，但同时也可能会读取过时的数据。
第 4 步：将数据从 Oracle 转移到 Spanner
要将数据从 Oracle 转移到 Spanner，您需要将 Oracle 数据库导出为一种可移植的文件格式（例如 CSV），然后使用 Dataflow 将该数据导入 Spanner。
从 Oracle 批量导出
Oracle 没有内置任何用于将整个数据库导出或卸载为可移植文件格式的实用程序。
Oracle 常见问题解答中列出了一些导出方案。
具体方案包括：
- 使用 SQL*plus 或 SQLcl 将查询假脱机到一个文本文件。
- 编写 使用 UTL_FILE 的 PL/SQL 函数 将表并行卸载到文本文件。
- 在以下范围内使用功能： Oracle APEX 或 Oracle SQL 开发者 将表卸载为 CSV 或 XML 文件。
以上每种方法都有一个缺点，那就是，在一个文件中只能导出一个表。 也就是说，您必须暂停您的应用 让数据库处于静默状态 以使数据库保持一致的状态以便导出。
其他选项包括 Oracle 常见问题解答 页面，其中一些页面可能会卸载整个页面的一致视图， 数据库。
卸载完成后，您应将这些数据文件上传到 Cloud Storage 以便其可供导入。
批量导入 Spanner
由于 Oracle 与 Spanner 的数据库架构可能有所不同，因此您可能需要在导入过程中进行一些数据转换。
如需执行这些数据转换并将数据导入 Spanner，最简单的方法是使用 Dataflow。
Dataflow 是 Google Cloud 提供的一项分布式提取、转换和加载 (ETL) 服务。它提供了一个平台，供您运行使用 该 Apache Beam SDK 为了在多个系统中并行读取和处理大量数据， 虚拟机。
Apache Beam SDK 会要求您编写一个简单的 Java 程序来设置对数据的读取、转换和写入。Cloud Storage 和 Spanner 都会提供 Beam 连接器，因此您只需要编写数据转换代码。
查看从 CSV 文件读取数据并将数据写入 示例代码库 。
如果在 Spanner 架构中使用交错的父子表，那么请注意，导入过程会先创建父行，然后再创建子行。通过 Spanner 导入流水线代码 具体做法是先导入根级表的所有数据，然后再导入所有 然后是所有第 2 级子表，依此类推。
Spanner 导入流水线可直接用于 批量导入数据 但这需要使用正确的架构将数据存储在 Avro 文件中。
第 5 步：保持两个数据库之间的一致性
许多应用都有可用性要求，这使得应用无法在导出和导入数据所需的时间内保持脱机状态。在将数据转移到 Spanner 期间，应用仍会修改现有数据库。您必须将应用运行期间发生的更新复制到 Spanne 数据库。
您可以通过多种方法让两个数据库保持同步，例如，捕获变更数据以及在应用中实现同步更新。
变更数据捕获
Oracle GoldenGate 能够提供 更改数据捕获 适用于 Oracle 数据库的 CDC 流。Oracle LogMiner 或 Oracle XStream 输出 是 Oracle 数据库获取 CDC 流的备用接口， 不涉及 Oracle GoldenGate。
您可以编写一个应用来订阅这些流中的一种，并在经过数据转换后对 Spanner 数据库进行相同的修改。此类流处理应用必须实现多种功能：
- 连接到 Oracle 数据库（源数据库）。
- 连接到 Spanner（目标数据库）。
- 重复执行以下操作：
- 接收其中一种 Oracle 数据库 CDC 流生成的数据。
- 解读 CDC 流生成的数据。
- 将数据转换为 Spanner
INSERT语句。 - 执行 Spanner
INSERT语句。
数据库迁移技术是一种中间件技术，该技术在其功能中已实现了所需的特性。根据客户要求，数据库迁移平台会作为单独的组件安装在源位置或目标位置。数据库迁移平台仅需要配置所涉及的数据库的连接，以指定并启动从源数据库到目标数据库的持续数据传输。
Striim 是一个数据库迁移技术平台，该平台可在 Google Cloud它可以提供从 Oracle GoldenGate 以及 Oracle LogMiner 和 Oracle XStream Out 到 CDC 流的连接。Striim 提供了一个图形工具， 数据库连接以及任何所需的转换规则 才能将数据从 Oracle 转移到 Spanner。
您可以通过 Google Cloud Marketplace 安装 Striim、连接到源数据库和目标数据库、实施任何转换规则以及开始传输数据，而不必自行构建流处理应用。
通过应用同时更新两个数据库
您也可以将应用修改为向两个数据库写入数据。一个数据库（最初的 Oracle 数据库）被视为可靠数据源；在每次向该数据库写入数据之后，应用都会对整行内容进行读取和转换，并将其写入 Spanner 数据库。
这样，应用就会不断使用最新数据来覆盖 Spanner 行中的内容。
您确定所有数据都已正确转移后，可以将数据源切换到 Spanner 数据库。
如果在切换到 Spanner 时发现问题，这种机制提供了一条回滚路径。
验证数据一致性
随着数据不断流入 Spanner 数据库，您可以定期对 Spanner 数据和 Oracle 数据运行比较，以确保二者保持一致。
要验证一致性，您可以对两个数据源执行查询并比较查询结果。
借助 Dataflow，您可以使用 Join 转换对大型数据集执行详细比较。该转换采用 2 个键控数据集，并按键匹配值。 然后可以比较匹配值是否相等。
您可以定期运行此验证，直到一致性程度符合您的业务要求。
第 6 步：切换到 Spanner 作为应用的可靠来源
当您确信数据迁移达到要求后，就可以将应用切换为使用 Spanner 作为可靠数据源。您应该继续向 Oracle 数据库写入更改，从而使 Oracle 数据库保持最新状态，以便在出现问题时获得一条回滚路径。
最后，您可以停用并移除 Oracle 数据库更新代码，然后关闭 Oracle 数据库。
导出和导入 Spanner 数据库
如需执行导出操作，您可以选择使用 Dataflow 模板将表从 Spanner 导出到 Cloud Storage 存储分区。生成的文件夹包含一组 Avro 文件和 JSON 清单文件（含导出的表）。 这些文件有多种用途，具体如下：
- 备份数据库以实现数据保留政策合规性或灾难恢复。
- 将 Avro 文件导入其他 Google Cloud 产品（如 BigQuery）。
如需详细了解导出和导入流程，请参阅 导出数据库 和 导入数据库。
后续步骤
- 了解如何优化 Spanner 架构。
- 了解如何使用 Dataflow 用于更复杂的场景