源 SQL Server 数据库

本页面包含有关以下方面的信息：

• Datastream 如何处理从来源 SQL Server 数据库中拉取的数据的行为。
• Datastream 支持的变更数据捕获 (CDC) 方法。
• Datastream 支持的 SQL Server 数据库版本。
• 将 SQL Server 数据库用作来源的已知限制。

行为

Datastream 使用以下 CDC 方法之一跟踪数据操纵语言 (DML) 变更：

• 更改表格
• 交易日志

变更表

变更表 CDC 方法可让用户保留日志的时间更短，从而节省存储空间，但与事务日志方法相比，支持的吞吐量较低。与交易日志相比，该方法具有更少的限制。例如，它消除了因日志截断而导致流永久失败的风险，并支持复制加密表。如需了解详情，请参阅已知限制。

使用此 CDC 方法时，系统会使用专用更改表跟踪源中的更改。事务日志仍在使用，但使用程度有限，您无需长时间保留它们。当 DML 事件应用于源表时，相应更改会复制到相应的更改表中。变更表的结构与源表的结构相同，但包含额外的列，用于纳入变更的元数据。只有已提交的事务才会添加到更改表中，同时还会添加提交操作的日志序列号 (LSN)。

注意： Datastream 仅复制名称为 <schema_name>_<table_name> 的默认捕获实例中的更改。

Datastream 如何处理对源架构的 DDL 更改

使用变更表 CDC 方法时，系统会为每个变更表创建捕获实例。每个捕获实例都与一个捕获和跟踪的列列表相关联。默认情况下，在创建捕获实例后，如果源中发生数据定义语言 (DDL) 更改，该实例会忽略相应更改。不过，您可以配置 SQL Server 流，以复制在创建流和捕获实例后添加到源架构的列。

准备工作

• 确保您的 Datastream 用户已获分配 db_owner 权限。

复制添加到源架构的列

为了让 Datastream 支持复制在创建数据流后添加到源架构中的列，您需要向数据流添加 enable_ddl_support_for_ct 标签：

1. 前往 Google Cloud 控制台中的数据流页面。

   转到“数据流”页面

2. 点击要修改的 SQL Server 数据流。

3. 在数据流详情页面上，点击暂停。

4. 依次点击修改 > 修改直播设置。

5. 点击添加标签。

6. 在密钥字段中，输入 enable_ddl_support_for_ct。

7. 在值 (Value) 字段中，输入 true。

8. 点击保存。

9. 点击开始以继续直播。

Datastream 每 5 分钟检查一次 cdc.ddl_history 表，以查看是否有新的 DDL。如果向流配置中包含的表添加了新列，Datastream 会验证该表是否具有两个捕获实例：

• 如果未发生这种情况，Datastream 会创建一个新的捕获实例，读取原始捕获实例的数据，直到 DDL 发生的那一刻，然后开始从新的捕获实例中读取数据。

  注意： Datastream 创建新的捕获实例后，请删除原始实例。SQL Server 每个表最多支持两个捕获实例，因此必须删除旧实例，才能允许将来进行 DDL 更改。

• 如果达到上限，系统会添加一条日志条目，指出由于捕获实例数已达到上限，因此无法处理 DDL 更改。

事务日志

使用此 CDC 方法时，Datastream 会直接从事务日志中读取来源中的更改。这种方法需要的资源较少，可实现更快的数据检索，但限制更多。

为防止数据丢失，请务必确保日志在 Datastream 读取之前不会被截断。另一方面，如果您将日志文件保留过长时间，它们会占用存储空间，最终可能会导致数据库实例进入只读模式。

为了确保 CDC 读取器有足够的时间读取日志，同时允许日志截断来释放存储空间，您需要应用额外的配置步骤，例如更改轮询间隔和设置截断保护措施。这些步骤可提供额外的保护层，确保即使 Datastream 出现停机或源数据库与 Datastream 之间存在连接问题，Datastream 也能读取数据。

如需详细了解如何采取这些额外措施，请参阅配置源 SQL Server 数据库页面，然后选择您的数据库类型。

版本

Datastream 支持以下版本的 SQL Server 数据库：

• 使用以下版本的自行管理型（本地或云托管）：
  • 企业版：2008 年及更高版本
  • 标准版：2016 SP1 及更高版本
  • 开发者：2008 年及以后
• Amazon RDS for SQL Server

• Azure SQL 数据库（S3 及更高级别）。

  注意： 仅在使用变更表 CDC 方法时受支持。

• Cloud SQL for SQL Server

Datastream 不支持以下版本的 SQL Server 数据库：

• SQL Server Standard 版（从 2008 版到 2014 版）
• SQL Server Express
• SQL Server Web

已知限制

将 SQL Server 数据库用作来源的已知限制包括：

• 数据流限 10,000 个表。
• 如果表中的行数超过 5 亿，则无法回填，除非满足以下条件：
  1. 该表具有唯一索引。
  2. 所有索引列都不可为 null。
  3. 索引的所有列都包含在数据流中。
• 不支持启用延迟耐用性或加速数据库恢复 (ADR) 的数据库。
• 不支持将更改流式传输到系统表。
• 不支持 Windows Active Directory (AD) 身份验证。
• 以下数据类型不受支持，也不会复制到目标位置：
  • SQL_VARIANT
  • HIERARCHYID
  • GEOMETRY
  • GEOGRAPHY
• Datastream 会复制用户定义的数据类型，但存储在目标位置的是您派生用户定义类型所依据的基本数据类型。例如，如果您基于 VARCHAR(50) 数据类型定义 USERNAME 数据类型，则数据在目标位置存储为 VARCHAR(50)。

• 对于没有唯一索引的表，Datastream 不支持对大型对象列（TEXT、NTEXT、XML、IMAGE）和最大可变长度列（VARCHAR(MAX)、VARBINARY(MAX)、NVARCHAR(MAX)）进行 CDC。

  如果流中不包含大型对象列，则支持 CDC。

• 使用变更表 CDC 方法时，Datastream 不支持复制以下源架构更改：

  • 舍弃列：这些列中的数据会被替换为 NULL 值。
  • 修改数据类型：Datastream 会尝试将数据插入目标位置，如果数据被拒绝，则会引发错误。
  • 重命名列：如果启用了 CDC，则不支持 SQL Server。

  此类架构更改可能会导致数据损坏或无法处理事件。

• Datastream 不支持数据遮盖。数据在未脱敏的情况下复制。

• Datastream 不支持复制使用数据层应用包 (DACPAC) 应用到数据库的更改。

• Datastream 不会复制使用 WRITETEXT 或 UPDATETEXT 语句所做的更改。

• Datastream 不支持复制计算列，除非该列标记为 PERSISTED。

• Datastream 不支持 PAGE、COLUMNSTORE 或 COLUMNSTORE ARCHIVE 压缩类型。

使用事务日志方法时的其他限制

如果您使用事务日志 CDC 方法，则还需遵守以下限制：

• 不支持透明数据加密 (TDE)。
• 不支持列级加密。这些列中的数据会被替换为 NULL 值。
• 使用事务日志 CDC 方法时，Datastream 不支持复制在创建数据流后添加到源架构的列。系统不会将新列复制到目标位置。
• Datastream 不支持 ROLLBACK TO SAVEPOINT 语句。 系统会忽略此类回滚事件，并且不会将其复制到目标位置。
• 对于以下类型的表，Datastream 不支持对超过 8 KB 的行进行 CDC：
  • 没有唯一索引的表
  • 仅包含一个唯一非聚簇索引且具有一个或多个可变长度列（VARCHAR、VARBINARY、NVARCHAR）的表

• Datastream 不支持以下类型的表中的大型对象列（TEXT、NTEXT、XML、IMAGE）的 CDC：

  • 没有唯一索引的表
  • 仅包含一个唯一非聚簇索引且具有一个或多个可变长度列（VARCHAR、VARBINARY、NVARCHAR）的表

  如果大型对象列未包含在数据流中，则只有当此类表具有有效索引时，才支持 CDC。

后续步骤

• 了解如何配置 SQL Server 源以用于 Datastream。