排查数据流问题

概览

如果在数据流将数据从源数据库传输到目标位置时发生问题,数据流可能会进入 FailedFailed permanently 状态。在这两种情况下,您都可以解决问题。

排查数据流问题

  1. 转到 Google Cloud Console 中的数据流页面。

    转到“数据流”页面

  2. 点击页面右上角的列显示选项图标。该图标显示为三个垂直列。

  3. 如果未选中,请选中状态复选框,然后点击确定。Datastream 会显示以下状态:

    • Failed:适用于 Running 流上发生的错误。此类错误意味着数据流仍处于有效状态或一直在尝试运行。
    • Failed permanently:适用于无法继续运行的数据流。此类错误可能会导致数据丢失。
  4. 点击要进行问题排查的视频流。与视频流相关的所有错误都会显示在视频流详情页面上。

    例如,如果 Datastream 无法连接到来源数据库,则此页面上会显示我们无法使用您提供的凭据连接到数据源错误消息。

  5. 解决错误。您可以解决视频流或连接配置文件的错误。

    例如,如果错误与数据流的来源数据对象或其目标位置配置信息相关联,则修改数据流

    如果错误与数据流的连接信息相关联,则更新数据流使用的任何连接配置文件的来源数据库目标位置的相关配置信息。

  6. 修复了 Failed 流,使其能够自动恢复或恢复 Failed permanently 流。

恢复数据流

恢复数据流时,首先要尝试从当前位置恢复。如需详细了解数据流恢复选项,请参阅数据流恢复概览

如果无法从当前位置恢复数据流,请尝试以下操作:

  1. 删除或截断目标位置中受影响的表。您需要这样做,因为当数据流关闭时,Datastream 可能会错过一些 DELETE 事件。如果您在执行回填之前未截断表,则 DELETE 事件无法恢复。
  2. 从最近的位置恢复数据流。对于 PostgreSQL,请重新创建复制槽或创建新的复制槽。
  3. 数据流运行后,触发回填以恢复所有历史数据。如需了解如何触发回填,请参阅启动回填