排查数据流问题

概览

在数据流从源数据库传输数据时出现问题 数据流可以进入 FailedFailed permanently 状态。 在这两种情况下,您都可以解决此问题。

排查数据流问题

  1. 转到 Google Cloud Console 中的数据流页面。

    转到“数据流”页面

  2. 点击页面右上角的列显示选项图标。该图标显示为三个垂直列。

  3. 如果未选中,请选中状态复选框,然后点击确定。Datastream 会显示以下状态:

    • Failed:表示 Running 流中发生的错误。此类错误表示数据流仍处于活跃状态或一直尝试运行。
    • Failed permanently:适用于无法继续运行的数据流。此类错误可能会导致数据丢失。
  4. 点击您要进行问题排查的直播。与数据流相关的任何错误都会显示在数据流详情页面上。

    例如,如果 Datastream 无法连接到来源数据库,则此页面上会显示我们无法使用您提供的凭据连接到数据源错误消息。

  5. 解决错误。您可以解决数据流或连接配置文件的错误。

    例如,如果错误与数据流的来源数据对象或其目标位置配置信息相关联,则修改数据流

    如果错误与数据流的连接信息相关联,则更新数据流使用的任何连接配置文件的来源数据库目标位置的相关配置信息。

  6. 修正 Failed 数据流,以便其自动恢复,或恢复 Failed permanently 数据流。

恢复数据流

恢复数据流时,首先要尝试从当前位置恢复。如需详细了解数据流恢复选项,请参阅数据流恢复概览

如果从当前位置恢复数据流失败,请尝试以下操作:

  1. 在目标位置中删除或截断受影响的表。您需要执行此操作 因为当数据流处于下游状态时,Datastream 可能会错过一些 DELETE 事件。如果您不截断表,则无法恢复 DELETE 事件 然后再执行回填
  2. 从最近的位置恢复数据流。对于 PostgreSQL,请重新创建 或创建新的复制槽。
  3. 数据流运行后,触发回填以恢复所有历史数据。如需了解如何触发回填,请参阅启动回填

后续步骤