使用 Datastream 时的常规最佳实践

在本页面中,您将了解使用 Datastream 的最佳实践。其中包括使用 Datastream 时的一般最佳实践。

更改数据流的源数据库

在某些情况下,您可能必须更改数据流的源数据库。例如,您可能需要修改数据流,以便从副本(而不是主数据库实例)进行复制。

  1. 为副本实例创建连接配置文件
  2. 使用您创建的副本的连接配置文件和目标的现有连接配置文件创建数据流
  3. 停用历史回填功能,然后启动数据流。数据流开始后,它将仅引入二进制日志中的数据。
  4. 可选。数据流运行后,对其进行修改以启用自动回填。
  5. 暂停正在从主实例中读取数据的数据流。

  6. 可选。删除从主实例流式传输数据的数据流

  7. 可选。删除主实例的连接配置文件

在 Datastream 中发送提醒和进行监控

Datastream 信息中心包含大量信息。这些信息对调试有帮助。如需了解详情,请参阅 Cloud Logging 中的日志。

Datastream 提醒

没有为 Datastream 设置默认提醒。例如,您可以点击概览标签页中的创建提醒政策链接,为数据新鲜度指标创建提醒政策。对于其余指标,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往  提醒页面:

    前往提醒

  2. 点击创建政策

  3. 点击选择指标下拉菜单。

  4. 在过滤条件字段中,输入 Datastream

  5. 可选:您可能需要停用有效过滤条件,才能查看所有可用指标。

  6. Datastream 数据流下,搜索要监控的指标。

  7. 点击应用

  8. 可选:在添加过滤条件转换数据部分输入所需的详细信息。点击下一步

  9. 配置提醒触发器部分,输入所需信息。点击下一步

  10. Configure notifications and finalize alert(配置通知并最终确定提醒)部分中配置通知。

  11. 查看提醒,然后在准备就绪时点击创建政策

    如需详细了解如何完成各个步骤,请参阅 创建提醒政策

建议您为以下 Datastream 指标创建提醒:

  • 数据新鲜度
  • 数据流不受支持事件数
  • 直播总延迟时间

如果出现任何这些指标的提醒,则可能表示数据流或源数据库存在问题。

单个流可以处理多少个表?

我们建议单个数据流最多包含 1 万个表。表的大小没有限制。如果您需要创建包含更多表的数据流,则数据流可能会进入错误状态。为避免出现这种情况,请考虑将源拆分为多个数据流。