使用 DataStream 时的常规最佳实践

在此页面中，您将找到有关使用 Datastream 的最佳实践。其中包括使用 Datastream 时的一般最佳实践。

更改数据流的源数据库

在某些情况下，您可能需要更改数据流的源数据库。例如，您可能必须修改数据流，以便从副本（而非主数据库实例）复制数据。

  1. 为副本实例创建连接配置文件。
  2. 使用您为副本创建的连接配置文件和为目标位置创建的现有连接配置文件创建数据流。
  3. 启动数据流，并停用历史回填。当数据流启动时，它将仅提取二进制日志中的数据。
  4. 可选。在数据流运行后，对其进行修改以启用自动回填。
  5. 暂停从主实例读取数据的流。
  6. 可选。删除从主实例流式传输数据的流。
  7. 可选。删除主实例的连接配置文件。

在 Datastream 中设置提醒和监控

Datastream 信息中心包含大量信息。此信息有助于进行调试。您可以在 Cloud Logging 中查看日志，其中包含更多信息。

Datastream 提醒

未为 Datastream 设置默认提醒。例如，您可以在概览标签页中点击创建提醒政策链接，为数据新鲜度指标创建提醒政策。对于其余指标，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，前往  提醒页面：

    前往提醒

  2. 点击创建政策。

  3. 点击选择指标下拉菜单。

  4. 在过滤条件字段中，输入 Datastream。

  5. 可选：您可能需要停用有效过滤条件才能查看所有可用指标。

  6. 在 Datastream Stream 下搜索要监控的指标。

  7. 点击应用。

  8. 可选：在添加过滤条件和转换数据部分中输入所需的详细信息。点击下一步。

  9. 在配置提醒触发条件部分中，输入所需的信息。点击下一步。

  10. 在配置通知并最终确定提醒部分中配置通知。

  11. 查看提醒，并在准备就绪后点击创建政策。

    如需详细了解如何完成每个步骤，请参阅创建提醒政策。

我们建议您为以下 Datastream 指标创建提醒：

  • 数据新鲜度
  • 流式传输不支持的事件计数
  • 直播总延迟时间

如果任何这些指标出现提醒，则可能表明数据流或源数据库存在问题。

单个数据流可以处理多少个表？

我们建议单个流包含的表不超过 10,000 个。表的大小没有限制。如果您需要创建包含更多表的流，则该流可能会进入错误状态。为避免这种情况，请考虑将来源拆分为多个视频流。