监控数据流

概览

您可以使用 Datastream 来监控数据流处理的数据和事件。此信息显示在下图中:

  • 吞吐量:Datastream 处理数据或事件的速率。此速率可以是:

    • Datastream 从来源转移到目标位置的数据量 (MB)。
    • 与要转移的数据相关联的事件数。事件是指源中的单次更改,例如向数据库中的表添加新行。

  • 不支持的事件:无法处理从来源到目标的事件数量。

  • 数据新鲜度:驻留在来源中的数据与数据流传输到目标位置的数据之间的时间差。其计算方式是源时间戳与所处理的最早事件的读取时间戳之间经过的时间。如果没有可从来源读取的新事件,则新鲜度会设置为 0。

    如果存在 Datastream 尚未处理的已加入队列的事件,则 Datastream 计算数据新鲜度指标时不会考虑这些事件。例如,如果吞吐量出现峰值,则只有在 Datastream 处理完导致峰值的事件后,它才会反映在新鲜度指标中。

  • 系统延迟时间:Datastream 处理事件所需的时间。此时间间隔计算为 Datastream 读取事件与将事件写入目标位置之间的时间。

  • 总延迟时间:数据写入来源与相应事件写入目标位置的时间差。

监控处理的数据或事件

  1. 转到 Google Cloud Console 中的数据流页面。

    转到“数据流”页面

  2. 点击要监控的数据流。

  3. 可选。滚动,直到显示“数据新鲜度”图表。对于此图表,点击创建提醒政策链接为其创建提醒政策。提醒政策描述您想要针对图表监控的一组条件。

    点击该链接后,Cloud Monitoring 中将显示创建提醒政策页面。在此页面上,您可以为图表定义提醒政策。这包括指定哪些条件会触发政策、谁在满足条件时会收到通知,以及如何通知他们。

    如需详细了解提醒政策(包括如何创建提醒政策),请参阅管理基于指标的提醒政策

  4. 点击监控标签。

  5. 滚动屏幕,直到屏幕上显示了代表 Datastream 监控的数据或事件的所需图表。

  6. (可选)如果您正在查看吞吐量图表,选择(字节/秒)可查看 Datastream 从来源转移到目标位置的数据量,或者选择(事件/秒)可查看与要转移的数据相关联的事件数量。

  7. 如需查看 Datastream 在一段时间内处理的数据量或事件数量,请点击 1 小时6 小时12 小时1 天2 天4 天7 天14 天30 天

    或者,如需设置自定义范围,请选择自定义菜单,然后使用日历选择器指定开始日期和时间以及结束日期和时间,以获取要查看的数据量或事件数量。

    Datastream 会更新窗格中的图表以反映您的选择,并显示您指定的间隔。

    例如,如果今天是 2021 年 10 月 31 日,而您点击 30 天,则该图表将显示 Datastream 自 2021 年 10 月 1 日起处理的数据量或事件数量。

  1. 将指针悬停在图表的线条上,即可查看 Datastream 在特定日期和时间处理的数据量或事件数。