监控数据流

概览

您可以使用 Datastream 来监控数据流处理的数据和事件。此信息显示在下图中:

  • 吞吐量:Datastream 处理数据或事件的速率。此速率可以是:

    • Datastream 从来源转移到目标位置的数据量 (MB)。
    • 与要转移的数据相关联的事件数。事件是指来源中的一项更改,例如向表中添加新行 存储在数据库中

  • 不支持的事件:从来源到目标无法处理的事件数量。

  • 数据新鲜度:驻留在来源中的数据与通过数据流传输到目标位置的数据之间的时间差。时间是 计算为处理的最早事件的源时间戳与读取时间戳之间所经过的时间。如果没有要从该来源读取的新事件,则新鲜度设置为 0。

    如果有已加入队列但尚未由 DataStream 处理的事件,则在 DataStream 计算数据新鲜度指标时,不会将这些事件纳入考量范围。例如,如果吞吐量出现高峰,则只有在 Datastream 处理导致该峰值的事件后,才会在新鲜度指标中反映这一点。

  • 系统延迟时间:Datastream 处理事件所需的时间。此间隔的计算方式为:Datastream 读取 以及何时将事件写入目的地。

  • 总延迟时间:数据写入来源与相应事件写入目标位置的时间差。

监控处理的数据或事件

  1. 转到 Google Cloud Console 中的数据流页面。

    转到“数据流”页面

  2. 点击要监控的数据流。

  3. 可选。滚动屏幕,直到出现数据新鲜度图表。对于此图表,请点击创建提醒政策链接,为其创建提醒政策。提醒政策描述了您要针对图表监控的一组条件。

    点击该链接后,Cloud Monitoring 中将显示创建提醒政策页面。在此页面上,您可以为图表定义提醒政策。这包括指定哪些条件将触发政策、满足条件时哪些人会收到通知,以及如何收到通知。

    如需详细了解提醒政策(包括如何创建提醒政策),请参阅管理基于指标的提醒政策

  4. 点击监控标签。

  5. 滚动到代表 Datastream 监控的数据或事件的所需图表处。

  6. (可选)如果您正在查看吞吐量图表,选择(字节/秒)可查看 Datastream 从来源转移到目标位置的数据量,或者选择(事件/秒)可查看与要转移的数据相关联的事件数量。

  7. 要查看 Datastream 在几小时或数天内处理的数据量或事件数,请点击 1 小时6 小时12 小时1 天2 天4 天7 天14 天30 天

    或者,如需设置自定义范围,请选择自定义菜单,然后使用日历选择器指定开始日期和时间以及结束日期和时间,以获取要查看的数据量或事件数量。

    Datastream 会更新窗格中的图表以反映您的选择,并显示您指定的间隔。

    例如,如果今天是 2021 年 10 月 31 日,而您点击 30 天,则该图表将显示 Datastream 自 2021 年 10 月 1 日起处理的数据量或事件数量。

  1. 将指针悬停在图表中的线条上,即可显示 Datastream 针对特定日期和时间处理的数据量或事件数量。

后续步骤