使用 Google Cloud 控制台跟踪视频对象

本快速入门将逐步介绍使用 AutoML 模型跟踪视频中对象的过程。

启用 API

创建数据集

AutoML Video 对象跟踪界面数据集页面,执行以下操作:

  1. 点击创建数据集
    “创建数据集”图标
  2. 为此数据集指定名称,选择 Video 对象跟踪,然后点击创建数据集
  3. 在数据集导入标签上,提供包含训练数据 URI 的 CSV 文件的 Cloud Storage URI。在本快速入门中,请使用以下 CSV 文件。请注意,以下 URI 有意不包含 gs:// 前缀。

    automl-video-demo-data/traffic_videos/traffic_videos.csv

  4. 此外,在数据集的导入标签页上,点击继续以开始导入数据。 标题为“my_dataset”的数据集页面

导入过程可能需要一段时间才能完成。此过程所需的时间取决于您提供的视频数量和时长。

完成后,点击数据集的视频标签,浏览数据集中的视频列表:

显示两个视频的“视频”标签

要查看导入过程中出现的任何错误,请切换到导入标签页以检查错误消息。

训练模型

  • 创建并处理数据集后,点击训练标签,开始训练模型。
  • 点击开始训练以继续。含有信息的“训练”标签
  • 训练新模型窗格中,为您的模型选择一个名称,并点击开始训练

系统将针对您的模型启动训练。对于此数据集,训练过程最多可能需要 1 小时。如果训练完成或发生任何错误,该服务会通过电子邮件通知您。

训练完成后,该服务会自动部署您的模型。

点击评估标签可详细了解 F1、精确率和召回率分数。

含有信息的“评估”标签

跟踪视频中的对象

要使用模型进行预测,即跟踪视频中的对象,请执行以下操作:

  1. 在模型的测试和使用标签页上,执行以下操作:
    • 测试模型下,输入 gs://automl-video-demo-data/traffic_videos/traffic_videos_batch_predict.csv。
    • 此外,在测试模型下,选择 Cloud Storage 存储桶中的一个目录以接收对象跟踪结果。请务必为结果选择区域存储桶。

      实际上,您可能想要在 Cloud Storage 存储桶中创建一个特定的“结果”文件夹以用于保存预测结果。

    • 点击获取预测
    配置 AutoML Video Intelligence 的预测请求

获取预测结果的过程可能需要一些时间,具体取决于您要在其中跟踪对象的视频数量。

该过程完成后,结果将显示在该模型页面中最近的预测下方。 要查看结果,请执行以下操作:

  1. 预测列的最近的预测下,点击要查看的预测结果所对应的查看
  2. 视频下,选择要查看其结果的视频的名称。

AutoML Video Intelligence 预测的结果

查看结果

在结果中,AutoML Video 对象跟踪提供三种类型的信息:

  • 视频的标签。您可以在视频预览下方的行中找到此信息。
  • 对象出现在视频中的时间段。这在视频时间轴上指明。
  • 预测的置信度分数。

如果要查看更多标签或边界框,您可以在请求预测时更改阈值。AutoML Video 对象跟踪仅显示指定阈值上方的标签。

如果预测失败,则列表中的结果将在最近的预测列表中显示红色图标。

如果尝试执行的预测操作中只有一个视频失败,则在最近的预测列表中,预测显示绿色。在该预测的结果页面,您可以查看 AutoML Video 视频跟踪成功跟踪到的对象的视频结果。