使用应用分析视频数据的第一步是为持续数据流创建流水线。数据流能够提取实时视频数据,然后将这些数据用作模型的输入或存储在仓库中。
创建数据流
如需流式传输视频数据,您必须先创建数据流。
首次在新项目中创建数据流时,创建数据流可能需要一些时间。 此时间大约为 30 分钟。这段时间是因为系统需要初始化计算集群以进行后续计算。
控制台
在 Google Cloud 控制台中创建数据流。
打开 Vertex AI Vision 信息中心的 Streams(数据流)标签页。
点击
Register(注册)。输入数据流名称,然后选择一个地区。您可以点击添加行,同时注册多个数据流。
点击 Register 按钮以创建一个或多个数据流。
提取视频
创建数据流后,您就可以开始使用该数据流提取数据了。
提取的视频存在一些限制和注意事项:
- 输入视频源必须符合以下规范:
- H.264 编码
- 分辨率小于等于 1080p
- 约 25 FPS
如果视频不符合这些规范,Vertex AI 视觉可能无法妥善处理输入内容。
- 音频在提取期间被丢弃。
- 如果数据流是连接到仓库的应用的一部分,则整个数据流的视频参数(例如 FPS 或分辨率)必须相同;不支持 RTSP 视频数据参数或本地视频数据参数的变化。
- 由于模型启动延迟,提取的视频可能缺少前几秒钟的内容。此时间最长可达 15 秒。
- 在长时间连接(平均约 5 小时)后,可能会发生提取终止。
vaictl
工具不支持重新连接;用户必须手动重新连接。 - 虽然
vaictl
是提取视频数据的实用工具,但该工具不会自动处理网络错误恢复。这些错误可能来自数据源端或 Cloud 提取端。用户有责任创建重启脚本来处理意外的vaictl
操作终止。
Vertex AI Vision SDK
如需发送请求以使用现有数据流提取视频数据,您必须安装 Vertex AI Vision SDK。
进行以下变量替换:
- PROJECT_ID:您的 Google Cloud 项目 ID。
- LOCATION_ID:您的营业地点 ID。例如
us-central1
。 了解详情。支持的区域。 - LOCAL_FILE.EXT:本地视频文件的文件名。例如
my-video.mp4
。 - STREAM_ID:您在集群中创建的数据流 ID,例如
input-1
。 - RTSP_ADDRESS:实时流式传输协议 (RTSP) Feed 的地址。例如
rtsp://my-ip-camera
。
本地视频数据:
# This command streams a video file to a stream. Streaming ends when the video ends.
vaictl -p PROJECT_ID \
-l LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT
本地视频数据(循环播放):
# This command streams a video file to a stream. Video is looped into the stream until you stop the command.
vaictl -p PROJECT_ID \
-l LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT --loop
实时流式传输协议 (RTSP) 数据流:
# This command will send an RTSP feed into the stream.
# This command has to run in the network that has direct access to the RTSP feed.
vaictl -p PROJECT_ID \
-l LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send rtsp to streams STREAM_ID --rtsp-uri RTSP_ADDRESS
播放提取的视频
创建数据流并将视频内容发送到数据流后,您就可以播放视频内容了。
如果您让直播视图标签页保持打开状态超过一小时,则必须刷新页面才能继续加载视频内容。
控制台
在 Google Cloud 控制台中播放提取的视频。
打开 Vertex AI Vision 信息中心的 Streams(数据流)标签页。
在数据流列表中点击数据流名称。
在视频直播详情页面中,系统会自动加载提取的视频直播视图。