Vision 仓库是一个 API,可让开发者将非结构化媒体内容(流式视频、图片和批量视频)的存储和基于 AI 的搜索功能集成到现有工具和应用中。
Vision 仓库是 Vertex AI Vision 的一个主要组件。它可用作存储库,并针对多种数据类型和用例提供高级搜索功能。具体而言:
- 在线视频:您可以使用 Vertex AI Vision 平台应用或 Vision Warehouse API 导入实时视频直播和实时视频分析数据,并使用 Vision Warehouse API 或 Google Cloud 控制台搜索图片。
- 图片:您可以使用 Vision Warehouse API 导入图片和元数据、使用 Vision Warehouse API 分析图片,以及使用 Vision Warehouse API 或 Google Cloud 控制台搜索图片。
- 批量处理视频:您可以使用 Vision Warehouse API 导入批量视频和元数据,使用 Vision Warehouse API 分析批量视频,以及使用 Vision Warehouse API 或 Google Cloud 控制台搜索批量视频。
API 资源概览
Storage API 资源
语料库:用于存储特定类型媒体素材资源的容器。您可以创建多个语料库来整理不同类型的媒体资源。
资产:存储在语料库中的媒体对象。素材资源可以是图片、批量视频或视频串流。 一个语料库通常包含许多同类型的素材资源。您可以指定与资源关联的注释。您还可以将素材资源分组到集合中进行管理。
集合:语料库中的资源,可用作资产引用的容器。
注释:用户提供的元数据或与资产关联的 Vertex AI Vision 派生数据。一项资产可以有多个注释。
- 示例 1:为批量视频资产指定名为“video-title”的文本注释。
- 示例 2:将 Vertex AI Vision 模型分析的数据存储为注释。例如,不同视频时间范围内的对象识别标签可以存储为注释。
数据架构:定义在语料库中如何解读注释。数据架构定义一种注释类型及其搜索策略。每个注解都必须与数据架构相关联。
Search API 资源
索引(适用于图片和批量视频行业):一个语料库级资源,是经过管理的已分析素材资源和注释的表示形式。索引可视为包含嵌入矢量和语义限制的数据集,用于表示媒体内容的含义。索引可以部署到索引端点以进行搜索。
索引端点(适用于图片和批量视频行业):用于提供 Vision 仓库索引的托管环境。索引端点提供用于发送搜索请求的单一访问点。
搜索配置:存储影响搜索行为和搜索结果的各种属性。
- 分面属性(适用于在线视频行业):创建配置以启用基于分面的直方图搜索结果。
- 搜索条件媒体资源(适用于在线视频和批量视频行业):在自定义搜索条件与一个或多个数据架构键之间建立映射。
搜索超义词:一种特定类型的搜索配置,可让您自定义搜索服务识别字词超义词的能力。例如,用户可以将“动物”指定为“猫”和“狗”的超次词。搜索“animal”还会返回索引数据中包含“cat”和“dog”的结果。
支持的语言
批量视频仓库和图片仓库支持以下语言进行语义搜索:
- 英语
- 西班牙语
- 葡萄牙语
- 法语
- 日语
- 中文
流式仓库没有语言限制。