Vision 仓库概览

Vision 仓库是一个 API,可让开发者将非结构化媒体内容(流式视频、图片和批量视频)的存储和基于 AI 的搜索功能集成到现有工具和应用中。

Vision 仓库是 Vertex AI Vision 的一个主要组件。它可用作存储库,并针对多种数据类型和用例提供高级搜索功能。具体而言:

  • 在线视频:您可以使用 Vertex AI Vision 平台应用或 Vision Warehouse API 导入实时视频直播和实时视频分析数据,并使用 Vision Warehouse API 或 Google Cloud 控制台搜索图片。
  • 图片:您可以使用 Vision Warehouse API 导入图片和元数据、使用 Vision Warehouse API 分析图片,以及使用 Vision Warehouse API 或 Google Cloud 控制台搜索图片。
  • 批量处理视频:您可以使用 Vision Warehouse API 导入批量视频和元数据,使用 Vision Warehouse API 分析批量视频,以及使用 Vision Warehouse API 或 Google Cloud 控制台搜索批量视频。

API 资源概览

API 资源图

Storage API 资源

语料库:用于存储特定类型媒体素材资源的容器。您可以创建多个语料库来整理不同类型的媒体资源。

资产:存储在语料库中的媒体对象。素材资源可以是图片、批量视频或视频串流。 一个语料库通常包含许多同类型的素材资源。您可以指定与资源关联的注释。您还可以将素材资源分组到集合中进行管理。

集合:语料库中的资源,可用作资产引用的容器。

注释:用户提供的元数据或与资产关联的 Vertex AI Vision 派生数据。一项资产可以有多个注释。

  • 示例 1:为批量视频资产指定名为“video-title”的文本注释。
  • 示例 2:将 Vertex AI Vision 模型分析的数据存储为注释。例如,不同视频时间范围内的对象识别标签可以存储为注释。

数据架构:定义在语料库中如何解读注释。数据架构定义一种注释类型及其搜索策略。每个注解都必须与数据架构相关联。

Search API 资源

索引(适用于图片和批量视频行业):一个语料库级资源,是经过管理的已分析素材资源和注释的表示形式。索引可视为包含嵌入矢量和语义限制的数据集,用于表示媒体内容的含义。索引可以部署到索引端点以进行搜索。

索引端点(适用于图片和批量视频行业):用于提供 Vision 仓库索引的托管环境。索引端点提供用于发送搜索请求的单一访问点。

搜索配置:存储影响搜索行为和搜索结果的各种属性。

  • 分面属性(适用于在线视频行业):创建配置以启用基于分面的直方图搜索结果。
  • 搜索条件媒体资源(适用于在线视频和批量视频行业):在自定义搜索条件与一个或多个数据架构键之间建立映射。

搜索超义词:一种特定类型的搜索配置,可让您自定义搜索服务识别字词超义词的能力。例如,用户可以将“动物”指定为“猫”和“狗”的超次词。搜索“animal”还会返回索引数据中包含“cat”和“dog”的结果。

支持的语言

批量视频仓库和图片仓库支持以下语言进行语义搜索:

  • 英语
  • 西班牙语
  • 葡萄牙语
  • 法语
  • 日语
  • 中文

流式仓库没有语言限制。

后续步骤