Vision Warehouse は、非構造化メディア コンテンツ（ストリーミング動画、画像、バッチ動画）のストレージと AI ベースの検索を既存のツールやアプリケーションに統合できるようにする API です。
Vision Warehouse は Vertex AI Vision の主要コンポーネントです。ストレージ リポジトリとして機能し、複数のデータタイプとユースケースに対応した高度な検索機能を提供します。特に、以下の点に注意してください。
- ストリーミング動画: Vertex AI Vision プラットフォーム アプリケーションまたは Vision Warehouse API を使用してライブ動画ストリームとライブ動画分析データをインポートし、Vision Warehouse API または Google Cloud コンソールを使用して画像を検索できます。
- 画像: Vision Warehouse API を使用して画像とメタデータをインポートし、Vision Warehouse API を使用して画像を分析し、Vision Warehouse API または Google Cloud コンソールを使用して画像を検索できます。
- バッチ動画: Vision Warehouse API を使用してバッチ動画とメタデータをインポートし、Vision Warehouse API を使用してバッチ動画を分析し、Vision Warehouse API または Google Cloud コンソールを使用してバッチ動画を検索できます。
API リソースの概要
Storage API リソース
コーパス: 特定のタイプのメディア アセットを保持するコンテナ。複数のコーパスを作成して、さまざまな種類のメディアアセットを整理できます。
アセット: コーパス内に保存されているメディア オブジェクト。アセットには、画像、バッチ動画、動画ストリーミングを使用できます。コーパスには通常、同じタイプのアセットが多数含まれています。アセットに関連付けられたアノテーションを指定できます。アセットは、管理のためにコレクションにグループ化することもできます。
コレクション: コーパス内のリソースで、アセットへの参照のコンテナとして機能します。
アノテーション: アセットに関連付けられた、ユーザー提供のメタデータまたは Vertex AI Vision から取得されたデータ。アセットには複数のアノテーションを含めることができます。
- 例 1: バッチ動画アセットに「video-title」という名前のテキスト アノテーションを指定します。
- 例 2: Vertex AI Vision モデルから分析されたデータをアノテーションとして保存します。たとえば、動画の異なる時間枠のオブジェクト認識ラベルをアノテーションとして保存できます。
データスキーマ: コーパス内でのアノテーションの解釈方法を定義します。データスキーマは、1 つのアノテーション タイプとその検索戦略を定義します。各アノテーションはデータスキーマに関連付ける必要があります。
Search API リソース
インデックス（画像とバッチ動画の業種で利用可能）: 分析されたアセットとアノテーションの管理対象表現であるコーパス レベルのリソース。インデックスは、メディア コンテンツの意味を表すエンベディング ベクトルとセマンティック制限のデータセットと見なすことができます。インデックスは、検索用のインデックス エンドポイントにデプロイできます。
インデックス エンドポイント（画像とバッチ動画の業種で利用可能）: Vision Warehouse インデックスを提供するマネージド環境。インデックス エンドポイントは、検索リクエストを送信するための単一のアクセス ポイントを提供します。
検索構成: 検索動作と検索結果に影響するさまざまなプロパティを保存します。
- ファセット プロパティ（ストリーミング動画の業種に利用可能）: ファセットベースのヒストグラム検索結果を有効にする構成を作成します。
- 検索条件プロパティ（ストリーミング動画とバッチ動画の各業種で利用可能）: カスタム検索条件と 1 つ以上のデータスキーマキーとのマッピングを作成します。
検索ハイパーニム: 検索サービスの単語のハイパーニムの認識機能をカスタマイズできる、特定のタイプの検索構成。たとえば、「猫」と「犬」のハイパーニムとして「動物」を指定できます。「animal」で検索すると、インデックス データに「cat」と「dog」が含まれる結果も返されます。
サポートされている言語
バッチ動画ウェアハウスと画像ウェアハウスは、セマンティック検索で次の言語をサポートしています。
- 英語
- スペイン語
- ポルトガル語
- フランス語
- 日本語
- 中国語
Streaming Warehouse には言語の制限はありません。
次のステップ
- ストリーミング動画、画像、バッチ動画など、各メディア カテゴリの主な API ユーザーフローについて理解します。
- Vision Warehouse の割り当てと上限を確認する。
- 料金を確認する。
- サポートを受ける方法を確認する。