Présentation de l'entrepôt Vision

Vision Warehouse est une API qui permet aux développeurs d'intégrer le stockage et la recherche basée sur l'IA de contenus multimédias non structurés (vidéos en streaming, images et vidéos groupées) dans les outils et applications existants.

Vision Warehouse est un composant majeur de Vertex AI Vision. Il sert de dépôt de stockage et fournit des fonctionnalités de recherche avancées pour plusieurs types de données et cas d'utilisation. Plus précisément :

  • Streaming vidéo: vous pouvez importer des flux vidéo en direct et des données d'analyse vidéo en direct à l'aide de l'application de la plate-forme Vision de Vertex AI ou de l'API Vision Warehouse, et rechercher des images à l'aide de l'API Vision Warehouse ou de la console Google Cloud.
  • Image: vous pouvez importer des images et des métadonnées à l'aide de l'API Vision Warehouse, analyser des images à l'aide de l'API Vision Warehouse et rechercher des images à l'aide de l'API Vision Warehouse ou de la console Google Cloud.
  • Vidéo par lot: vous pouvez importer des vidéos et des métadonnées par lot à l'aide de l'API Vision Warehouse, analyser des vidéos par lot à l'aide de l'API Vision Warehouse et rechercher des vidéos par lot à l'aide de l'API Vision Warehouse ou de la console Google Cloud.

Présentation des ressources d'API

Schéma des ressources de l'API

Ressources de l'API Storage

Corpus: conteneur contenant des éléments multimédias d'un type particulier. Vous pouvez créer plusieurs corpus pour organiser différents types d'assets multimédias.

Élément: objet multimédia stocké dans un corpus. Les éléments peuvent être des images, des vidéos groupées ou des flux vidéo. Un corpus contient généralement de nombreux composants du même type. Vous pouvez spécifier des annotations associées aux éléments. Vous pouvez également regrouper des composants dans des collections à des fins de gestion.

Collection: ressource d'un corpus qui sert de conteneur de références aux éléments.

Annotation: métadonnées ou données fournies par l'utilisateur dérivées de Vertex AI Vision et associées à un composant. Un élément peut comporter plusieurs annotations.

  • Exemple 1: Spécifiez une annotation textuelle nommée "video-title" pour les composants vidéo groupés.
  • Exemple 2: Stockez les données analysées des modèles Vertex AI Vision sous forme d'annotations. Par exemple, les libellés de reconnaissance d'objets dans différents segments temporels vidéo peuvent être stockés en tant qu'annotations.

Schéma de données: définit la façon dont une annotation est interprétée dans un corpus. Un schéma de données définit un type d'annotation et sa stratégie de recherche. Chaque annotation doit être associée à un schéma de données.

Ressources de l'API Search

Index (disponible pour les secteurs des images et des vidéos groupées): ressource au niveau du corpus qui est une représentation gérée des composants et des annotations analysés. Un indice peut être considéré comme un ensemble de données de vecteurs d'embedding et de restrictions sémantiques qui représentent le sens du contenu multimédia. Les index peuvent être déployés dans des points de terminaison d'index pour la recherche.

Point de terminaison d'index (disponible pour les secteurs de l'image et de la vidéo par lot): environnement géré qui diffuse les index Vision Warehouse. Les points de terminaison d'index fournissent un point d'accès unique pour l'envoi de requêtes de recherche.

Configuration de la recherche: stocke diverses propriétés qui affectent les comportements de recherche et les résultats de recherche.

  • Propriété d'attribut (disponible pour le secteur de la vidéo en streaming): crée une configuration permettant d'activer les résultats de recherche basés sur des histogrammes d'attributs.
  • Propriété "Critères de recherche" (disponible pour les secteurs de la vidéo en streaming et des vidéos groupées): crée un mappage entre des critères de recherche personnalisés et une ou plusieurs clés de schéma de données.

Hypernyme de recherche: type spécifique de configuration de recherche qui vous permet de personnaliser la capacité du service de recherche à reconnaître les hypernymes de mots. Par exemple, les utilisateurs peuvent spécifier "animal" comme hyperonyme de "chat" et de "chien". Une recherche sur "animal" renverra également des résultats contenant "chat" et "chien" dans les données d'index.

Langues disponibles

Batch Video Warehouse et Image Warehouse sont compatibles avec les langues suivantes pour la recherche sémantique:

  • Anglais
  • Espagnol
  • Portugais
  • Français
  • Japonais
  • Chinois

Streaming Warehouse n'impose aucune restriction linguistique.

Étape suivante