Vision Warehouse – Übersicht

Vision Warehouse ist eine API, mit der Entwickler die Speicherung und KI-basierte Suche nach unstrukturierten Medieninhalten (Streamingvideo, Bilder und Batch-Videos) in vorhandene Tools und Anwendungen einbinden können.

Vision Warehouse ist eine wichtige Komponente von Vertex AI Vision. Es dient als Speicher-Repository und bietet erweiterte Suchfunktionen für mehrere Datentypen und Anwendungsfälle. Zum Beispiel:

  • Videostreaming: Sie können Live-Videostreams und Daten zur Videoanalyse mit der Vertex AI Vision-Plattformanwendung oder der Vision Warehouse API importieren und mit der Vision Warehouse API oder der Google Cloud Console nach Bildern suchen.
  • Bild: Sie können Bilder und Metadaten mit der Vision Warehouse API importieren, Bilder mit der Vision Warehouse API analysieren und mit der Vision Warehouse API oder der Google Cloud Console nach Bildern suchen.
  • Batch-Videos: Sie können Batch-Videos und Metadaten mit der Vision Warehouse API importieren, Batch-Videos mit der Vision Warehouse API analysieren und mit der Vision Warehouse API oder der Google Cloud Console nach Batch-Videos suchen.

Übersicht über API-Ressourcen

API-Ressourcendiagramm

Storage API-Ressourcen

Corpus: Ein Container, der Medien-Assets eines bestimmten Typs enthält. Sie können mehrere Corpora erstellen, um verschiedene Arten von Medien-Assets zu organisieren.

Asset: Ein Medienobjekt, das in einem Korpus gespeichert ist. Assets können Bilder, Batch-Videos oder Videostreams sein. Ein Corpus enthält in der Regel viele Assets desselben Typs. Sie können Anmerkungen für Assets angeben. Assets können auch zu Verwaltungszwecken in Sammlungen gruppiert werden.

Sammlung: Eine Ressource innerhalb eines Korpus, die als Container für Verweise auf Assets dient.

Anmerkung: Vom Nutzer bereitgestellte Metadaten oder aus Vertex AI Vision abgeleitete Daten, die mit einem Asset verknüpft sind. Ein Asset kann mehrere Anmerkungen haben.

  • Beispiel 1: Geben Sie eine Textanmerkung mit dem Namen „video-title“ für Video-Assets im Batch an.
  • Beispiel 2: Analysierte Daten aus Vertex AI Vision-Modellen als Anmerkungen speichern So können beispielsweise Labels für die Objekterkennung in verschiedenen Zeiträumen eines Videos als Anmerkungen gespeichert werden.

Datenschema: Definiert, wie eine Anmerkung in einem Korpus interpretiert wird. Ein Datenschema definiert einen Anmerkungstyp und seine Suchstrategie. Jede Anmerkung muss einem Datenschema zugeordnet sein.

Search API-Ressourcen

Index (verfügbar für die Branchen „Bilder“ und „Batch-Videos“): Eine Ressource auf Corpusebene, die eine verwaltete Darstellung der analysierten Assets und Anmerkungen ist. Ein Index kann als Datensatz von Einbettungsvektoren und semantischen Einschränkungen betrachtet werden, der die Bedeutung der Medieninhalte darstellt. Indexe können für die Suche in Indexendpunkten bereitgestellt werden.

Indexendpunkt (verfügbar für Bild- und Batchvideobranchen): Eine verwaltete Umgebung, über die Vision Warehouse-Indexe ausgeliefert werden. Indexendpunkte bieten einen zentralen Zugriffspunkt für das Senden von Suchanfragen.

Suchkonfiguration: Hier werden verschiedene Properties gespeichert, die sich auf das Suchverhalten und die Suchergebnisse auswirken.

  • Attributeigenschaft (verfügbar für die Branche „Streamingvideo“): Damit wird eine Konfiguration erstellt, mit der facettenbasierte Histogrammsuchergebnisse aktiviert werden.
  • Property für Suchkriterien (verfügbar für die Branchen „Streamingvideo“ und „Batchvideo“): Hiermit wird eine Zuordnung zwischen einem benutzerdefinierten Suchkriterium und einem oder mehreren Datenschemaschlüsseln erstellt.

Such-Hypernym: Eine bestimmte Art der Suchkonfiguration, mit der Sie die Fähigkeit des Suchdienstes zur Erkennung von Hypernymen von Wörtern anpassen können. So können Nutzer beispielsweise „Tier“ als Hypernym von „Katze“ und „Hund“ angeben. Bei der Suche nach „Tier“ werden auch Ergebnisse mit „Katze“ und „Hund“ in den Indexdaten zurückgegeben.

Unterstützte Sprachen

Batch Video Warehouse und Image Warehouse unterstützen die folgenden Sprachen für die semantische Suche:

  • Englisch
  • Spanisch
  • Portugiesisch
  • Französisch
  • Japanisch
  • Chinesisch

Für Streaming Warehouse gibt es keine Sprachbeschränkung.

Nächste Schritte