Panoramica di Vision Warehouse

Vision Warehouse è un'API che consente agli sviluppatori di integrare lo spazio di archiviazione e la ricerca basata sull'IA di contenuti multimediali non strutturati (video in streaming, immagini e video batch) in strumenti e applicazioni esistenti.

Vision Warehouse è un componente importante di Vertex AI Vision. Funge da repository di archiviazione e offre funzionalità di ricerca avanzate per più tipi di dati e casi d'uso. In particolare:

  • Video in streaming: puoi importare stream video in diretta e dati di analisi video in diretta utilizzando l'applicazione della piattaforma Vertex AI Vision o l'API Vision Warehouse e cercare immagini utilizzando l'API Vision Warehouse o la Google Cloud console.
  • Immagine: puoi importare immagini e metadati utilizzando l'API Vision Warehouse, analizzare le immagini utilizzando l'API Vision Warehouse e cercare immagini utilizzando l'API o la Google Cloud console Vision Warehouse.
  • Video batch: puoi importare video batch e metadati utilizzando l'API Vision Warehouse, analizzare i video batch utilizzando l'API Vision Warehouse e cercare video batch utilizzando l'API Vision Warehouse o la Google Cloud console.

Panoramica delle risorse API

Diagramma delle risorse API

Risorse dell'API Storage

Corpus: un contenitore che contiene asset multimediali di un determinato tipo. Puoi creare più corpora per organizzare diversi tipi di asset multimediali.

Asset: un oggetto multimediale archiviato in un corpus. Le risorse possono essere immagini, video collettivi o stream video. Un corpus in genere contiene molti asset dello stesso tipo. Puoi specificare le annotazioni associate alle risorse. Per la gestione, gli asset possono essere raggruppati in raccolte.

Raccolta: una risorsa all'interno di un corpus che funge da contenitore di riferimenti alle risorse.

Annotazione: metadati o dati forniti dall'utente e derivati da Vertex AI Vision associati a una risorsa. Una risorsa può avere più annotazioni.

  • Esempio 1: specifica un'annotazione di testo denominata "video-title" per gli asset video batch.
  • Esempio 2: archivia i dati analizzati dai modelli Vertex AI Vision come annotazioni. Ad esempio, le etichette di riconoscimento degli oggetti in diversi intervalli di tempo del video possono essere memorizzate come annotazioni.

Schema dei dati: definisce la modalità di interpretazione di un'annotazione all'interno di un corpus. Uno schema dei dati definisce un tipo di annotazione e la relativa strategia di ricerca. Ogni annotazione deve essere associata a uno schema di dati.

Risorse dell'API Search

Indice (disponibile per i verticali di immagini e video batch): una risorsa a livello di corpus che è una rappresentazione gestita degli asset e delle annotazioni analizzati. Un indice può essere visto come un set di dati di vettori di embedding e restrizioni semantiche che rappresentano il significato dei contenuti multimediali. Gli indici possono essere implementati negli endpoint indice per la ricerca.

Endpoint dell'indice (disponibile per i verticali di immagini e video batch): un ambiente gestito che pubblica gli indici di Vision Warehouse. Gli endpoint dell'indice forniscono un unico punto di accesso per l'invio di richieste di ricerca.

Configurazione ricerca: memorizza varie proprietà che influiscono sui comportamenti di ricerca e sui risultati di ricerca.

  • Proprietà Facet (disponibile per il verticale video in streaming): crea una configurazione per attivare i risultati di ricerca dell'istogramma basati sui facet.
  • Proprietà dei criteri di ricerca (disponibile per i verticali video in streaming e video batch): crea una mappatura tra i criteri di ricerca personalizzati e una o più chiavi dello schema di dati.

Iperonimo di ricerca: un tipo specifico di configurazione di ricerca che ti consente di personalizzare la capacità del servizio di ricerca di riconoscere gli ipernimi delle parole. Ad esempio, gli utenti possono specificare "animale" come iperonimo di "gatto" e "cane". La ricerca di "animale" restituirà anche risultati con "gatto" e "cane" nei dati dell'indice.

Lingue supportate

Il magazzino video batch e il magazzino di immagini supportano le seguenti lingue per la ricerca semantica:

  • Inglese
  • Spagnolo
  • Portoghese
  • Francese
  • Giapponese
  • Cinese

Streaming Warehouse non ha limitazioni di lingua.

Passaggi successivi