Panoramica di Vertex AI Matching Engine

Riepilogo: Vertex AI Matching Engine fornisce il migliore servizio di settore, corrispondenza a bassa latenza, somiglianza vettoriale e scalabilità elevata, noto anche come approfondimento del vicino più vicino, e algoritmi leader del settore per addestrare gli incorporamenti semantici per casi d'uso di corrispondenza della somiglianza.

Motore di corrispondenza fornisce strumenti per creare casi d'uso che comportano elementi semanticamente simili. In particolare, data un elemento di query, Matching Engine trova gli elementi più semanticamente simili a un elemento da un vasto corpus di elementi candidati. Questa capacità di cercare elementi semanticamente simili o semanticamente correlati ha molti casi d'uso reali ed è una parte fondamentale di applicazioni quali:

  • Motori per suggerimenti
  • Motori di ricerca
  • Sistemi di targeting degli annunci
  • Classificazione delle immagini o ricerca di immagini
  • Classificazione del testo
  • Risposta a domanda
  • Bot di chat

Il paradigma all'avanguardia per la creazione di tali sistemi di corrispondenza semantica è il calcolo delle rappresentazioni vettoriali degli elementi. Queste rappresentazioni vettoriali sono spesso chiamate 'incorporamenti'. Gli incorporamenti vengono calcolati tramite modelli di machine learning, modelli di deep learning sempre più frequenti. I modelli vengono addestrati per apprendere uno spazio di incorporamento in cui esempi simili sono vicini, mentre quelli diversi sono distanti tra loro. Pertanto, più vicini sono i due elementi nello spazio di incorporamento, più simili sono.

La seguente illustrazione mostra come questa tecnica possa essere applicata al problema di ricerca dei libri, da un database, che sono la migliore corrispondenza semantica per una query di input. Per rispondere a una query con questo approccio, il sistema deve prima mappare ogni elemento del database a un'incorporamento, quindi mappare la query allo spazio di incorporamento. Il sistema deve quindi trovare, tra tutti gli incorporamenti di database, quelli più vicini alla query; questo è il problema di ricerca vicino più vicino (a volte chiamato anche ricerca di similarità vettoriale).

Punti di query e database.

L'utilizzo degli incorporamenti non è limitato alle parole o al testo. Grazie all'utilizzo di modelli di machine learning (spesso modelli di deep learning), è possibile generare incorporamenti semantici per più tipi di dati, ad esempio foto, audio, film e preferenze utente.

Pertanto, a un livello generale, il paradigma di corrispondenza semantica può essere semplificato in due passaggi fondamentali:

  • Genera rappresentazioni dell'incorporamento di elementi
  • Eseguire ricerche nelle vicinanze per l'incorporamento

Vertex AI Matching Engine fornisce strumenti per entrambe le fasi precedenti. In particolare, offre:

  • Modelli pronti all'uso che possono essere addestrati a produrre rappresentazioni di incorporamento di elementi.
  • Un servizio approssimato e ad alta latenza di prossimità nelle vicinanze per trovare incorporamenti simili.

Le funzionalità sopra indicate sono fornite come offerte modulari indipendenti. I clienti sono liberi di utilizzare una delle offerte precedenti con altri servizi. Non devono essere utilizzati insieme. Ad esempio, puoi produrre incorporamenti utilizzando un altro servizio, ma importarli nel servizio ANN di Motore di corrispondenza per eseguire le query nelle vicinanze più vicine. Ad esempio, è comune per i clienti utilizzare modelli come BERT o ResNet di TF-Hub per produrre incorporamenti di testo o immagini. Analogamente, puoi addestrare gli incorporamenti utilizzando il modello a due torri di Matching Engine ed esportarli per utilizzarli in un altro servizio.

Passaggi successivi