Scegli un tipo di attività di embedding

I modelli di incorporamenti di Vertex AI possono generare incorporamenti ottimizzati per vari tipi di attività, come recupero di documenti, domande e risposte e verifica dei fatti. I tipi di attività sono etichette che ottimizzano gli incorporamenti che il modello generati in base al caso d'uso previsto. Questo documento descrive come scegliere il tipo di attività ottimale per gli incorporamenti.

Modelli supportati

I tipi di attività sono supportati dai seguenti modelli:

  • textembedding-gecko@003
  • text-embedding-004
  • text-multilingual-embedding-002

Vantaggi dei tipi di attività

I tipi di attività possono migliorare la qualità degli embedding generati da un modello di embedding.

Le domande e le relative risposte non sono semanticamente simili
Figura 1. Le domande e le relative risposte non sono semanticamente simili, il che significa che gli incorporamenti non mostreranno automaticamente la loro relazione.

Ad esempio, quando si creano sistemi RAG (Retrieval Augmented Generation), la progettazione comune consiste nell'utilizzare gli incorporamenti Ricerca vettoriale su eseguire una ricerca di somiglianze. In alcuni casi, ciò può ridurre le prestazioni della ricerca della qualità, perché le domande e le risposte non sono semanticamente simili. Ad esempio, una domanda come "Perché il cielo è blu?" e la relativa risposta "La diffusione della luce del sole provoca il colore blu" hanno significati nettamente diversi come affermazioni, il che significa che un sistema RAG non riconoscerà automaticamente la loro relazione, come dimostrato nella figura 1. Senza i tipi di attività, uno sviluppatore RAG dovrebbe addestrare il proprio modello per apprendere la relazione tra query e risposte, il che richiede esperienza e competenze avanzate in data science, oppure utilizzare l'espansione delle query basata su LLM o HyDE, che può introdurre latenze elevate e costi.

Il tipo di attività posiziona le domande e le risposte più vicine nello spazio degli incorporamenti
Figura 2. I tipi di attività ottimizzano gli embedding per attività specifiche. In questo caso, le domande e le risposte si avvicinano nello spazio degli embedding.

I tipi di attività consentono di generare incorporamenti ottimizzati per attività specifiche, il che consente di risparmiare tempo e denaro per sviluppare incorporamenti specifici per attività. L'incorporamento generato per una query "Perché il cielo" blu?". e la risposta "La dispersione della luce solare causa il colore blu" vorrei nello spazio di incorporamento condiviso che rappresenta la relazione tra loro, come mostrato nella Figura 2. In questo esempio RAG, gli incorporamenti ottimizzati migliorare le ricerche di somiglianze.

Oltre al caso d'uso di query e risposte, i tipi di attività forniscono anche uno spazio di embedding ottimizzato per attività come classificazione, clustering e verifica dei fatti.

Tipi di attività supportati

I modelli di embedding che utilizzano tipi di attività supportano i seguenti tipi di attività:

Tipo di attività Descrizione
SEMANTIC_SIMILARITY Utilizzato per generare incorporamenti ottimizzati per valutare la somiglianza del testo
CLASSIFICATION Utilizzati per generare incorporamenti ottimizzati per classificare i testi in base a etichette preimpostate
CLUSTERING Utilizzato per generare incorporamenti ottimizzati per raggruppare i testi in base alle loro somiglianze
RETRIEVAL_DOCUMENT, RETRIEVAL_QUERY, QUESTION_ANSWERING e FACT_VERIFICATION Utilizzato per generare embedding ottimizzati per la ricerca di documenti o il recupero di informazioni

Il tipo di attività migliore per il job di incorporamento dipende dal caso d'uso che utilizzi gli incorporamenti. Prima di selezionare un tipo di attività, determina che gli incorporamenti utilizzano per verificare se è così.

Determinare il caso d'uso degli incorporamenti

I casi d'uso degli incorporamenti rientrano in genere in una di quattro categorie: valutazione della somiglianza dei testi, classificazione dei testi, raggruppamento dei testi o recupero di informazioni dai testi. Se il tuo caso d'uso non rientra in una delle categorie precedenti, utilizza il tipo di attività RETRIEVAL_QUERY per impostazione predefinita.

Valutare la somiglianza del testo

Se vuoi utilizzare gli embedding per valutare la somiglianza del testo, utilizza il SEMANTIC_SIMILARITY tipo di attività. Questo tipo di attività genera incorporamenti ottimizzati per la generazione di punteggi di somiglianza.

Ad esempio, supponiamo di voler generare embedding da utilizzare per confrontare la somiglianza dei seguenti testi:

  • Il gatto sta dormendo
  • Il felino sta dormendo

Quando gli incorporamenti vengono utilizzati per creare un punteggio di somiglianza, il punteggio di somiglianza è alto, perché entrambi i testi hanno quasi lo stesso significato.

Considera i seguenti scenari reali in cui la valutazione della somiglianza degli input sarebbe utile:

  • Per un sistema di consigli, devi identificare gli elementi (ad es. prodotti, articoli, film) semanticamente simili agli elementi preferiti dall'utente, offrendo consigli personalizzati e migliorando la soddisfazione degli utenti.

Classificare i testi

Se vuoi utilizzare gli embedding per classificare i testi in base a etichette predefinite, utilizza il tipo di attività CLASSIFICATION. Questo tipo di attività genera incorporamenti in uno spazio di incorporamenti ottimizzato per la classificazione.

Ad esempio, supponiamo che tu voglia generare incorporamenti per i post dei social media che puoi utilizzare per classificare il proprio sentiment come positivo, negativo o neutri. Quando vengono classificati gli embedding di un post sui social media che recita "Non mi piace viaggiare in aereo", il sentiment viene classificato come negativo.

.

Testi del cluster

Se vuoi utilizzare gli incorporamenti per raggruppare i testi in base alle loro somiglianze, usa il tipo di attività CLUSTERING. Questo tipo di attività genera embedding ottimizzati per essere raggruppati in base alle loro somiglianze.

Ad esempio, supponiamo che tu voglia generare embedding per gli articoli di notizie in modo da poter mostrare agli utenti articoli correlati per argomento a quelli che hanno letto in precedenza. Dopo aver generato e raggruppato gli embedding, puoi suggerire altri articoli correlati allo sport agli utenti che leggono molto su questo argomento.

Altri casi d'uso per il clustering includono:

  • Segmentazione dei clienti: raggruppa i clienti con incorporamenti simili generati. dai loro profili o dalle loro attività per attività di marketing ed esperienze variegate.
  • Segmentazione del prodotto: raggruppamento degli incorporamenti dei prodotti in base al prodotto. titolo e descrizione, immagini dei prodotti o recensioni dei clienti possono aiutare le attività eseguono l'analisi dei segmenti sui loro prodotti.
  • Ricerca di mercato: il raggruppamento delle risposte dei sondaggi dei consumatori o degli embedding dei dati dei social media può rivelare pattern e tendenze nascosti nelle opinioni, nelle preferenze e nei comportamenti dei consumatori, contribuendo agli sforzi di ricerca di mercato e informando le strategie di sviluppo dei prodotti.
  • Sanità: il clustering degli embedding dei pazienti derivati dai dati medici può contribuire a identificare gruppi con condizioni o risposte al trattamento simili, portando a piani sanitari più personalizzati e a terapie mirate.
  • Tendenze dei feedback dei clienti: raggruppare i feedback dei clienti provenienti da vari canali (sondaggi, social media, richieste di assistenza) in gruppi può aiutarti a identificare punti deboli comuni, richieste di funzionalità e aree di miglioramento del prodotto.

Recuperare informazioni dai messaggi

Se vuoi utilizzare gli incorporamenti per la ricerca di documenti o il recupero di informazioni e i casi d'uso di domande e risposte, come la ricerca, i chatbot o RAG, come discussi nell'introduzione. devi eseguire due job di incorporamento con tipi di attività diversi:

  1. Utilizza il tipo di attività RETRIEVAL_DOCUMENT per creare embedding ottimizzati per i tuoi documenti (chiamati anche corpus).
  2. Utilizza uno dei seguenti tipi di attività per creare incorporamenti ottimizzati per il tuo query, a seconda della loro natura:
    • RETRIEVAL_QUERY: utilizza questa opzione come tipo di attività predefinito per le query, ad esempio "migliore ristoranti a Vancouver", "verdure verdi" o "Qual è il biscotto migliore ricetta?".
    • QUESTION_ANSWERING: da utilizzare nei casi in cui tutte le query sono formattate come ad esempio "Perché il cielo è blu?". o "Come faccio a legare lacci da scarpe?".
    • FACT_VERIFICATION: da utilizzare nei casi in cui vuoi recuperare un documento dal tuo corpus che dimostri o confuta un'affermazione. Ad esempio, la query "le mele crescono sottoterra" potrebbe recuperare un articolo sulle mele che alla fine sconfesserebbe l'affermazione.

Prendi in considerazione il seguente scenario reale in cui le query di recupero sarebbero utili:

  • Per una piattaforma di e-commerce, ti consigliamo di utilizzare gli embedding per consentire agli utenti di cercare i prodotti utilizzando sia le query di testo sia le immagini, offrendo un'esperienza di acquisto più intuitiva e coinvolgente.
  • Per una piattaforma educativa, vuoi creare un sistema di risposta alle domande che possa rispondere alle domande degli studenti in base ai contenuti dei libri di testo o alle risorse educative, offrendo esperienze di apprendimento personalizzate e aiutando gli studenti a comprendere concetti complessi.

Passaggi successivi