I modelli di incorporamenti di Vertex AI possono generare incorporamenti ottimizzati per vari tipi di attività, come recupero di documenti, domande e risposte e verifica dei fatti. I tipi di attività sono etichette che ottimizzano gli embedding generati dal modello in base al caso d'uso previsto. Questo documento descrive come scegliere il tipo di attività ottimale per gli embedding.
Modelli supportati
I tipi di attività sono supportati dai seguenti modelli:
textembedding-gecko@003text-embedding-004text-embedding-005text-multilingual-embedding-002
Vantaggi dei tipi di attività
I tipi di attività possono migliorare la qualità degli embedding generati da un modello di embedding.
Ad esempio, quando crei sistemi di Retrieval Augmented Generation (RAG), un design comune è utilizzare gli embedding di testo e Vector Search per eseguire una ricerca di somiglianza. In alcuni casi, questo può comportare un peggioramento della qualità della ricerca, perché le domande e le relative risposte non sono semanticamente simili. Ad esempio, una domanda come "Perché il cielo è blu?" e la relativa risposta "La diffusione della luce del sole causa il colore blu" hanno significati nettamente diversi come affermazioni, il che significa che un sistema RAG non riconoscerà automaticamente la loro relazione, come dimostrato nella figura 1. Senza i tipi di attività, uno sviluppatore RAG dovrebbe addestrare il proprio modello per apprendere la relazione tra query e risposte, il che richiede esperienza e competenze avanzate di data science, oppure utilizzare l'espansione delle query basata su LLM o HyDE, che può comportare costi e latenze elevati.
I tipi di attività ti consentono di generare embedding ottimizzati per attività specifiche, risparmiando il tempo e i costi necessari per sviluppare i tuoi embedding specifici per attività. L'embedding generato per una query "Perché il cielo è blu?" e la relativa risposta "La diffusione della luce del sole provoca il colore blu" si troverebbe nello spazio di embedding condiviso che rappresenta la relazione tra loro, come dimostrato nella figura 2. In questo esempio di RAG, gli embedding ottimizzati migliorerebbero le ricerche di somiglianza.
Oltre al caso d'uso di query e risposte, i tipi di attività forniscono anche uno spazio di embedding ottimizzato per attività come classificazione, clustering e verifica dei fatti.
Tipi di attività supportati
I modelli di embedding che utilizzano tipi di attività supportano i seguenti tipi di attività:
| Tipo di attività | Descrizione |
|---|---|
SEMANTIC_SIMILARITY |
Utilizzato per generare incorporamenti ottimizzati per valutare la somiglianza del testo |
CLASSIFICATION |
Utilizzato per generare embedding ottimizzati per classificare i testi in base a etichette predefinite |
CLUSTERING |
Utilizzato per generare incorporamenti ottimizzati per raggruppare i testi in base alle loro somiglianze |
RETRIEVAL_DOCUMENT, RETRIEVAL_QUERY, QUESTION_ANSWERING e FACT_VERIFICATION |
Utilizzato per generare embedding ottimizzati per la ricerca di documenti o il recupero di informazioni |
CODE_RETRIEVAL_QUERY |
Viene utilizzato per recuperare un blocco di codice in base a una query in linguaggio naturale, ad esempio ordina un array o inverti un elenco collegato. Le incorporazioni dei blocchi di codice vengono calcolate utilizzando RETRIEVAL_DOCUMENT. |
Il tipo di attività migliore per il job di embedding dipende dal caso d'uso per gli embedding. Prima di selezionare un tipo di attività, determina il caso d'uso degli incorporamenti.
Determina il caso d'uso degli embedding
I casi d'uso degli incorporamenti rientrano in genere in una di quattro categorie: valutazione della somiglianza dei testi, classificazione dei testi, raggruppamento dei testi o recupero di informazioni dai testi. Se il tuo caso d'uso non rientra in una delle categorie precedenti,
utilizza il tipo di attività RETRIEVAL_QUERY per impostazione predefinita.
Valutare la somiglianza del testo
Se vuoi utilizzare gli embedding per valutare la somiglianza del testo, utilizza il
SEMANTIC_SIMILARITY tipo di attività. Questo tipo di attività genera incorporamenti ottimizzati per la generazione di punteggi di somiglianza.
Ad esempio, supponiamo di voler generare embedding da utilizzare per confrontare la somiglianza dei seguenti testi:
- Il gatto dorme
- Il felino sta dormendo
Quando gli embedding vengono utilizzati per creare un punteggio di somiglianza, questo è elevato, perché entrambi i testi hanno quasi lo stesso significato.
Considera i seguenti scenari reali in cui la valutazione della somiglianza degli input sarebbe utile:
- Per un sistema di consigli, vuoi identificare elementi (ad es. prodotti, articoli, film) semanticamente simili a quelli preferiti da un utente, fornendo consigli personalizzati e migliorando la soddisfazione dell'utente.
Classificare i testi
Se vuoi utilizzare gli embedding per classificare i testi in base a etichette predefinite, utilizza
il tipo di attività CLASSIFICATION. Questo tipo di attività genera incorporamenti in uno spazio di incorporamenti ottimizzato per la classificazione.
Ad esempio, supponiamo che tu voglia generare embedding per i post sui social media che potrai poi utilizzare per classificare il loro sentiment come positivo, negativo o neutro. Quando vengono classificati gli embedding di un post sui social media che recita "Non mi piace viaggiare in aereo", il sentiment viene classificato come negativo.
.Testi dei cluster
Se vuoi utilizzare gli embedding per raggruppare i testi in base alle loro somiglianze, utilizza il tipo di attività CLUSTERING. Questo tipo di attività genera embedding ottimizzati per essere raggruppati in base alle loro somiglianze.
Ad esempio, supponiamo che tu voglia generare embedding per gli articoli di notizie in modo da poter mostrare agli utenti articoli correlati per argomento a quelli che hanno letto in precedenza. Dopo aver generato e raggruppato gli embedding, puoi suggerire altri articoli correlati allo sport agli utenti che leggono molto su questo argomento.
Ulteriori casi d'uso per il clustering includono:
- Segmentazione dei clienti: raggruppa i clienti con embedding simili generati dai loro profili o dalle loro attività per il marketing mirato e le esperienze personalizzate.
- Segmentazione dei prodotti:raggruppare gli embedding dei prodotti in base al titolo e alla descrizione, alle immagini o alle recensioni dei clienti può aiutare le attività a eseguire analisi di segmentazione sui propri prodotti.
- Ricerca di mercato: il raggruppamento delle risposte dei consumatori ai sondaggi o degli embedding dei dati dei social media può rivelare schemi e tendenze nascosti nelle opinioni, nelle preferenze e nei comportamenti dei consumatori, contribuendo alle attività di ricerca di mercato e informando le strategie di sviluppo dei prodotti.
- Sanità: il clustering degli embedding dei pazienti derivati dai dati medici può contribuire a identificare gruppi con condizioni o risposte al trattamento simili, portando a piani sanitari e terapie mirate più personalizzati.
- Tendenze dei feedback dei clienti: raggruppare i feedback dei clienti provenienti da vari canali (sondaggi, social media, richieste di assistenza) in gruppi può aiutarti a identificare punti deboli comuni, richieste di funzionalità e aree di miglioramento del prodotto.
Recuperare informazioni dai messaggi
Se vuoi utilizzare gli embedding per la ricerca di documenti o il recupero delle informazioni e per i casi d'uso di domande e risposte come ricerca, chatbot o RAG, come discusso nell'introduzione, devi eseguire due job di embedding con tipi di attività diversi:
- Utilizza il tipo di attività
RETRIEVAL_DOCUMENTper creare embedding ottimizzati per i tuoi documenti (chiamati anche corpus). - Utilizza uno dei seguenti tipi di attività per creare embedding ottimizzati per le tue query, a seconda della loro natura:
RETRIEVAL_QUERY: da utilizzare come tipo di attività predefinito per le query, ad esempio "migliori ristoranti di Vancouver", "verdure verdi" o "Qual è la migliore ricetta per i biscotti?".QUESTION_ANSWERING: da utilizzare nei casi in cui tutte le query sono formattate come domande, ad esempio "Perché il cielo è blu?" o "Come faccio a legare i lacci delle mie scarpe?".FACT_VERIFICATION: da utilizzare nei casi in cui vuoi recuperare un documento dal tuo corpus che dimostri o confuti un'affermazione. Ad esempio, la query "le mele crescono sottoterra" potrebbe recuperare un articolo sulle mele che alla fine sconfesserebbe l'affermazione.
Prendi in considerazione il seguente scenario reale in cui le query di recupero sarebbero utili:
- Per una piattaforma di e-commerce, ti consigliamo di utilizzare gli embedding per consentire agli utenti di cercare i prodotti utilizzando sia query di testo sia immagini, offrendo un'esperienza di acquisto più intuitiva e coinvolgente.
- Per una piattaforma educativa, vuoi creare un sistema di risposta alle domande che possa rispondere alle domande degli studenti in base ai contenuti dei libri di testo o alle risorse educative, offrendo esperienze di apprendimento personalizzate e aiutandoli a comprendere concetti complessi.
Passaggi successivi
- Scopri come ottenere gli embedding di testo.