Panoramica delle API Embeddings

Gli incorporamenti sono rappresentazioni numeriche di testo, immagini o video che acquisiscono relazioni tra gli input. I modelli di machine learning, in particolare quelli generativi modelli di AI, sono adatti a creare incorporamenti identificando pattern all'interno e grandi set di dati. Le applicazioni possono usare gli incorporamenti per elaborare e produrre lingua, riconoscere significati complessi e relazioni semantiche specifiche i tuoi contenuti. Interagisci con gli incorporamenti ogni volta che completi una Ricerca Google o ricevi consigli in streaming musicali.

Gli incorporamenti funzionano convertendo testo, immagini e video in array di dati mobili numeri di punti, chiamati vettori. Questi vettori sono progettati per catturare il significato di testo, immagini e video. La lunghezza dell'array di incorporamento è chiamata la dimensionalità del vettore. Ad esempio, un passaggio di testo da un vettore contenente centinaia di dimensioni. Quindi, calcolando distanza numerica tra le rappresentazioni vettoriali di due parti di testo, una un'applicazione può determinare la somiglianza tra gli oggetti.

Vertex AI supporta due tipi di modelli di incorporamenti: di testo e multimodali.

Casi d'uso degli incorporamenti di testo

Alcuni casi d'uso comuni per gli incorporamenti di testo includono:

  • Ricerca semantica: testo di ricerca classificato per somiglianza semantica.
  • Classificazione: restituisce la classe degli elementi i cui attributi di testo sono simile al testo specificato.
  • Cluster: elementi del cluster i cui attributi di testo sono simili all'elemento specificato testo.
  • Rilevamento outlier: restituisce gli articoli in cui gli attributi di testo sono meno correlati. al testo dato.
  • Interfaccia conversazionale: raggruppa gruppi di frasi che possono generare risposte, come in uno spazio di incorporamento a livello di conversazione.

Esempio di caso d'uso: sviluppare un chatbot per i suggerimenti sui libri

Se vuoi sviluppare un chatbot per i consigli di libri, la prima cosa da fare è usare una rete neurale profonda (DNN) per convertire ogni libro in un , dove un vettore di incorporamento rappresenta un libro. Puoi fornire feed, come input al DNN, solo il titolo del libro o solo il contenuto del testo. In alternativa, puoi utilizzare entrambi questi insieme, insieme a qualsiasi altro metadato che descrive il libro, come il genere.

Gli incorporamenti in questo esempio potrebbero comprendere migliaia di titoli di libri riassunti e il loro genere, e potrebbero avere rappresentazioni per libri come Wuthering Heights di Emily Brontë e Persuasion di Jane Austen, simili tra loro (piccola distanza tra la rappresentazione numerica). Mentre la rappresentazione numerica del libro Il grande Gatsby di F. Sandro Fitzgerald lo avrebbe ulteriormente spiegato, in quanto il periodo di tempo, il genere e il riassunto sono inferiori simili.

Gli input sono la principale influenza sull'orientamento dello spazio di incorporamento. Per Ad esempio, se abbiamo inserito solo i titoli dei libri, allora due libri con titoli simili, ma molto diversi, potrebbero essere ravvicinati. Tuttavia, se includiamo titolo e riassunto, questi stessi libri sono meno simili (più in là) lo spazio di incorporamento.

Lavorando con AI generativa, questo chatbot di suggerimenti di libri potrebbe riassumere, suggerire e mostrare libri che potrebbero piacerti (o non piacerti), in base alle tue query.

Casi d'uso degli incorporamenti multimodali

Alcuni casi d'uso comuni per gli incorporamenti multimodali includono:

  • Casi d'uso di immagini e testo:

    • Classificazione delle immagini: prende un'immagine come input e prevede una o più (etichette).
    • Ricerca immagini: cerca immagini pertinenti o simili.
    • Consigli: genera consigli su prodotti o annunci basati su immagini.

  • Casi d'uso di immagini, testo e video:

    • Consigli: genera consigli su prodotti o pubblicità in base a sui video (ricerca di affinità).
    • Ricerca di contenuti video
    • Utilizzando la ricerca semantica: inserisci un testo come input e restituisci un insieme di i frame classificati che corrispondono alla query.
    • Utilizzare la ricerca di similitudini:
        .
      • Scegli un video come input e restituisci una serie di video corrispondenti query.
      • Scegli un'immagine come input e restituisci una serie di video corrispondenti query.
    • Classificazione video: prende un video come input e prevede uno o più .

Caso d'uso di esempio: esperienza di vendita al dettaglio online

I retailer online stanno sfruttando sempre di più gli incorporamenti multimodali per migliorare la customer experience ai tuoi clienti. Ogni volta che vedi consigli personalizzati sui prodotti mentre fai acquisti e ricevi risultati visivi da una ricerca testuale, stai interagendo con un incorporamento.

Se vuoi creare un incorporamento multimodale per un caso d'uso retail online, elabora ogni immagine prodotto per generare un incorporamento univoco, che è una rappresentazione matematica del suo stile visivo, della tavolozza dei colori, dei e altro ancora. Converti contemporaneamente descrizioni dei prodotti, e altri dati testuali pertinenti in incorporamenti di testo che acquisiscono il loro significato e contesto semantico. Unendo questi incorporamenti di immagini e testo in motore per suggerimenti e ricerca unificato, il negozio può offrire consigli di articoli visivamente simili in base alla cronologia di navigazione di un cliente e preferenze. Inoltre, consente ai clienti di cercare prodotti utilizzando descrizioni in linguaggio naturale, con il motore che recupera e visualizza gli elementi visivamente più simili che corrispondono alla query di ricerca. Ad esempio, se un il cliente cerca "abito estivo nero", il motore di ricerca può visualizzare degli abiti che sono neri, ma anche in tagli di abiti estivi, realizzati con e potrebbe essere senza maniche. Questa potente combinazione di elementi visivi e la comprensione del testo crea un'esperienza di acquisto semplificata che migliora il coinvolgimento e la soddisfazione dei clienti e, in ultima analisi, possono incentivare le vendite.

Passaggi successivi