Ottenere incorporamenti di testo

Questo documento descrive come creare un embedding di testo utilizzando l'API Text Embeddings di Vertex AI.

L'API Vertex AI text embeddings utilizza rappresentazioni vettoriali dense: gemini-embedding-001, ad esempio, utilizza vettori tridimensionali. I modelli di incorporamento vettoriale denso utilizzano metodi di deep learning simili a quelli utilizzati dai modelli linguistici di grandi dimensioni. A differenza dei vettori sparsi, che tendono a mappare direttamente le parole ai numeri, i vettori densi sono progettati per rappresentare meglio il significato di un testo. Il vantaggio di utilizzare gli incorporamenti vettoriali densi nell'AI generativa è che, anziché cercare corrispondenze dirette di parole o sintassi, puoi cercare meglio i passaggi che corrispondono al significato della query, anche se non utilizzano la stessa lingua.

I vettori sono normalizzati, quindi puoi utilizzare la somiglianza del coseno, il prodotto scalare o la distanza euclidea per fornire gli stessi ranking di somiglianza.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Enable the Vertex AI API.

    Enable the API

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Enable the Vertex AI API.

    Enable the API

    6.
  6. Scegli un tipo di attività per il job di incorporamento.

    7. Modelli supportati

    Puoi ottenere incorporamenti di testo utilizzando i seguenti modelli:

    Nome modello Descrizione Dimensioni di output Lunghezza massima della sequenza Lingue di testo supportate
    gemini-embedding-001 Prestazioni all'avanguardia in attività in inglese, multilingue e di programmazione. Unifica i modelli precedentemente specializzati come text-embedding-005 e text-multilingual-embedding-002 e ottiene prestazioni migliori nei rispettivi domini. Per ulteriori dettagli, leggi il nostro report tecnico. fino a 3072 2048 token Lingue di testo supportate
    text-embedding-005 Specializzato in attività in inglese e di programmazione. fino a 768 2048 token Inglese
    text-multilingual-embedding-002 Specializzato in attività multilingue. fino a 768 2048 token Lingue di testo supportate

    Per una qualità di incorporamento superiore, gemini-embedding-001 è il nostro modello di grandi dimensioni progettato per offrire le massime prestazioni. Tieni presente che gemini-embedding-001 supporta un'istanza per richiesta.

    Ottenere incorporamenti di testo per un frammento di testo

    Puoi ottenere incorporamenti di testo per un frammento di testo utilizzando l'API Vertex AI o l'SDK Vertex AI per Python.

    Limiti dell'API

    Per ogni richiesta, puoi inserire un massimo di 250 testi di input. L'API ha un limite massimo di token di input di 20.000. Gli input che superano questo limite generano un errore 400. Ogni singolo testo di input è ulteriormente limitato a 2048 token; l'eventuale eccesso viene troncato automaticamente. Puoi anche disattivare il troncamento silenzioso impostando autoTruncate su false.

    Per ulteriori informazioni, vedi Limiti di incorporamento del testo.

    Scegli una dimensione di incorporamento

    Per impostazione predefinita, tutti i modelli producono un vettore di embedding a lunghezza intera. Per gemini-embedding-001, questo vettore ha 3072 dimensioni, mentre altri modelli producono vettori a 768 dimensioni. Tuttavia, utilizzando il parametro output_dimensionality, gli utenti possono controllare le dimensioni del vettore di incorporamento di output. La selezione di una dimensionalità di output più piccola può consentire di risparmiare spazio di archiviazione e aumentare l'efficienza di calcolo per le applicazioni downstream, sacrificando poco in termini di qualità.

    Gli esempi riportati di seguito utilizzano il modello gemini-embedding-001.

    Python

    Installa

    pip install --upgrade google-genai

    Per saperne di più, consulta la documentazione di riferimento dell'SDK.

    Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI: 

    # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
     

    from google import genai
from google.genai.types import EmbedContentConfig

client = genai.Client()
response = client.models.embed_content(
    model="gemini-embedding-001",
    contents=[
        "How do I get a driver's license/learner's permit?",
        "How long is my driver's license valid for?",
        "Driver's knowledge test study guide",
    ],
    config=EmbedContentConfig(
        task_type="RETRIEVAL_DOCUMENT",  # Optional
        output_dimensionality=3072,  # Optional
        title="Driver's License",  # Optional
    ),
)
print(response)
# Example response:
# embeddings=[ContentEmbedding(values=[-0.06302902102470398, 0.00928034819662571, 0.014716853387653828, -0.028747491538524628, ... ],
# statistics=ContentEmbeddingStatistics(truncated=False, token_count=13.0))]
# metadata=EmbedContentMetadata(billable_character_count=112)

    Aggiungere un embedding a un database vettoriale

    Dopo aver generato l'embedding, puoi aggiungerlo a un database vettoriale, come Vector Search. Ciò consente il recupero a bassa latenza ed è fondamentale man mano che le dimensioni dei dati aumentano.

    Per saperne di più su Vector Search, consulta la panoramica di Vector Search.

    Passaggi successivi