Obtener incorporaciones de texto

En este documento, se describe cómo crear un embedding de texto con la API de embedding de texto de Vertex AI.

La API de incorporaciones de texto de Vertex AI usa representaciones vectoriales densas: gemini-embedding-001, por ejemplo, usa vectores de 3,072 dimensiones. Los modelos de incorporación de vectores densos usan métodos de aprendizaje profundo similares a los que usan los modelos de lenguaje grandes. A diferencia de los vectores dispersos, que tienden a asignar palabras directamente a números, los vectores densos están diseñados para representar mejor el significado de un fragmento de texto. La ventaja de usar incorporaciones de vectores densas en la IA generativa es que, en lugar de buscar coincidencias de palabras o sintaxis directas, puedes buscar mejor pasajes que se alineen con el significado de la consulta, incluso si los fragmentos no usan el mismo idioma.

Los vectores están normalizados, por lo que puedes usar la similitud del coseno, el producto punto o la distancia euclidiana para proporcionar las mismas clasificaciones de similitud.

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Enable the Vertex AI API.

    Enable the API

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Enable the Vertex AI API.

    Enable the API

    6.
  6. Elige un tipo de tarea para tu trabajo de embeddings.

    7. Modelos compatibles

    Puedes obtener incorporaciones de texto con los siguientes modelos:

    Nombre del modelo Descripción Dimensiones de salida Longitud de secuencia máxima Lenguajes de texto admitidos
    gemini-embedding-001 Rendimiento de vanguardia en tareas de inglés, multilingües y de código Unifica los modelos especializados anteriores, como text-embedding-005 y text-multilingual-embedding-002, y logra un mejor rendimiento en sus respectivos dominios. Para obtener más detalles, lee nuestro Informe técnico. hasta 3072 2,048 tokens Idiomas de texto admitidos
    text-embedding-005 Se especializa en tareas de código y en inglés. Hasta 768 2,048 tokens Inglés
    text-multilingual-embedding-002 Se especializa en tareas multilingües. Hasta 768 2,048 tokens Idiomas de texto admitidos

    Para obtener una calidad de incorporación superior, gemini-embedding-001 es nuestro modelo grande diseñado para proporcionar el mayor rendimiento. Ten en cuenta que gemini-embedding-001 admite una instancia por solicitud.

    Obtén incorporaciones de texto para un fragmento de texto

    Puedes obtener incorporaciones de texto para un fragmento de texto mediante la API de Vertex AI o el SDK de Vertex AI para Python.

    Límites de API

    Para cada solicitud, tienes un límite de 250 textos de entrada. La API tiene un límite máximo de tokens de entrada de 20,000. Si se superan estos límites, se genera un error 400. Cada texto de entrada individual tiene un límite adicional de 2,048 tokens; cualquier exceso se trunca de forma silenciosa. También puedes inhabilitar el truncamiento silencioso configurando autoTruncate como false.

    Para obtener más información, consulta Límites de los embeddings de texto.

    Elige una dimensión de incorporación

    De forma predeterminada, todos los modelos producen un vector de embedding de longitud completa. Para gemini-embedding-001, este vector tiene 3,072 dimensiones, y otros modelos producen vectores de 768 dimensiones. Sin embargo, con el parámetro output_dimensionality, los usuarios pueden controlar el tamaño del vector de incorporación de salida. Seleccionar una dimensionalidad de salida más pequeña puede ahorrar espacio de almacenamiento y aumentar la eficiencia computacional para las aplicaciones posteriores, sin sacrificar mucha calidad.

    En los siguientes ejemplos, se usa el modelo gemini-embedding-001.

    Python

    Instalar

    pip install --upgrade google-genai

    Para obtener más información, consulta la documentación de referencia del SDK.

    Establece variables de entorno para usar el SDK de IA generativa con Vertex AI: 

    # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
     

    from google import genai
from google.genai.types import EmbedContentConfig

client = genai.Client()
response = client.models.embed_content(
    model="gemini-embedding-001",
    contents=[
        "How do I get a driver's license/learner's permit?",
        "How long is my driver's license valid for?",
        "Driver's knowledge test study guide",
    ],
    config=EmbedContentConfig(
        task_type="RETRIEVAL_DOCUMENT",  # Optional
        output_dimensionality=3072,  # Optional
        title="Driver's License",  # Optional
    ),
)
print(response)
# Example response:
# embeddings=[ContentEmbedding(values=[-0.06302902102470398, 0.00928034819662571, 0.014716853387653828, -0.028747491538524628, ... ],
# statistics=ContentEmbeddingStatistics(truncated=False, token_count=13.0))]
# metadata=EmbedContentMetadata(billable_character_count=112)

    Agrega una incorporación a una base de datos vectorial

    Después de generar tu incorporación, puedes agregar incorporaciones a una base de datos vectorial, como Vector Search. Esto permite una recuperación de latencia baja y es fundamental a medida que aumenta el tamaño de los datos.

    Para obtener más información sobre Vector Search, consulta Descripción general de Vector Search.

    ¿Qué sigue?