En este documento, se describe cómo crear un embedding de texto con la API de embedding de texto de Vertex AI.
La API de incorporaciones de texto de Vertex AI usa representaciones vectoriales densas: text-embedding-gecko, por ejemplo, usa vectores de 768 dimensiones. Los modelos de incorporación de vectores densos usan métodos de aprendizaje profundo similares a los que usan los modelos de lenguaje grandes. A diferencia de los vectores dispersos, que tienden a asignar palabras directamente a números, los vectores densos están diseñados para representar mejor el significado de un fragmento de texto. La ventaja de usar incorporaciones de vectores densas en la IA generativa es que, en lugar de buscar coincidencias de palabras o sintaxis directas, puedes buscar mejor pasajes que se alineen con el significado de la consulta, incluso si los fragmentos no usan el mismo idioma.
Los vectores están normalizados, por lo que puedes usar la similitud de coseno, el producto punto o la distancia euclidiana para proporcionar las mismas clasificaciones de similitud.
- Para obtener más información sobre embeddings, consulta la descripción general de las APIs de embeddings.
- Para obtener más información sobre los modelos de incorporación de texto, consulta Embeddings de texto.
- Para obtener información sobre qué idiomas admite cada modelo de incorporación, consulta Idiomas de texto compatibles.
Antes de comenzar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Enable the Vertex AI API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Enable the Vertex AI API.
- Elige un tipo de tarea para tu trabajo de embeddings.
Modelos compatibles
Puedes obtener incorporaciones de texto con los siguientes modelos:
Modelos en inglés | Modelos multilingües |
---|---|
textembedding-gecko@001 |
textembedding-gecko-multilingual@001 |
textembedding-gecko@002 |
text-multilingual-embedding-002 |
textembedding-gecko@003 |
|
text-embedding-004 |
|
text-embedding-005 |
Si eres nuevo en estos modelos, te recomendamos que uses las versiones más recientes.
Para texto en inglés, usa text-embedding-005
. Para texto multilingüe, usa text-multilingual-embedding-002
.
Obtén incorporaciones de texto para un fragmento de texto
Puedes obtener incorporaciones de texto para un fragmento de texto mediante la API de Vertex AI o el SDK de Vertex AI para Python. Para cada solicitud, tienes un límite de 250 textos de entrada en us-central1
y, en otras regiones, el texto de entrada máximo es de 5.
La API tiene un límite máximo de tokens de entrada de 20,000. Si las entradas superan este límite, se genera un error 500. Cada texto de entrada individual se limita aún más a 2,048 tokens. Cualquier exceso se trunca de forma silenciosa. También puedes inhabilitar la truncación silenciosa si configuras autoTruncate
como false
.
Todos los modelos producen un resultado con 768 dimensiones de forma predeterminada. Sin embargo, los siguientes modelos les brindan a los usuarios la opción de elegir una dimensionalidad de salida entre 1 y 768. Si seleccionas una dimensionalidad de salida más pequeña, los usuarios pueden ahorrar memoria y espacio de almacenamiento, lo que genera cálculos más eficientes.
text-embedding-005
text-multilingual-embedding-002
En los siguientes ejemplos, se usa el modelo text-embedding-005
.
SDK de Gen AI para Python
Obtén información para instalar o actualizar el SDK de Google Gen AI para Python.
Para obtener más información, consulta la
documentación de referencia de la API del SDK de Gen AI para Python o el
repositorio de GitHub de python-genai
.
Establece variables de entorno para usar el SDK de IA generativa con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=us-central1 export GOOGLE_GENAI_USE_VERTEXAI=True
SDK de Vertex AI para Python
Si deseas obtener información para instalar o actualizar el SDK de Vertex AI para Python, consulta Instala el SDK de Vertex AI para Python. Si deseas obtener más información, consulta la documentación del SDK de Vertex AI de referencia de la API de Vertex para Python.
Go
Antes de probar este ejemplo, sigue las instrucciones de configuración para Go incluidas en la guía de inicio rápido de Vertex AI sobre cómo usar bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Vertex AI Go.
Para autenticarte en Vertex AI, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Antes de probar este ejemplo, sigue las instrucciones de configuración para Java incluidas en la guía de inicio rápido de Vertex AI sobre cómo usar bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Vertex AI Java.
Para autenticarte en Vertex AI, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Antes de probar este ejemplo, sigue las instrucciones de configuración para Node.js incluidas en la guía de inicio rápido de Vertex AI sobre cómo usar bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Vertex AI Node.js.
Para autenticarte en Vertex AI, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Agrega una incorporación a una base de datos vectorial
Después de generar tu incorporación, puedes agregar incorporaciones a una base de datos vectorial, como Vector Search. Esto permite una recuperación de latencia baja y es fundamental a medida que aumenta el tamaño de los datos.
Para obtener más información sobre Vector Search, consulta Descripción general de Vector Search.
¿Qué sigue?
- Para obtener más información sobre los límites de frecuencia, consulta Límites de frecuencia de IA generativa en Vertex AI.
- Con el fin de obtener predicciones por lotes para embeddings, consulta Obtén predicciones de embeddings de texto por lotes.
- Para obtener más información sobre las embeddings multimodales, consulta Obtener embeddings multimodales
- Para ajustar un embedding, consulta Ajusta embeddings de texto
- Para obtener más información sobre la investigación detrás de
text-embedding-005
ytext-multilingual-embedding-002
, consulta el artículo de investigación Gecko: Incorporaciones de texto versátiles extraídas de modelos de lenguaje grande.