Usa Vertex AI para enviar una solicitud de texto al modelo de lenguaje grande (LLM) de PaLM 2 de Google y recibir una respuesta. Prueba y personaliza los mensajes para satisfacer las necesidades de tu aplicación.
Antes de empezar
Antes de que puedas probar los mensajes de texto, debes hacer lo siguiente:
- Configura un proyecto y un entorno de desarrollo. El ID del proyecto es necesario para ejecutar el código de muestra.
- Familiarízate con los parámetros de texto que debes reemplazar antes de ejecutar el código de muestra.
- Revisa los casos de uso de texto para ayudarte a identificar qué tipo de muestra crear.
Prueba los mensajes de texto
Selecciona una pestaña y sigue las instrucciones para ejecutar la muestra.
REST
Para probar un mensaje de texto con la API de Vertex AI, envía una solicitud POST al extremo del modelo de publicador.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: El ID del proyecto.
- PROMPT: Un mensaje es una solicitud de lenguaje natural que se envía a un modelo de lenguaje para recibir una respuesta. Los mensajes pueden contener preguntas, instrucciones, información contextual, ejemplos y texto para que el modelo se complete o continúe. (No agregues comillas alrededor del mensaje aquí).
- TEMPERATURE:
La temperatura se usa para las muestras durante la generación de respuesta, que se genera cuando se aplican
topP
ytopK
. La temperatura controla el grado de aleatorización en la selección de tokens. Las temperaturas más bajas son buenas para los mensajes que requieren una respuesta menos abierta o de creativa, mientras que las temperaturas más altas pueden generar resultados más diversos o creativos. Una temperatura de0
significa que siempre se seleccionan los tokens de probabilidad más alta. En este caso, las respuestas para un mensaje determinado son, en su mayoría, deterministas, pero es posible que haya una pequeña cantidad de variación.Si el modelo muestra una respuesta demasiado genérica, demasiado corta o el modelo proporciona una respuesta de resguardo, intenta aumentar la temperatura.
- MAX_OUTPUT_TOKENS:
Cantidad máxima de tokens que se pueden generar en la respuesta. Un token tiene aproximadamente cuatro caracteres. 100 tokens corresponden a casi 60 u 80 palabras.
Especifica un valor más bajo para las respuestas más cortas y un valor más alto para las respuestas potencialmente más largas.
- TOP_P: P superior cambia la manera en la que el modelo selecciona tokens para la salida. Los tokens se seleccionan desde el más alto (consulta K superior) hasta el menos probable, hasta que la suma de sus probabilidades sea igual al valor de P superior. Por ejemplo, si los tokens A, B y C tienen una probabilidad de 0.3, 0.2 y 0.1, y el valor P superior es
0.5
, el modelo elegirá A o B como el siguiente token mediante la temperatura y excluirá a C como candidato.Especifica un valor más bajo para respuestas menos aleatorias y un valor más alto para respuestas más aleatorias.
- TOP_K: K superior cambia la manera en la que el modelo selecciona los tokens para el resultado. K superior a
1
significa que el siguiente token seleccionado es el más probable entre todos los tokens en el vocabulario del modelo (también llamado decodificación voraz), mientras que el K superior a3
significa que el siguiente token se selecciona de los tres tokens más probables mediante la temperatura.Para cada paso de selección de tokens, se muestran los tokens de K superior con las probabilidades más altas. Luego, los tokens se filtran según el superior con el token final seleccionado mediante el muestreo de temperatura.
Especifica un valor más bajo para respuestas menos aleatorias y un valor más alto para respuestas más aleatorias.
HTTP method and URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict
Cuerpo JSON de la solicitud:
{ "instances": [ { "prompt": "PROMPT"} ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "topP": TOP_P, "topK": TOP_K } }
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
Python
Si deseas obtener información para instalar o actualizar el SDK de Python, consulta Instala el SDK de Vertex AI para Python. Si deseas obtener más información, consulta la documentación de referencia de la API de Python.
C#
Antes de probar este ejemplo, sigue las instrucciones de configuración para C# incluidas en la guía de inicio rápido de Vertex AI sobre cómo usar bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Vertex AI C#.
Para autenticarte en Vertex AI, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Antes de probar este ejemplo, sigue las instrucciones de configuración para Node.js incluidas en la guía de inicio rápido de Vertex AI sobre cómo usar bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Vertex AI Node.js.
Para autenticarte en Vertex AI, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Antes de probar este ejemplo, sigue las instrucciones de configuración para Java incluidas en la guía de inicio rápido de Vertex AI sobre cómo usar bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Vertex AI Java.
Para autenticarte en Vertex AI, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Console
Para probar un mensaje de texto con Vertex AI Studio en la consola de Google Cloud, sigue estos pasos:
- En la sección Vertex AI de la consola de Google Cloud, ve a la página Vertex AI Studio.
- Si no se seleccionó tu proyecto, selecciónalo.
- Haz clic en la pestaña Empezar.
- Haz clic en Mensaje de texto.
Selecciona el método para escribir tu mensaje:
- Se recomienda el Formato libre para los mensajes de cero tomas o escribir los mensajes de pocas tomas.
- Se recomienda Formato estructurado para diseñar mensajes de pocas tomas en Generative AI Studio.
Formato libre
Ingresa tu mensaje en el campo de texto Mensaje.
Estructurados
El formato estructurado para escribir mensajes solicita separar los componentes de un mensaje en campos diferentes:
- Contexto: ingresa las instrucciones para la tarea que deseas que realice el modelo y, luego, incluyes cualquier información contextual a la que el modelo haga referencia.
- Ejemplos: En el caso de mensajes de pocas tomas, agrega ejemplos de entrada y salida que muestren los patrones de comportamiento que el modelo debe imitar. Agregar un prefijo como entrada o salida es opcional. Opcional: Si eliges agregar prefijos, haz que sean coherentes en todos los ejemplos.
- Ejecutar: En el campo Entrada, ingresa la entrada del mensaje para el que deseas obtener una respuesta. Agregar un prefijo para la entrada y salida de prueba es opcional. Si los ejemplos tienen prefijos, la prueba debe tener los mismos prefijos.
Configura el modelo y los parámetros.
- Haz clic en Enviar.
- Para guardar el mensaje en Mis mensajes, haz clic en Guardar (opcional).
- Para obtener el código de Python o un comando curl para tu mensaje, haz clic en Ver código (opcional).
Respuesta de transmisión desde el modelo de texto
Para ver solicitudes y respuestas de código de muestra mediante la API de REST, consulta Ejemplos mediante la API de REST.
Si deseas ver las solicitudes y respuestas de código de muestra con el SDK de Vertex AI para Python, consulta Ejemplos que usan el SDK de Vertex AI para Python.
¿Qué sigue?
- Obtén información sobre cómo diseñar instrucciones de texto e instrucciones de chat de texto.
- Aprende a probar los mensajes en Vertex AI Studio.
- Obtén más información sobre las incorporaciones de texto.
- Intenta ajustar un modelo base de lenguaje.
- Obtén información sobre las prácticas recomendadas de IA responsable y los filtros de seguridad de Vertex AI.