Para diseñar una instrucción que funcione bien, prueba diferentes versiones del mensaje y experimenta con parámetros de la instrucción para determinar qué resultados son los óptimos. Puedes probar instrucciones de manera programática con las API de Codey en la consola de Google Cloud con Vertex AI Studio.
Probar mensajes de chat
Para probar los siguientes prompts de chat de código, elige uno de los siguientes métodos.
REST
Para probar un prompt de chat de código con la API de Vertex AI, envía una solicitud POST al extremo del modelo de publicador.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_ID: El ID del proyecto.
- Mensajes: Historial de conversaciones proporcionado al modelo en forma estructurada de autor alternativo. Los mensajes aparecen en orden cronológico: el más antiguo primero y el más nuevo último. Cuando el historial de mensajes hace que la entrada exceda la longitud máxima, los mensajes más antiguos se quitan hasta que todo el mensaje esté dentro del límite permitido. Debe haber un número impar de mensajes (pares AUTHOR-CONTENT) para que el modelo genere una respuesta.
- AUTHOR: El autor del mensaje.
- CONTENT: El contenido del mensaje.
- TEMPERATURE:
La temperatura se usa para el muestreo durante la generación de la respuesta. La temperatura controla el grado de aleatorización en la selección de tokens. Las temperaturas más bajas son buenas para los mensajes que requieren una respuesta menos
abierta o creativa, mientras que las temperaturas más altas pueden generar resultados más diversos o
creativos. Una temperatura de
0
significa que siempre se eligen los tokens de probabilidad más alta. En este caso, las respuestas para un mensaje determinado son, en su mayoría, determinísticas, pero es posible que haya una pequeña cantidad de variación. - MAX_OUTPUT_TOKENS:
Cantidad máxima de tokens que se pueden generar en la respuesta. Un token tiene casi cuatro caracteres. 100 tokens corresponden a casi 60 u 80 palabras.
Especifica un valor más bajo para las respuestas más cortas y un valor más alto para las respuestas potencialmente más largas.
- CANDIDATE_COUNT: La cantidad de variaciones de respuesta que se mostrará. Por cada solicitud, se te cobra por los
tokens de salida de todos los candidatos, pero solo se te cobra una vez por los tokens de entrada.
Especificar varios candidatos es una función de vista previa que funciona con
generateContent
(no se admitestreamGenerateContent
). Se admiten los siguientes modelos:- Gemini 1.5 Flash:
1
-8
, predeterminado:1
- Gemini 1.5 Pro:
1
-8
, predeterminado:1
- Gemini 1.0 Pro:
1
-8
, predeterminado:1
int
entre 1 y 4. - Gemini 1.5 Flash:
Método HTTP y URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/codechat-bison:predict
Cuerpo JSON de la solicitud:
{ "instances": [ { "messages": [ { "author": "AUTHOR", "content": "CONTENT" } ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "candidateCount": CANDIDATE_COUNT } }
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/codechat-bison:predict"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/codechat-bison:predict" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
Python
Si deseas obtener información para instalar o actualizar el SDK de Vertex AI para Python, consulta Instala el SDK de Vertex AI para Python. Si deseas obtener más información, consulta la documentación de referencia de la API de Python.
Node.js
Antes de probar este ejemplo, sigue las instrucciones de configuración para Node.js incluidas en la guía de inicio rápido de Vertex AI sobre cómo usar bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Vertex AI Node.js.
Para autenticarte en Vertex AI, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Antes de probar este ejemplo, sigue las instrucciones de configuración para Java incluidas en la guía de inicio rápido de Vertex AI sobre cómo usar bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Vertex AI Java.
Para autenticarte en Vertex AI, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Console
Para probar una instrucción de generación de código con Vertex AI Studio en la consola de Google Cloud, haz lo siguiente:
- En la sección de Vertex AI de la consola de Google Cloud, dirígete a Vertex AI Studio.
- Haz clic en Comenzar.
- Haz clic en Chat de código.
- En Modelo, selecciona el modelo con el nombre que comienza con
codechat-bison
. Un número de tres dígitos después decodechat-bison
indica el número de versión del modelo. - Ajusta la Temperatura y el Límite de tokens para experimentar cómo afectan la respuesta. Para obtener más información, consulta Parámetros del modelo de chat de código.
- En escribir un mensaje para empezar una conversación, ingresa un mensaje a fin de iniciar una conversación sobre código.
- Haz clic en Continuar con la conversación para enviar el mensaje al chat.
- Después de recibir una respuesta, repite los dos pasos anteriores para continuar con la conversación.
- Haz clic en Guardar si deseas guardar un prompt.
- Haz clic en Ver código para ver el código de Python o un comando curl para el prompt.
Ejemplo de mensaje de chat de código
MODEL_ID="codechat-bison"
PROJECT_ID=PROJECT_ID
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:predict -d \
$"{
'instances': [
{
'messages': [
{
'author': 'user',
'content': 'Hi, how are you?',
},
{
'author': 'system',
'content': 'I am doing good. What Can I help you with in the coding world?',
},
{
'author': 'user',
'content': 'Please help write a function to calculate the min of two numbers',
}
]
}
],
'parameters': {
'temperature': 0.2,
'maxOutputTokens': 1024,
'candidateCount': 1
}
}"
Para obtener más información sobre cómo diseñar las instrucciones de chat, consulta Instrucciones de chat.
Respuesta de transmisión desde el modelo de chat de código
Para ver solicitudes de código y respuestas de muestra con la API de REST, consulta Ejemplos que usan la API de REST de transmisión.
Si deseas ver las solicitudes de código y las respuestas de muestra con el SDK de Vertex AI para Python, consulta Ejemplos que usan el SDK de Vertex AI para Python para la transmisión.
¿Qué sigue?
- Aprende a crear instrucciones de finalización de código.
- Aprende a crear mensajes de generación de código.
- Obtén información sobre las prácticas recomendadas de IA responsable y los filtros de seguridad de Vertex AI.