Per progettare un prompt che funzioni bene, testa diverse versioni del prompt e sperimenta i parametri del prompt per determinare quali risultati producono la risposta ottimale. Puoi testare i prompt in modo programmatico con le API Codey e nella console Google Cloud con Vertex AI Studio.
Testa i prompt di generazione del codice
Per testare i prompt di generazione del codice, scegli uno dei seguenti metodi.
REST
Per testare un prompt di generazione di codice con l'API Vertex AI, invia una richiesta POST all'endpoint del modello del publisher.
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- PROJECT_ID: il tuo ID progetto.
- PREFIX:
per i modelli di codice,
prefix
rappresenta l'inizio di una porzione di codice di programmazione significativo o un prompt in linguaggio naturale che descrive il codice da generare. - TEMPERATURE:
La temperatura viene utilizzata per il campionamento durante la generazione della risposta. La temperatura controlla il grado di casualità
nella selezione dei token. Le temperature più basse sono ideali per prompt che richiedono una risposta meno aperta o creativa, mentre le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a
0
indica che vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte per un determinato prompt sono per lo più deterministiche, ma è comunque possibile una piccola variazione. - MAX_OUTPUT_TOKENS:
numero massimo di token che possono essere generati nella risposta. Un token equivale a circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.
Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.
- CANDIDATE_COUNT:
il numero di varianti della risposta da restituire.
L'intervallo di valori validi è un
int
compreso tra 1 e 4.
Metodo HTTP e URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-bison:predict
Corpo JSON della richiesta:
{ "instances": [ { "prefix": "PREFIX" } ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "candidateCount": CANDIDATE_COUNT } }
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Salva il corpo della richiesta in un file denominato request.json
ed esegui questo comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-bison:predict"
PowerShell
Salva il corpo della richiesta in un file denominato request.json
ed esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-bison:predict" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Python.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Node.js Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Console
Per testare un prompt di generazione di codice utilizzando Vertex AI Studio nella console Google Cloud, segui questi passaggi:
- Nella sezione Vertex AI della console Google Cloud, vai a Vertex AI Studio.
- Fai clic su Inizia.
- Fai clic su Crea prompt.
- In Modello, seleziona il modello il cui nome inizia con
code-bison
. Un numero di tre cifre dopocode-bison
indica il numero di versione del modello. Ad esempio,code-bison@001
è il nome della versione uno del modello di generazione del codice. - In Prompt, inserisci un prompt di generazione del codice.
- Regola la Temperatura e il Limite di token per sperimentare come influiscono sulla risposta. Per maggiori informazioni, consulta Parametri del modello di generazione del codice.
- Fai clic su Invia per generare una risposta.
- Fai clic su Salva se vuoi salvare un prompt
- Fai clic su Visualizza codice per visualizzare il codice Python o un comando curl per il prompt.
Comando curl di esempio
MODEL_ID="code-bison"
PROJECT_ID=PROJECT_ID
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:predict -d \
$"{
'instances': [
{ 'prefix': 'Write a function that checks if a year is a leap year.' }
],
'parameters': {
'temperature': 0.2,
'maxOutputTokens': 1024,
'candidateCount': 1
}
}"
Per scoprire di più sulla progettazione di prompt per la generazione di codice, consulta Creare prompt per la generazione di codice.
Trasmetti la risposta dal modello di codice
Per visualizzare richieste di codice e risposte di esempio utilizzando l'API REST, consulta Esempi di utilizzo dell'API REST per il flusso di dati.
Per visualizzare richieste e risposte di codice campione utilizzando l'SDK Vertex AI per Python, consulta Esempi di utilizzo dell'SDK Vertex AI per Python per i flussi di dati.
Passaggi successivi
- Scopri come creare prompt di chat di codice.
- Scopri come creare prompt di completamento del codice.
- Scopri di più sulle best practice per l'IA responsabile e sui filtri di sicurezza di Vertex AI.