Per progettare un prompt che funzioni bene, testa diverse versioni del prompt e sperimenta i parametri del prompt per determinare quali risultati producono la risposta ottimale. Puoi testare i prompt in modo programmatico con le API Codey e nella console Google Cloud con Vertex AI Studio.
Testare le richieste di completamento del codice
Per testare le richieste di completamento del codice, scegli uno dei seguenti metodi.
REST
Per testare un prompt di completamento del codice con l'API Vertex AI, invia una richiesta POST all'endpoint del modello del publisher.
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- PROJECT_ID: il tuo ID progetto.
- PREFIX:
per i modelli di codice,
prefix
rappresenta l'inizio di una porzione di codice di programmazione significativo o un prompt in linguaggio naturale che descrive il codice da generare. Il modello tenta di compilare il codice traprefix
esuffix
. - SUFFIX:
per il completamento del codice,
suffix
rappresenta la fine di un codice di programmazione significativo. Il modello tenta di compilare il codice traprefix
esuffix
. - TEMPERATURE:
La temperatura viene utilizzata per il campionamento durante la generazione della risposta. La temperatura controlla il grado di casualità
nella selezione dei token. Le temperature più basse sono ideali per prompt che richiedono una risposta meno aperta o creativa, mentre le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a
0
indica che vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte per un determinato prompt sono per lo più deterministiche, ma è comunque possibile una piccola variazione. - MAX_OUTPUT_TOKENS:
numero massimo di token che possono essere generati nella risposta. Un token equivale a circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.
Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.
- CANDIDATE_COUNT:
il numero di varianti della risposta da restituire.
L'intervallo di valori validi è un
int
compreso tra 1 e 4.
Metodo HTTP e URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict
Corpo JSON della richiesta:
{ "instances": [ { "prefix": "PREFIX", "suffix": "SUFFIX"} ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "candidateCount": CANDIDATE_COUNT } }
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Salva il corpo della richiesta in un file denominato request.json
ed esegui questo comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict"
PowerShell
Salva il corpo della richiesta in un file denominato request.json
ed esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Python.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Node.js Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Console
Per testare un prompt di completamento del codice utilizzando Vertex AI Studio nella console Google Cloud, segui questi passaggi :
- Nella sezione Vertex AI della console Google Cloud, vai a Vertex AI Studio.
- Fai clic su Inizia.
- Fai clic su Prompt di codice.
- In Modello, seleziona il modello il cui nome inizia con
code-gecko
. Un numero di tre cifre dopocode-gecko
indica il numero di versione del modello. Ad esempio,code-gecko@002
è il nome della versione due della versione stabile del modello di completamento del codice. - In Prompt, inserisci una richiesta di completamento del codice.
- Regola la Temperatura e il Limite di token per sperimentare come influiscono sulla risposta. Per maggiori informazioni, consulta Parametri del modello di completamento del codice.
- Fai clic su Invia per generare una risposta.
- Fai clic su Salva se vuoi salvare un prompt
- Fai clic su Visualizza codice per visualizzare il codice Python o un comando curl per il prompt.
Comando curl di esempio
MODEL_ID="code-gecko"
PROJECT_ID=PROJECT_ID
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:predict -d \
$"{
'instances': [
{ 'prefix': 'def reverse_string(s):',
'suffix': ''
}
],
'parameters': {
'temperature': 0.2,
'maxOutputTokens': 64,
'candidateCount': 1
}
}"
Per scoprire di più sulla progettazione di prompt per il completamento del codice, consulta Creare prompt per il completamento del codice.
Trasmetti la risposta dal modello di codice
Per visualizzare richieste di codice e risposte di esempio utilizzando l'API REST, consulta Esempi di utilizzo dell'API REST per il flusso di dati.
Per visualizzare richieste e risposte di codice campione utilizzando l'SDK Vertex AI per Python, consulta Esempi di utilizzo dell'SDK Vertex AI per Python per i flussi di dati.
Passaggi successivi
- Scopri come creare prompt di completamento del codice.
- Scopri come creare prompt di generazione di codice.
- Scopri di più sulle best practice per l'IA responsabile e sui filtri di sicurezza di Vertex AI.