Per progettare un prompt che funzioni correttamente, testa diverse versioni del prompt e sperimenta con i parametri del prompt per determinare quali risultati ottengono la risposta ottimale. Puoi testare i prompt in modo programmatico con le API Codey e nella console Google Cloud con Vertex AI Studio.
Testare le richieste di completamento del codice
Per testare le richieste di completamento del codice, scegli uno dei seguenti metodi.
REST
Per testare una richiesta di completamento del codice con l'API Vertex AI, invia una richiesta POST all'endpoint del modello del publisher.
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- PROJECT_ID: il tuo ID progetto.
- PREFIX:
per i modelli di codice,
prefix
rappresenta l'inizio di una porzione di codice di programmazione significativo o di un prompt in linguaggio naturale che descrive il codice da generare. Il modello tenta di compilare il codice traprefix
esuffix
. - SUFFIX:
per il completamento del codice,
suffix
rappresenta la fine di una porzione di codice di programmazione significativo. Il modello tenta di inserire il codice traprefix
esuffix
. - TEMPERATURE:
la temperatura viene utilizzata per il campionamento durante la generazione delle risposte. La temperatura controlla il grado
di casualità nella selezione dei token. Le temperature più basse sono ideali per prompt che richiedono una risposta meno aperta o creativa, mentre le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a
0
significa che vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte per un dato prompt sono per lo più deterministiche, ma è ancora possibile una piccola variazione. - MAX_OUTPUT_TOKENS: numero massimo di token che è possibile generare nella risposta. Un token equivale a circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.
Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.
- CANDIDATE_COUNT:
il numero di varianti della risposta da restituire.
L'intervallo di valori validi è un
int
compreso tra 1 e 4.
Metodo HTTP e URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict
Corpo JSON della richiesta:
{ "instances": [ { "prefix": "PREFIX", "suffix": "SUFFIX"} ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "candidateCount": CANDIDATE_COUNT } }
Per inviare la richiesta, scegli una delle seguenti opzioni:
arricciatura
Salva il corpo della richiesta in un file denominato request.json
ed esegui questo comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict"
PowerShell
Salva il corpo della richiesta in un file denominato request.json
ed esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict" | Select-Object -Expand Content
Dovresti ricevere una risposta in formato JSON simile alla seguente.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Node.js Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Console
Per testare un prompt di completamento del codice utilizzando Vertex AI Studio nella console Google Cloud, segui questi passaggi :
- Nella sezione Vertex AI della console Google Cloud, vai a Vertex AI Studio.
- Fai clic su Inizia.
- Fai clic su Prompt di codice.
- In Modello, seleziona il modello con il nome che inizia con
code-gecko
. Un numero di tre cifre dopocode-gecko
indica il numero di versione del modello. Ad esempio,code-gecko@002
è il nome della versione due della versione stabile del modello di completamento del codice. - In Prompt, inserisci una richiesta di completamento del codice.
- Regola la Temperatura e il Limite di token per vedere come influiscono sulla risposta. Per maggiori informazioni, consulta Parametri del modello di completamento del codice.
- Fai clic su Invia per generare una risposta.
- Fai clic su Salva se vuoi salvare un prompt.
- Fai clic su Visualizza codice per visualizzare il codice Python o un comando curl per il tuo prompt
Comando curl di esempio
MODEL_ID="code-gecko"
PROJECT_ID=PROJECT_ID
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:predict -d \
$"{
'instances': [
{ 'prefix': 'def reverse_string(s):',
'suffix': ''
}
],
'parameters': {
'temperature': 0.2,
'maxOutputTokens': 64,
'candidateCount': 1
}
}"
Per scoprire di più sulla progettazione dei prompt per il completamento del codice, consulta Creare prompt per il completamento del codice.
Visualizzazione in streaming della risposta dal modello di codice
Per visualizzare le richieste di codice e le risposte di esempio utilizzando l'API REST, consulta Esempi di utilizzo dell'API REST per i flussi di dati.
Per visualizzare richieste di codice e risposte di esempio utilizzando l'SDK Vertex AI per Python, consulta Esempi di utilizzo dell'SDK Vertex AI per Python per i flussi di dati.
Passaggi successivi
- Scopri come creare richieste di completamento del codice.
- Scopri come creare richieste di generazione di codice.
- Scopri le best practice per l'IA responsabile e i filtri di sicurezza di Vertex AI.