Untuk mendesain perintah yang berfungsi dengan baik, uji berbagai versi perintah dan lakukan eksperimen dengan parameter perintah untuk menentukan hasil yang memberikan respons optimal. Anda dapat menguji prompt secara terprogram dengan Codey API dan di Konsol Google Cloud dengan Vertex AI Studio.
Menguji perintah penyelesaian kode
Untuk menguji prompt penyelesaian kode, pilih salah satu metode berikut.
REST
Untuk menguji permintaan penyelesaian kode dengan Vertex AI API, kirim permintaan POST ke endpoint model penayang.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- PROJECT_ID: Project ID Anda.
- PREFIX:
Untuk model kode,
prefix
mewakili awal bagian kode pemrograman yang bermakna atau perintah natural language yang menjelaskan kode yang akan dibuat. Model mencoba mengisi kode di antaraprefix
dansuffix
. - SUFFIX:
Untuk penyelesaian kode,
suffix
mewakili akhir bagian kode pemrograman yang bermakna. Model mencoba mengisi kode di antaraprefix
dansuffix
. - TEMPERATURE: Suhu digunakan untuk pengambilan sampel selama pembuatan respons. Suhu mengontrol tingkat
keacakan dalam pemilihan token. Suhu yang lebih rendah cocok untuk perintah yang memerlukan respons yang kurang terbuka atau kreatif, sedangkan suhu yang lebih tinggi dapat memberikan hasil yang lebih beragam atau kreatif. Suhu
0
berarti token probabilitas tertinggi selalu dipilih. Dalam hal ini, respons untuk perintah tertentu sebagian besar bersifat deterministik, tetapi sejumlah kecil variasi masih memungkinkan. - MAX_OUTPUT_TOKENS:
Jumlah maksimum token yang dapat dibuat dalam respons. Token terdiri dari
sekitar empat karakter. 100 token setara dengan sekitar 60-80 kata.
Tentukan nilai yang lebih rendah untuk respons yang lebih pendek dan nilai yang lebih tinggi untuk respons yang berpotensi lebih lama.
- CANDIDATE_COUNT: Jumlah variasi respons yang akan ditampilkan.
Rentang nilai yang valid adalah
int
antara 1 dan 4.
Metode HTTP dan URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict
Isi JSON permintaan:
{ "instances": [ { "prefix": "PREFIX", "suffix": "SUFFIX"} ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "candidateCount": CANDIDATE_COUNT } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict" | Select-Object -Expand Content
Anda akan melihat respons JSON yang mirip seperti berikut:
Python
Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Node.js Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Java Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Konsol
Untuk menguji permintaan penyelesaian kode menggunakan Vertex AI Studio di Konsol Google Cloud, lakukan hal berikut :
- Di bagian Vertex AI pada Konsol Google Cloud, buka Vertex AI Studio.
- Klik Get started.
- Klik Code prompt.
- Di bagian Model, pilih model dengan nama yang diawali
code-gecko
. Angka tiga digit setelahcode-gecko
menunjukkan nomor versi model. Misalnya,code-gecko@002
adalah nama versi dua dari model penyelesaian kode versi stabil. - Di Prompt, masukkan perintah penyelesaian kode.
- Sesuaikan Temperature dan Token limit untuk bereksperimen dengan pengaruhnya terhadap respons. Untuk mengetahui informasi selengkapnya, lihat Parameter model penyelesaian kode.
- Klik Kirim untuk membuat respons.
- Klik Simpan jika Anda ingin menyimpan perintah
- Klik View code untuk melihat kode Python atau perintah curl untuk prompt Anda
Contoh perintah curl
MODEL_ID="code-gecko"
PROJECT_ID=PROJECT_ID
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:predict -d \
$"{
'instances': [
{ 'prefix': 'def reverse_string(s):',
'suffix': ''
}
],
'parameters': {
'temperature': 0.2,
'maxOutputTokens': 64,
'candidateCount': 1
}
}"
Untuk mempelajari lebih lanjut desain promptuntuk pelengkapan kode, lihat Membuat dialog untuk penyelesaian kode.
Streaming respons dari model kode
Untuk melihat permintaan dan respons contoh kode menggunakan REST API, lihat Contoh penggunaan REST API streaming.
Untuk melihat contoh permintaan dan respons kode menggunakan Vertex AI SDK untuk Python, lihat Contoh penggunaan Vertex AI SDK untuk Python untuk streaming.
Langkah selanjutnya
- Pelajari cara membuat prompt penyelesaian kode.
- Pelajari cara membuat prompt pembuatan kode.
- Mempelajari praktik terbaik responsible AI dan filter keamanan Vertex AI.