Bereksperimen dengan parameter value

Tiap panggilan yang Anda kirim ke model akan menyertakan parameter value yang mengontrol cara model menghasilkan respons. Model ini dapat membuat hasil yang berbeda untuk parameter value yang berbeda. Bereksperimen dengan parameter value yang berbeda untuk mendapatkan nilai terbaik untuk tugas tersebut. Parameter yang tersedia untuk dan mungkin berbeda. Parameter yang paling umum adalah sebagai berikut:

  • Token output maks
  • Suhu
  • Top-K
  • Top-P

Token output maks

Jumlah maksimum token yang dapat dibuat dalam respons. Token terdiri dari sekitar empat karakter. 100 token setara dengan sekitar 60-80 kata.

Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk respons yang berpotensi lebih lama yang dihasilkan.

Temperature (suhu)

Suhu digunakan untuk pengambilan sampel selama pembuatan respons, yang terjadi saat topP dan topK diterapkan. Suhu mengontrol tingkat keacakan dalam pemilihan token. Suhu yang lebih rendah cocok untuk perintah yang memerlukan respons yang kurang terbuka atau kreatif, sedangkan suhu yang lebih tinggi dapat memberikan hasil yang lebih beragam atau kreatif. Suhu 0 berarti token probabilitas tertinggi selalu dipilih. Dalam hal ini, respons untuk permintaan tertentu sebagian besar deterministik, tetapi sedikit variasi masih dapat dilakukan.

Jika model menampilkan respons yang terlalu umum, terlalu pendek, atau model memberikan fallback respons, coba tingkatkan suhunya.

Setiap model memiliki rentang suhu dan nilai default-nya sendiri:

  • Rentang untuk gemini-1.5-flash: 0.0 - 2.0 (default: 1.0)
  • Rentang untuk gemini-1.5-pro: 0.0 - 2.0 (default: 1.0)
  • Rentang untuk gemini-1.0-pro-vision: 0.0 - 1.0 (default: 0.4)
  • Rentang untuk gemini-1.0-pro-002: 0.0 - 2.0 (default: 1.0)
  • Rentang untuk gemini-1.0-pro-001: 0.0 - 1.0 (default: 0.9)
Rentang suhu yang diperluas untuk gemini-1.5-pro dan gemini-1.0-pro-002 memungkinkan Anda untuk meningkatkan keacakan secara signifikan di luar nilai {i>default<i}.

Top-K

Top-K mengubah cara model memilih token untuk output. Top-K 1 berarti token yang dipilih berikutnya adalah yang paling mungkin di antara semua token dalam kosakata model (juga disebut decoding greedy), sedangkan top-K 3 berarti token berikutnya dipilih di antara tiga token yang paling mungkin dengan menggunakan suhu.

Untuk setiap langkah pemilihan token, token top-K dengan probabilitas tertinggi akan diambil sampelnya. Kemudian token akan difilter lebih lanjut berdasarkan top-P dengan token akhir yang dipilih menggunakan pengambilan sampel suhu.

Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.

Top-P

Top-P mengubah cara model memilih token untuk output. Token dipilih dari yang paling mungkin (lihat top-K) hingga yang paling tidak mungkin sampai jumlah probabilitasnya sama dengan nilai top-P. Misalnya, jika token A, B, dan C memiliki probabilitas 0,3, 0,2, dan 0,1 dengan nilai top-P 0.5, model akan memilih A atau B sebagai token berikutnya dengan menggunakan suhu dan mengecualikan C sebagai kandidat.

Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.

Langkah selanjutnya