Menyertakan contoh few-shot

Anda dapat menyertakan contoh dalam perintah yang akan menunjukkan kepada model cara melakukannya dengan benar. Model ini mencoba mengidentifikasi pola dan hubungan dari contoh dan menerapkannya saat menghasilkan respons. Perintah yang berisi beberapa contoh disebut perintah few-shot, sedangkan perintah yang tidak memberikan contoh disebut prompt zero-shot. Perintah sedikit sering digunakan untuk mengatur pemformatan, frasa, cakupan, atau pola umum respons model. Gunakan contoh yang spesifik dan bervariasi untuk membantu model mempersempit fokusnya dan memberikan hasil yang lebih akurat.

Sebaiknya sertakan contoh beberapa foto dalam perintah Anda. Perintah tanpa contoh few-shot mungkin kurang efektif karena tidak menunjukkan cara menerapkan petunjuk kepada model. Bahkan, Anda dapat menghapus petunjuk dari perintah jika contoh Anda cukup jelas dalam menampilkan tugas yang ada.

Poin utama strategi ini adalah sebagai berikut:

  • Menyertakan contoh respons perintah dalam prompt akan membantu model mempelajari cara merespons.
  • Gunakan markup seperti XML untuk menandai contoh.
  • Lakukan eksperimen dengan sejumlah prompt yang akan disertakan. Bergantung pada modelnya, terlalu sedikit contoh tidak efektif dalam mengubah perilaku model. Terlalu banyak contoh yang menyebabkan model overfit.
  • Menggunakan format yang konsisten pada berbagai contoh

Perintah zero-shot versus few-shot

Petunjuk zero-shot berikut meminta model untuk memilih penjelasan terbaik.


Please choose the best explanation to the question:

Question: How is snow formed?
Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the
atmosphere, which can combine and grow into snowflakes as they fall through the atmosphere and
accumulate on the ground.
Explanation2: Water vapor freezes into ice crystals forming snow.
Answer:
  

Explanation1

Jika kasus penggunaan Anda mengharuskan model untuk menghasilkan respons yang ringkas, Anda dapat menyertakan contoh di perintah yang memberikan preferensi untuk respons yang ringkas.

Prompt berikut memberikan dua contoh yang menunjukkan preferensi terhadap penjelasan yang lebih singkat. Dalam respons, Anda dapat melihat bahwa contoh memandu model untuk memilih penjelasan yang lebih singkat (Penjelasan2) dibandingkan penjelasan yang lebih panjang (Penjelasan1) seperti sebelumnya.


Please choose the best explanation to the question:

Question: Why is sky blue?
Explanation1: The sky appears blue because of Rayleigh scattering, which causes shorter blue
wavelengths of light to be scattered more easily than longer red wavelengths, making the sky look
blue.
Explanation2: Due to Rayleigh scattering effect.
Answer: Explanation2

Question: What is the cause of earthquakes?
Explanation1: Sudden release of energy in the Earth's crust.
Explanation2: Earthquakes happen when tectonic plates suddenly slip or break apart, causing a
release of energy that creates seismic waves that can shake the ground and cause damage.
Answer: Explanation1

Question: How is snow formed?
Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the
atmosphere, which can combine and grow into snowflakes as they fall through the atmosphere and
accumulate on the ground.
Explanation2: Water vapor freezes into ice crystals forming snow.
Answer:
  

Explanation2

Temukan jumlah contoh yang optimal

Anda dapat bereksperimen dengan sejumlah contoh yang akan ditampilkan di perintah untuk mendapatkan hasil yang paling diinginkan. Model seperti PaLM dan Gemini sering kali dapat memahami pola menggunakan beberapa contoh, meskipun Anda mungkin perlu bereksperimen dengan sejumlah contoh yang mengarah ke hasil yang diinginkan. Untuk model yang lebih sederhana seperti BERT, Anda mungkin memerlukan lebih banyak contoh. Pada saat yang sama, jika Anda menyertakan terlalu banyak contoh, model mungkin mulai melebihi respons terhadap contoh tersebut.

Menggunakan format seperti XML untuk menandai contoh beberapa foto

Tidak seperti model ML tradisional yang memungkinkan Anda mendapatkan hasil klasifikasi secara langsung, jawaban LLM atas pertanyaan klasifikasi akan disematkan dalam respons. Untuk mengurai respons LLM dengan lebih baik, kami menggunakan contoh few-shot terstruktur untuk mengajarkan pola respons kepada LLM. Menggunakan struktur berikut merepotkan karena teks input dapat berisi kata-kata dengan pola serupa dan dapat membingungkan model.


input: ABC
output: XYZ

Penggunaan markup bergaya XML untuk mendemarkasi blok petunjuk lebih efektif karena alasan berikut:

  • Sangat jarang melihat tag XML dalam teks.
  • Nama tag XML tertentu dapat ditentukan untuk membuatnya unik.
  • Kami menghapus semua tag XML dari konten HTML mentah sebelum mengklasifikasikan halaman web.

Please choose the best explanation to the question:

<examples>
  <example1>
    <input>
      Question: Why is sky blue?
      Explanation1: The sky appears blue because of Rayleigh scattering, which causes shorter blue
      wavelengths of light to be scattered more easily than longer red wavelengths, making the sky look
      blue.
      Explanation2: Due to Rayleigh scattering effect.
    <input>
    <output>
      Answer: Explanation2
    </output>
  </example1>
  <example2>
    <input>
      Question: What is the cause of earthquakes?
      Explanation1: Sudden release of energy in the Earth's crust.
      Explanation2: Earthquakes happen when tectonic plates suddenly slip or break apart, causing a
      release of energy that creates seismic waves that can shake the ground and cause damage.
    </input>
    <output>
      Answer: Explanation1
    </output>
  <example2>
</examples>

Question: How is snow formed?
Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the
atmosphere, which can combine and grow into snowflakes as they fall through the atmosphere and
accumulate on the ground.
Explanation2: Water vapor freezes into ice crystals forming snow.
Answer:
    

Explanation2