Pengantar penyesuaian

Penyesuaian model adalah proses penting dalam menyesuaikan Gemini untuk melakukan tugas tertentu dengan presisi dan akurasi yang lebih tinggi. Penyesuaian model bekerja dengan menyediakan model dengan set data pelatihan yang berisi kumpulan contoh tugas downstream tertentu.

Halaman ini memberikan ringkasan penyesuaian model untuk Gemini, menjelaskan opsi penyesuaian yang tersedia untuk Gemini, dan membantu Anda menentukan kapan setiap opsi penyesuaian harus digunakan.

Manfaat penyesuaian model

Penyesuaian model adalah cara yang efektif untuk menyesuaikan model besar dengan tugas Anda. Ini adalah langkah utama untuk meningkatkan kualitas dan efisiensi model. Penyesuaian model memberikan manfaat berikut:

  • Kualitas yang lebih tinggi untuk tugas tertentu
  • Peningkatan ketahanan model
  • Latensi dan biaya inferensi yang lebih rendah karena perintah yang lebih singkat

Penyesuaian dibandingkan dengan desain perintah

  • Membuat perintah dengan model Gemini terlatih: Membuat perintah adalah seni menyusun petunjuk yang efektif untuk memandu model AI seperti Gemini dalam menghasilkan output yang Anda inginkan. Hal ini melibatkan perancangan perintah yang dengan jelas menyampaikan tugas, format yang Anda inginkan, dan konteks yang relevan. Anda dapat menggunakan kemampuan Gemini dengan penyiapan minimal. Fitur ini paling cocok untuk:
    • Data berlabel terbatas: Jika Anda memiliki data berlabel dalam jumlah kecil atau tidak dapat melakukan proses penyesuaian yang panjang.
    • Pembuatan prototipe cepat: Saat Anda perlu menguji konsep dengan cepat atau mendapatkan performa dasar tanpa investasi besar dalam penyesuaian.
  • Penyesuaian model Gemini yang disesuaikan: Untuk hasil yang lebih disesuaikan, Gemini memungkinkan Anda menyesuaikan modelnya pada set data tertentu. Untuk membuat model AI yang unggul di domain tertentu, pertimbangkan untuk melakukan penyesuaian. Hal ini melibatkan pelatihan ulang model dasar pada set data berlabel Anda sendiri, dengan menyesuaikan bobotnya ke tugas dan data Anda. Anda dapat menyesuaikan Gemini dengan kasus penggunaan Anda. Penyesuaian paling efektif jika:
    • Anda memiliki data berlabel: Set data yang cukup besar untuk dilatih (misalnya, 100 contoh atau lebih), yang memungkinkan model mempelajari detail tugas Anda secara mendalam.
    • Tugas yang kompleks atau unik: Untuk skenario saat strategi perintah lanjutan tidak memadai, dan model yang disesuaikan dengan data Anda sangat penting.

Sebaiknya mulai dengan perintah untuk menemukan perintah yang optimal. Kemudian, lanjutkan ke penyesuaian (jika diperlukan) untuk lebih meningkatkan performa atau memperbaiki error berulang. Meskipun menambahkan lebih banyak contoh mungkin bermanfaat, penting untuk mengevaluasi tempat model melakukan kesalahan sebelum menambahkan lebih banyak data. Data berkualitas tinggi dan berlabel baik sangat penting untuk performa yang baik dan lebih baik daripada kuantitas. Selain itu, data yang Anda gunakan untuk penyesuaian harus mencerminkan distribusi, format, dan konteks perintah yang akan ditemui model dalam produksi.

Penyesuaian memberikan manfaat berikut dibandingkan desain perintah:

  • Memungkinkan penyesuaian mendalam pada model dan menghasilkan performa yang lebih baik pada tugas tertentu.
  • Sesuaikan model dengan sintaksis, petunjuk, aturan semantik khusus domain kustom.
  • Menawarkan hasil yang lebih konsisten dan andal.
  • Mampu menangani lebih banyak contoh sekaligus.
  • Hemat biaya pada inferensi dengan menghapus contoh few-shot, petunjuk panjang dalam perintah

Pendekatan penyesuaian

Penyesuaian yang efisien parameter dan penyesuaian penuh adalah dua pendekatan untuk menyesuaikan model besar. Kedua metode tersebut memiliki kelebihan dan implikasinya dalam hal kualitas model dan efisiensi resource.

Parameter-efficient tuning

Parameter-efficient tuning, yang juga disebut penyesuaian adaptor, memungkinkan adaptasi yang efisien dari model besar ke tugas atau domain tertentu. Penyesuaian yang efisien parameter memperbarui sebagian kecil parameter model selama proses penyesuaian.

Untuk memahami cara Vertex AI mendukung penyesuaian dan penayangan adaptor, Anda dapat menemukan detail selengkapnya dalam whitepaper berikut, Adaptasi Model Dasar Besar.

Penyesuaian penuh

Penyesuaian penuh akan memperbarui semua parameter model, sehingga cocok untuk menyesuaikan model dengan tugas yang sangat kompleks, dengan potensi untuk mencapai kualitas yang lebih tinggi. Namun, penyesuaian menyeluruh memerlukan resource komputasi yang lebih tinggi untuk penyesuaian dan penayangan, sehingga menyebabkan biaya keseluruhan yang lebih tinggi.

Parameter-efficient tuning dibandingkan dengan fine tuning penuh

Parameter-efficient tuning lebih hemat resource dan hemat biaya dibandingkan dengan fine-tuning penuh. Model ini menggunakan resource komputasi yang jauh lebih rendah untuk dilatih. Model ini dapat menyesuaikan model lebih cepat dengan set data yang lebih kecil. Fleksibilitas penyesuaian yang efisien parameter menawarkan solusi untuk pembelajaran multi-tugas tanpa perlu pelatihan ulang yang ekstensif.

Metode penyesuaian yang didukung

Vertex AI mendukung penyesuaian yang diawasi untuk menyesuaikan model dasar.

Penyesuaian yang diawasi

Penyesuaian yang diawasi meningkatkan performa model dengan mengajarkan keterampilan baru. Data yang berisi ratusan contoh berlabel digunakan untuk mengajarkan model guna meniru perilaku atau tugas yang diinginkan. Setiap contoh berlabel menunjukkan apa yang akan dihasilkan oleh model selama inferensi.

Saat Anda menjalankan tugas penyesuaian yang diawasi, model akan mempelajari parameter tambahan yang membantu mengenkode informasi yang diperlukan untuk menjalankan tugas yang diinginkan atau mempelajari perilaku yang diinginkan. Parameter ini digunakan selama inferensi. Output tugas tuning adalah model baru yang menggabungkan parameter yang baru dipelajari dengan model asli.

Penyesuaian halus model teks yang diawasi adalah opsi yang bagus jika output model Anda tidak kompleks dan relatif mudah ditentukan. Penyesuaian yang diawasi direkomendasikan untuk klasifikasi, analisis sentimen, ekstraksi entity, ringkasan konten yang tidak kompleks, dan penulisan kueri khusus domain. Untuk model kode, penyesuaian yang diawasi adalah satu-satunya opsi.

Model yang mendukung penyesuaian yang diawasi

  • gemini-1.5-pro-002 (Di GA)
  • gemini-1.5-flash-002(Di GA)
  • gemini-1.0-pro-002 (Dalam pratinjau, hanya mendukung penyesuaian teks)

Untuk informasi selengkapnya tentang cara menggunakan penyesuaian yang diawasi dengan setiap model, lihat halaman berikut: Menyesuaikan jenis data teks, gambar, audio, dan dokumen.

Langkah selanjutnya