AI generatif sering kali mengandalkan model machine learning (ML) berskala besar yang telah dilatih sebelumnya dengan data dalam jumlah besar. Model ini disebut sebagai model dasar dan berfungsi sebagai dasar untuk berbagai tugas. Ada banyak cara untuk menyesuaikan model dasar menggunakan AI Generatif di Vertex AI:
Penyesuaian: Penyesuaian melibatkan penyediaan set data pelatihan berupa contoh tertentu yang relevan dengan tugas downstream yang dipilih.
- Penyesuaian yang diawasi: Teknik ini menggunakan contoh berlabel untuk menyesuaikan model. Setiap contoh menunjukkan output yang dipilih untuk input tertentu selama inferensi. Penyesuaian yang diawasi efektif untuk tugas dengan output yang diharapkan tidak terlalu kompleks dan dapat ditentukan dengan jelas, seperti klasifikasi, analisis sentimen, ekstraksi entity, ringkasan konten yang tidak terlalu kompleks, dan membuat kueri khusus domain. Anda dapat menyesuaikan jenis data teks, gambar, audio, dan dokumen menggunakan pembelajaran terpandu.
- Penyesuaian Reinforcement Learning from Human Feedback (RLHF): Metode ini cocok jika output model yang dipilih lebih kompleks. Penyesuaian RLHF berfungsi dengan baik untuk tujuan yang tidak mudah dibedakan melalui penyesuaian yang diawasi, seperti menjawab pertanyaan, membuat ringkasan konten yang kompleks, dan membuat konten materi iklan.
Distilasi: Distilasi sering kali melibatkan pelatihan model "siswa" yang lebih kecil untuk meniru perilaku model "pengajar" yang lebih besar dan lebih andal.
Pelatihan model adaptor: Hal ini melibatkan pelatihan model adaptor (atau lapisan) yang lebih kecil yang berfungsi bersama dengan model dasar untuk meningkatkan performa pada tugas khusus. Parameter model dasar asli sering kali tetap dibekukan, dan hanya bobot adaptor yang diperbarui selama pelatihan.
Grounding: Meskipun bukan metode pelatihan, grounding adalah aspek penting dalam memastikan keandalan output AI generatif. Grounding melibatkan penghubungan output model ke sumber informasi yang dapat diverifikasi, sehingga mengurangi kemungkinan konten yang dikarang-karang. Hal ini sering kali melibatkan penyediaan akses ke sumber data tertentu selama inferensi.