Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Halaman ini memberi Anda rekomendasi konfigurasi untuk menyesuaikan model bahasa
besar (LLM) di Vertex AI menggunakan
Adaptasi Low-Rank Model Bahasa Besar (LoRA)
dan versinya yang lebih hemat memori,
QLoRA.
Menyesuaikan rekomendasi
Tabel berikut merangkum rekomendasi kami untuk menyesuaikan LLM menggunakan LoRA
atau QLoRA:
Spesifikasi
Disarankan
Detail
Efisiensi memori GPU
QLoRA
QLoRA memiliki penggunaan memori GPU puncak yang lebih kecil sekitar 75% dibandingkan dengan LoRA.
Kecepatan
LoRA
LoRA sekitar 66% lebih cepat daripada QLoRA dalam hal kecepatan penyesuaian.
Efisiensi biaya
LoRA
Meskipun kedua metode tersebut relatif murah, LoRA hingga 40% lebih murah daripada QLoRA.
Panjang urutan maksimum yang lebih tinggi
QLoRA
Panjang urutan maksimum yang lebih tinggi akan meningkatkan konsumsi memori GPU. QLoRA menggunakan lebih sedikit memori GPU sehingga dapat mendukung panjang urutan maksimum yang lebih tinggi.
Peningkatan akurasi
Sama
Kedua metode tersebut menawarkan peningkatan akurasi yang serupa.
Ukuran batch yang lebih tinggi
QLoRA
QLoRA mendukung ukuran batch yang jauh lebih tinggi. Misalnya, berikut adalah rekomendasi ukuran batch untuk menyesuaikan openLLaMA-7B pada GPU berikut:
1 x A100 40G:
LoRA: Ukuran batch 2 direkomendasikan.
QLoRA: Ukuran batch 24 direkomendasikan.
1 x L4:
LoRA: Ukuran batch 1 gagal dengan error kehabisan memori (OOM).
QLoRA: Ukuran batch 12 direkomendasikan.
1 x V100:
LoRA: Ukuran batch 1 gagal dengan error kehabisan memori (OOM).
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-02-14 UTC."],[],[]]