Untuk mengoptimalkan secara efektif, Anda harus memahami dua fase inferensi LLM yang berbeda:

1. Menjelaskan tujuannya: Anda memulai dengan deployment model yang belum dioptimalkan
2. Menerapkan kuantisasi: Kurangi bobot model (misalnya, menjadi 4 bit) agar batch yang lebih besar dapat muat di memori
3. Mengoptimalkan perhatian: Gunakan FlashAttention atau Grouped-Query Attention (GQA) untuk meminimalkan biaya pergerakan memori
4. Mengelola memori: Terapkan PagedAttention untuk menyimpan cache KV dalam blok yang tidak berurutan, sehingga menghilangkan fragmentasi
5. Menjalankan dan memantau: Deploy dengan batching yang sedang berlangsung untuk segera memulai permintaan baru saat permintaan lain selesai

Berikut perbandingan inferensi yang dioptimalkan dengan penyajian model "naive" tradisional:

Google Cloud menawarkan berbagai alat yang dirancang untuk berbagai tingkat keterampilan dan kebutuhan arsitektur.

Model Garden adalah jalur tercepat untuk men-deploy versi model open source terkemuka yang dioptimalkan seperti Llama, Gemma, dan Mistral.

Buka Model Garden dan temukan model OSS yang didukung. Klik Deploy. Dalam konfigurasi, pilih Runtime yang Dioptimalkan seperti vLLM atau NVIDIA NIM.

Pilih versi model yang dikuantisasi (misalnya, 4-bit atau 8-bit) untuk mengurangi jejak memori. Hal ini memungkinkan Anda melayani ukuran batch yang lebih besar pada GPU yang sama, sehingga secara langsung meningkatkan throughput.

Pastikan container inferensi dikonfigurasi untuk menggunakan PagedAttention. Teknik ini memungkinkan model menyimpan "memori" (cache Nilai Kunci) dalam blok yang tidak berurutan, sehingga mencegah pemborosan memori dan memungkinkan jendela konteks yang lebih panjang.

Setelah di-deploy, Vertex AI secara otomatis menangani batching yang sedang berlangsung, memproses permintaan baru segera setelah permintaan yang ada menyelesaikan token. Gunakan Vertex AI Model Monitoring untuk melacak latensi dan memastikan "nuansa" output tetap berkualitas tinggi.

Untuk tim yang memerlukan kontrol terperinci atas orkestrasi dan kernel inferensi kustom mereka, GKE adalah pilihan standar industri.

Menyediakan cluster GKE dengan node GPU khusus (seperti L4 atau H100). Menginstal Operator GPU NVIDIA untuk menangani pengelolaan driver dan penyesuaian performa secara otomatis.

Menggunakan mesin inferensi dalam container seperti vLLM atau Triton Inference Server. Server ini mendukung batching berkelanjutan dan paralelisme tensor, sehingga Anda dapat membagi model besar di beberapa GPU. vLLM juga memberi Anda kemampuan untuk beralih antara TPU dan GPU, dengan coding tambahan minimal.

Untuk kebutuhan latensi yang sangat penting, konfigurasikan decoding spekulatif. Hal ini melibatkan penggunaan model "draf" yang lebih kecil dan cepat untuk memprediksi token, yang kemudian diverifikasi secara paralel oleh model "target" Anda yang lebih besar, sehingga sering kali memberikan peningkatan kecepatan 2x-3x.

Panduan Memulai Inferensi GKE berfungsi sebagai database yang telah dikonfigurasi sebelumnya untuk konfigurasi stack inferensi yang telah diuji. Dengan menentukan model, persyaratan latensi, dan prioritas biaya, alat ini akan memberikan serangkaian rekomendasi berdasarkan praktik terbaik dan tolok ukur terbaru. Hal ini memungkinkan Anda memantau metrik performa khusus inferensi dan menyempurnakan deployment Anda secara dinamis untuk memastikan deployment selalu berjalan pada teknologi yang dioptimalkan.

GKE Inference Gateway kini tersedia secara umum, yang memperkenalkan dua kemampuan canggih untuk mengelola aplikasi AI Generatif yang kompleks.

• Perutean yang peka terhadap awalan: Untuk aplikasi seperti multi-turn chat atau analisis dokumen, fitur ini merutekan permintaan ke akselerator yang sama yang sudah memiliki konteks yang di-cache, sehingga meningkatkan waktu respons.
• Inferensi terpisah: Teknik ini memisahkan fase "pengisian awal" (pemrosesan perintah) dari fase "dekode" (pembuatan token). Karena tahap-tahap ini memiliki kebutuhan resource yang berbeda, Anda dapat menjalankannya di pool mesin yang terpisah dan dioptimalkan untuk memaksimalkan efisiensi.

Anywhere cache adalah cache baca baru yang sepenuhnya konsisten dan berfungsi dengan bucket Google Cloud Storage (GCS) yang ada untuk menyimpan data dalam cache di zona yang sama dengan akselerator Anda. Hal ini mengurangi latensi baca hingga 96% dan meminimalkan biaya jaringan yang terkait dengan workload yang banyak melakukan pembacaan.

Cloud WAN, jaringan global yang terkelola sepenuhnya dan dibangun di infrastruktur Google berskala besar, yang mengikat seluruh infrastruktur. Cloud WAN menghubungkan resource komputasi AI di berbagai region, cloud, dan lingkungan lokal, sehingga memberikan peningkatan sebesar 40% dalam pengalaman aplikasi inferensi dan TCO 40% lebih rendah dibandingkan solusi WAN tradisional.