Mesin RAG Vertex AI, komponen dari Platform Vertex AI, memfasilitasi Retrieval-Augmented Generation (RAG). Mesin RAG Vertex AI juga merupakan framework data untuk mengembangkan aplikasi model bahasa besar (LLM) yang dilengkapi konteks. Augmentasi konteks terjadi saat Anda menerapkan LLM ke data. Ini mengimplementasikan retrieval-augmented generation (RAG).
Masalah umum dengan LLM adalah LLM tidak memahami pengetahuan pribadi, yaitu data organisasi Anda. Dengan RAG Engine, Anda dapat memperkaya konteks LLM dengan informasi pribadi tambahan, karena model dapat mengurangi halusinasi dan menjawab pertanyaan dengan lebih akurat.
Dengan menggabungkan sumber pengetahuan tambahan dengan pengetahuan yang ada yang dimiliki LLM, konteks yang lebih baik akan diberikan. Konteks yang ditingkatkan beserta kueri akan meningkatkan kualitas respons LLM.
Gambar berikut mengilustrasikan konsep utama untuk memahami RAG Engine.
Konsep ini tercantum dalam urutan proses retrieval-augmented generation (RAG).
Penyerapan data: Mengambil data dari berbagai sumber data. Misalnya, file lokal, Cloud Storage, dan Google Drive.
Transformasi data: Konversi data sebagai persiapan untuk pengindeksan. Misalnya, data dibagi menjadi beberapa bagian.
Embedding: Representasi numerik dari kata atau potongan teks. Angka ini menangkap makna semantik dan konteks teks. Kata atau teks yang serupa atau terkait cenderung memiliki penyematan yang serupa, yang berarti keduanya lebih dekat dalam ruang vektor berdimensi tinggi.
Pengindeksan data: RAG Engine membuat indeks yang disebut korpus. Indeks menyusun pusat informasi sehingga dioptimalkan untuk penelusuran. Misalnya, indeks seperti daftar isi mendetail untuk buku referensi yang besar.
Pengambilan: Saat pengguna mengajukan pertanyaan atau memberikan perintah, komponen pengambilan di RAG Engine akan menelusuri pusat informasinya untuk menemukan informasi yang relevan dengan kueri.
Pembuatan: Informasi yang diambil menjadi konteks yang ditambahkan ke kueri pengguna asli sebagai panduan bagi model AI generatif untuk menghasilkan respons yang berdasarkan fakta dan relevan.
Langkah selanjutnya
- Untuk mempelajari batas ukuran file, lihat Jenis dokumen yang didukung.
- Untuk mempelajari kuota yang terkait dengan RAG Engine, lihat Kuota RAG Engine.
- Untuk mempelajari cara menyesuaikan parameter, lihat Parameter pengambilan.
- Untuk mempelajari RAG API lebih lanjut, lihat RAG Engine API.
- Untuk mempelajari lebih lanjut pentanahan, lihat Ringkasan pentanahan.
- Untuk mempelajari lebih lanjut perbedaan antara grounding dan RAG, lihat Respons ground menggunakan RAG.
- Untuk mempelajari AI Generatif di Vertex AI lebih lanjut, lihat Ringkasan AI Generatif di Vertex AI.
- Untuk mempelajari arsitektur RAG lebih lanjut, lihat arsitektur referensi berikut: