Mesin RAG Vertex AI, komponen dari Platform Vertex AI, memfasilitasi Retrieval-Augmented Generation (RAG). Vertex AI RAG Engine juga merupakan framework data untuk mengembangkan aplikasi model bahasa besar (LLM) yang dilengkapi konteks. Augmentasi konteks terjadi saat Anda menerapkan LLM ke data. Ini mengimplementasikan retrieval-augmented generation (RAG).
Masalah umum terkait LLM adalah LLM tidak memahami pengetahuan pribadi, yaitu data organisasi Anda. Dengan Vertex AI RAG Engine, Anda dapat memperkaya konteks LLM dengan informasi pribadi tambahan, karena model dapat mengurangi halusinasi dan menjawab pertanyaan dengan lebih akurat.
Dengan menggabungkan sumber pengetahuan tambahan dengan pengetahuan yang ada yang dimiliki LLM, konteks yang lebih baik akan diberikan. Konteks yang ditingkatkan beserta kueri akan meningkatkan kualitas respons LLM.
Gambar berikut mengilustrasikan konsep utama untuk memahami Vertex AI RAG Engine.
Konsep ini tercantum dalam urutan proses retrieval-augmented generation (RAG).
Penyerapan data: Mengambil data dari berbagai sumber data. Misalnya, file lokal, Cloud Storage, dan Google Drive.
Transformasi data: Konversi data sebagai persiapan untuk pengindeksan. Misalnya, data dibagi menjadi beberapa bagian.
Embedding: Representasi numerik dari kata atau potongan teks. Angka ini menangkap makna semantik dan konteks teks. Kata atau teks yang serupa atau terkait cenderung memiliki penyematan yang serupa, yang berarti keduanya lebih dekat dalam ruang vektor berdimensi tinggi.
Pengindeksan data: Mesin RAG Vertex AI membuat indeks yang disebut korpus. Indeks menyusun pusat informasi sehingga dioptimalkan untuk penelusuran. Misalnya, indeks seperti daftar isi mendetail untuk buku referensi yang besar.
Pengambilan: Saat pengguna mengajukan pertanyaan atau memberikan perintah, komponen pengambilan di Mesin RAG Vertex AI akan menelusuri basis pengetahuannya untuk menemukan informasi yang relevan dengan kueri.
Pembuatan: Informasi yang diambil menjadi konteks yang ditambahkan ke kueri pengguna asli sebagai panduan bagi model AI generatif untuk menghasilkan respons yang berdasarkan fakta dan relevan.
Region yang didukung
Vertex AI RAG Engine didukung di wilayah berikut:
| Wilayah | Lokasi | Deskripsi | Tahap peluncuran |
|---|---|---|---|
europe-west3 |
Frankfurt, Jerman | Hanya versi v1beta1 yang didukung. |
Pratinjau |
us-central1 |
Iowa | Versi v1 dan v1beta1 didukung. |
GA |
Langkah selanjutnya
- Untuk mempelajari cara menggunakan Vertex AI SDK guna menjalankan tugas Vertex AI RAG Engine, lihat Panduan memulai RAG untuk Python.
- Untuk mempelajari pentanahan, lihat Ringkasan pentanahan.
- Untuk mempelajari perbedaan antara RAG dan grounding, lihat Melakukan grounding respons menggunakan RAG.
- Untuk mempelajari arsitektur RAG: