Pilihan database vektor di Mesin RAG Vertex AI

Halaman ini memperkenalkan pilihan database vektor yang didukung di Vertex AI RAG Engine. Anda juga dapat melihat cara menghubungkan database vektor (penyimpanan vektor) ke korpus RAG.

Masalah umum terkait LLM adalah LLM tidak memahami pengetahuan pribadi, yaitu data organisasi Anda. Dengan Vertex AI RAG Engine, Anda dapat memperkaya konteks LLM dengan informasi pribadi tambahan, karena model ini dapat mengurangi halusinasi dan menjawab pertanyaan dengan lebih akurat.

Database vektor memainkan peran penting dalam memungkinkan pengambilan untuk aplikasi RAG. Database vektor menawarkan cara khusus untuk menyimpan dan membuat kueri embedding vektor, yang merupakan representasi matematika dari teks atau data lain yang menangkap makna dan hubungan semantik. Embed vektor memungkinkan sistem RAG menemukan informasi yang paling relevan dalam basis pengetahuan yang luas dengan cepat dan akurat, bahkan saat menangani kueri yang kompleks atau bernuansa. Jika digabungkan dengan model penyematan, database vektor dapat membantu mengatasi keterbatasan LLM, dan memberikan respons yang lebih akurat, relevan, dan komprehensif.

Database vektor yang didukung

Saat membuat korpus RAG, Vertex AI RAG Engine menawarkan RagManagedDb sebagai pilihan database vektor default, yang tidak memerlukan penyediaan atau pengelolaan tambahan. Agar Vertex AI RAG Engine dapat membuat dan mengelola database vektor secara otomatis untuk Anda, lihat Membuat korpus RAG.

Selain RagManagedDb default, Vertex AI RAG Engine memungkinkan Anda menyediakan dan membawa database vektor untuk digunakan dalam korpus RAG. Dalam hal ini, Anda bertanggung jawab atas siklus proses dan skalabilitas database vektor Anda.

Membandingkan opsi database vektor

Tabel ini mencantumkan pilihan database vektor yang didukung dalam Vertex AI RAG Engine dan menyediakan link ke halaman yang menjelaskan cara menggunakan database vektor dalam korpus RAG Anda.

Untuk mengidentifikasi database vektor yang memenuhi kebutuhan Anda, gunakan tabel ini untuk membandingkan opsi database vektor:

Database vektor Deskripsi Manfaat Kekurangan Metrik jarak yang didukung di Vertex AI RAG Engine Jenis penelusuran Tahap peluncuran di Mesin RAG Vertex AI Siap produksi Paling cocok untuk
RagManagedDb (default) RagManagedDb adalah layanan database skalabel yang didistribusikan secara regional dan menawarkan konsistensi serta ketersediaan tinggi.

RagManagedDb dapat digunakan untuk penelusuran vektor.
  • Tidak perlu penyiapan. Cocok untuk panduan memulai dan kasus penggunaan skala kecil.
  • Ketersediaan yang konsisten dan tinggi.
  • Latensi rendah.
  • Sangat cocok untuk workload transaksional.
  • Kapasitas sengaja dibatasi.
  • Tidak direkomendasikan untuk kasus penggunaan berskala besar.
 cosine KNN Pratinjau
  • PoC Cepat
  • Chatbot
  • Aplikasi RAG
Penelusuran Vektor Vector Search adalah layanan database vektor dalam Vertex AI.

Vector Search dioptimalkan untuk tugas machine learning dan terintegrasi dengan layanan Google Cloud lain.
  • Vector Search terintegrasi dengan Vertex AI dan layanan Google Cloud lainnya.
  • Skalabilitas dan keandalan didukung oleh infrastruktur Google Cloud .
  • Menggunakan harga bayar sesuai penggunaan.
  • Konsisten pada akhirnya, yang berarti pembaruan tidak langsung ditampilkan.
  • Layanan baru dengan fitur yang terus berkembang.
  • Keterikatan pada vendor dengan Google Cloud.
  • Dapat mahal, bergantung pada kasus penggunaan Anda.
 cosine

dot-product		 ANN GA
  • Dokumen bervolume tinggi
  • RAG skala perusahaan
  • Mengelola infrastruktur database vektor
  • Pelanggan Google Cloud lama atau siapa saja yang ingin menggunakan beberapa Google Cloud layanan
Vertex AI Feature Store

Vertex AI Feature Store adalah layanan terkelola untuk mengatur, menyimpan, dan menyalurkan fitur machine learning.

Vertex AI Feature Store dioptimalkan untuk tugas machine learning dan terintegrasi dengan layanan Google Cloud lain.
  • Vertex AI Feature Store terintegrasi dengan Vertex AI dan layanan Google Cloud lainnya.
  • Skalabilitas dan keandalan didukung oleh infrastruktur Google Cloud .
  • Memanfaatkan infrastruktur BigQuery yang ada sebagai Vertex AI Feature Store, yang memberikan solusi hemat biaya dan skalabel.
  • Perubahan hanya akan tersedia di toko online setelah sinkronisasi manual dilakukan.
  • Keterikatan pada vendor dengan Google Cloud.
 cosine

dot-product

L2 squared		 ANN Pratinjau
  • Dokumen bervolume tinggi
  • RAG skala perusahaan
  • Mengelola infrastruktur database vektor
  • Pelanggan Google Cloud yang sudah ada atau pelanggan yang ingin menggunakan beberapa Google Cloud layanan
Weaviate Weaviate adalah database vektor open source yang berfokus pada fleksibilitas dan modularitas.

Weaviate mendukung berbagai jenis data dan menawarkan kemampuan grafik bawaan.
  • Weaviate menyediakan open source dan komunitas yang aktif.
  • Sangat fleksibel dan dapat disesuaikan.
  • Mendukung berbagai jenis data dan modul untuk berbagai modalitas, seperti teks dan gambar.
  • Dapat memilih di antara penyedia Cloud, seperti Google Cloud, AWS, dan Azure.
  • Konsisten pada akhirnya, yang berarti pembaruan tidak langsung ditampilkan.
  • Dapat lebih rumit untuk disiapkan dan dikelola.
  • Performa dapat bervariasi bergantung pada konfigurasi.
 cosine

dot-product

L2 squared

hamming

manhattan		 Dukungan penelusuran ANN + Hybrid Pratinjau
  • Dokumen bervolume tinggi
  • RAG skala perusahaan
  • Mengelola infrastruktur database vektor
  • Pelanggan Weaviate lama
Pinecone Pinecone adalah database vektor native cloud yang terkelola sepenuhnya dan dirancang untuk penelusuran kemiripan berperforma tinggi.
  • Mulai dengan cepat.
  • Skalabilitas dan performa yang sangat baik.
  • Berfokus pada penelusuran vektor dengan fitur lanjutan seperti pemfilteran dan penelusuran metadata.
  • Dapat memilih di antara penyedia Cloud, seperti Google Cloud, AWS, dan Azure.
  • Konsisten pada akhirnya, yang berarti pembaruan tidak langsung ditampilkan.
  • Bisa lebih mahal daripada opsi lainnya.
  • Kuota dan batas membatasi skala dan performa.
  • Kontrol terbatas atas infrastruktur dasar.
 cosine

euclidean

dot-product		 ANN GA
  • Dokumen bervolume tinggi
  • RAG skala perusahaan
  • Mengelola infrastruktur database vektor
  • Pelanggan Pinecone lama

Langkah selanjutnya