Pilihan database vektor di Mesin RAG Vertex AI

Halaman ini memperkenalkan database vektor yang didukung di Vertex AI RAG Engine. Anda juga dapat melihat cara menghubungkan database vektor (penyimpanan vektor) ke korpus RAG.

Database vektor memainkan peran penting dalam mengaktifkan pengambilan untuk aplikasi RAG. Database vektor menawarkan cara khusus untuk menyimpan dan membuat kueri embedding vektor, yang merupakan representasi matematika dari teks atau data lain yang menangkap makna dan hubungan semantik. Embedding vektor memungkinkan sistem RAG menemukan informasi yang paling relevan dengan cepat dan akurat dalam pusat informasi yang luas, bahkan saat menangani kueri yang kompleks atau bernuansa. Jika digabungkan dengan model penyematan, database vektor dapat membantu mengatasi batasan LLM, dan memberikan respons yang lebih akurat, relevan, dan komprehensif.

Database vektor yang didukung

Saat membuat korpus RAG, RAG Engine Vertex AI menawarkan RagManagedDb yang siap digunakan perusahaan sebagai database vektor default, yang tidak memerlukan penyediaan atau pengelolaan tambahan. RagManagedDb menawarkan opsi penelusuran KNN dan ANN serta memungkinkan peralihan ke tingkat dasar untuk beberapa pembuatan prototipe dan eksperimen cepat. Untuk mempelajari lebih lanjut cara memilih strategi pengambilan di RagManagedDb atau untuk memperbarui tingkat, lihat Menggunakan RagManagedDb dengan RAG. Agar Vertex AI RAG Engine dapat membuat dan mengelola database vektor secara otomatis untuk Anda, lihat Membuat korpus RAG.

Selain RagManagedDb default, Vertex AI RAG Engine memungkinkan Anda menyediakan dan menggunakan database vektor dalam korpus RAG. Dalam hal ini, Anda bertanggung jawab atas siklus proses dan skalabilitas database vektor Anda.

Membandingkan opsi database vektor

Tabel ini mencantumkan pilihan database vektor yang didukung dalam Vertex AI RAG Engine dan menyediakan link ke halaman yang menjelaskan cara menggunakan database vektor dalam korpus RAG Anda.

Database vektor   Manfaat   Ideal untuk   Kekurangan Metrik jarak yang didukung Jenis penelusuran Tahap peluncuran
RagManagedDb (default) adalah layanan database skalabel yang didistribusikan secara regional yang menawarkan konsistensi sangat tinggi dan ketersediaan tinggi serta dapat digunakan untuk penelusuran vektor. mudah sederhana cepat
  • Tidak perlu penyiapan.
  • Cocok untuk kasus penggunaan skala perusahaan dan skala kecil.
  • Konsistensi sangat tinggi.
  • Ketersediaan tinggi.
  • Latensi rendah.
  • Sangat baik untuk beban kerja transaksional.
  • CMEK diaktifkan.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengembangkan bukti konsep cepat.
  • Menyediakan overhead penyediaan dan pemeliharaan yang rendah.
  • Menggunakan dengan bot chat.
  • Membangun aplikasi RAG.
  • Untuk perolehan optimal, fitur ANN mengharuskan indeks dibangun ulang setelah perubahan besar pada data Anda.
 cosine KNN (default) dan ANN Pratinjau
Vector Search adalah layanan database vektor dalam Vertex AI yang dioptimalkan untuk tugas machine learning.
  • Terintegrasi dengan layanan Google Cloud lainnya.
  • Skalabilitas dan keandalan didukung oleh infrastruktur Google Cloud .
  • Menggunakan harga bayar sesuai penggunaan.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan Google Cloud lama atau siapa pun yang ingin menggunakan beberapa Google Cloud layanan.
  • Pembaruan tidak langsung ditampilkan.
  • Keterikatan pada vendor dengan Google Cloud.
  • Bisa lebih mahal, bergantung pada kasus penggunaan Anda.
 cosine

dot-product		 ANN Tersedia secara umum
Vertex AI Feature Store adalah layanan terkelola untuk mengatur, menyimpan, dan menyalurkan fitur machine learning.
  • Terintegrasi dengan Vertex AI dan layanan Google Cloud lainnya.
  • Skalabilitas dan keandalan didukung oleh infrastruktur Google Cloud .
  • Memanfaatkan infrastruktur BigQuery yang ada.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan Google Cloud lama atau pelanggan yang ingin menggunakan beberapa Google Cloud layanan.
  • Perubahan hanya tersedia di toko online setelah sinkronisasi manual dilakukan.
  • Keterikatan pada vendor dengan Google Cloud.
 cosine

dot-product

L2 squared		 ANN Pratinjau
Weaviate adalah database vektor open source yang fleksibel dan modular.
  • Mendukung berbagai jenis data dan menawarkan kemampuan grafik bawaan.
  • Menyediakan open source dan komunitas yang aktif.
  • Sangat fleksibel dan dapat disesuaikan.
  • Mendukung berbagai jenis data dan modul untuk modalitas yang berbeda, seperti teks dan gambar.
  • Dapat memilih di antara penyedia Cloud, seperti Google Cloud, AWS, dan Azure.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan Weaviate lama.
  • Pembaruan tidak langsung ditampilkan.
  • Penyiapan dan pengelolaannya bisa lebih rumit.
  • Performa dapat bervariasi bergantung pada konfigurasi.
 cosine

dot-product

L2 squared

hamming

manhattan		 Dukungan penelusuran Hybrid + ANN Pratinjau
Pinecone adalah database vektor berbasis cloud yang terkelola sepenuhnya dan dirancang untuk penelusuran kesamaan dengan performa tinggi.
  • Mulai dengan cepat.
  • Skalabilitas dan performa yang sangat baik.
  • Berfokus pada penelusuran vektor dengan fitur lanjutan seperti pemfilteran dan penelusuran metadata.
  • Dapat memilih di antara penyedia Cloud, seperti Google Cloud, AWS, dan Azure.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan Pinecone lama.
  • Pembaruan tidak langsung ditampilkan.
  • Bisa lebih mahal daripada opsi lainnya.
  • Kuota dan batas membatasi skala dan performa.
  • Kontrol terbatas atas infrastruktur dasar.
 cosine

euclidean

dot-product		 ANN Tersedia secara umum

Langkah berikutnya