Halaman ini memberikan detail tentang fitur dan batasan penelusuran vektor.
Ketersediaan
Penelusuran vektor tersedia di semua versi Memorystore for Redis Cluster di semua tingkat dan semua region yang didukung.
Hanya instance yang dibuat setelah tanggal peluncuran 13 September 2024 yang mengaktifkan penelusuran vektor.
Pembatasan Indeks
Berikut adalah batasan indeks:
- Jumlah maksimum atribut dalam indeks tidak boleh melebihi 10.
- Dimensi vektor tidak boleh melebihi 32.768.
- Nilai M untuk HNSW tidak boleh melebihi 2M.
- Nilai EF Construct untuk HNSW tidak boleh melebihi 4096.
- Nilai EF Runtime untuk HNSW juga tidak boleh melebihi 4096.
Dampak pada Performa
Saat mempertimbangkan performa penelusuran vektor, ada beberapa variabel penting yang perlu dipertimbangkan.
Jenis Node
Penelusuran vektor memfasilitasi penskalaan vertikal melalui integrasi kumpulan thread yang dikhususkan untuk menjalankan operasi penelusuran vektor. Artinya, performa akan terkait dengan jumlah vCPU pada setiap node di cluster Anda. Untuk mengetahui detail jumlah vCPU yang tersedia di setiap jenis node, lihat Spesifikasi cluster dan node.
Jumlah shard
Memorystore for Redis Cluster menerapkan teknik pengindeksan lokal untuk semua vektor. Artinya, indeks yang disimpan di setiap shard hanya berisi dokumen yang ada di shard tersebut. Oleh karena itu, kecepatan pengindeksan dan jumlah total vektor akan diskalakan secara linear dengan jumlah shard dalam cluster.
Karena setiap indeks lokal hanya berisi konten satu shard, penelusuran cluster memerlukan penelusuran setiap shard dalam cluster dan penggabungan hasilnya. Dengan jumlah vektor yang stabil, peningkatan jumlah pecahan akan meningkatkan performa penelusuran secara logaritmik untuk indeks HNSW dan secara linear untuk indeks FLAT karena lebih sedikit vektor yang terdapat di setiap indeks lokal.
Perhatikan bahwa karena peningkatan jumlah pekerjaan yang diperlukan untuk menelusuri semua shard, latensi yang dapat diamati untuk menyelesaikan permintaan penelusuran tertentu dapat meningkat seiring dengan penambahan lebih banyak shard. Meskipun demikian, cluster terbesar pun mendukung latensi di bawah sepuluh milidetik.
Jumlah replika
Menambahkan replika tambahan akan meningkatkan throughput penelusuran secara linear dengan memungkinkan load balancing permintaan penelusuran ke replika baca.
Menskalakan Peristiwa
Setelah mengubah ukuran cluster Redis, dokumen dalam indeks Anda akan dipindahkan untuk mendistribusikan data secara merata di seluruh jumlah shard baru. Jika hal ini terjadi, dokumen yang dipindahkan di seluruh node akan diindeks di latar belakang. Setelah operasi penskalaan selesai, Anda dapat memantau nilai mutation_queue_size dalam output FT.INFO untuk melihat progres pengindeksan ulang karena pengubahan ukuran cluster.
Konsumsi Memori
Vektor diduplikasi, disimpan dalam ruang kunci Redis dan algoritma penelusuran vektor.
Transaksi
Karena sifat asinkron dalam menjalankan tugas oleh kumpulan thread, operasi penelusuran vektor tidak mematuhi semantik transaksional.