Mengindeksikan vektor

Halaman ini menjelaskan cara menyimpan vektor dalam hash. Hash menyediakan cara yang efisien untuk menyimpan vektor di Redis.

Serialisasi data

Sebelum menyimpan vektor dalam hash Redis, vektor harus dikonversi ke format yang dipahami Redis. Hal ini memerlukan serialisasi vektor ke dalam blob biner dengan ukuran yang sama dengan ukuran byte jenis data (misalnya, 4 untuk FLOAT32) dikalikan dengan jumlah dimensi vektor. Pilihan populer untuk vektor numerik adalah library NumPy Python:

Menghubungkan ke Redis

Sebelum menyimpan vektor dalam hash, buat koneksi ke instance Redis menggunakan klien seperti redis-py:

Menyimpan vektor dalam hash

Hash Redis mirip dengan kamus, dengan pasangan nilai kunci. Gunakan perintah HSET Redis untuk menyimpan vektor serialisasi Anda:

import numpy as np
import redis

# Sample vector
vector = np.array([1.2, 3.5, -0.8], dtype=np.float32) # 3-dimensional vector

# Serialize to a binary blob
serialized_vector = vector.tobytes()

redis_client = redis.Redis(host='your_redis_host', port=6379)

redis_client.hset('vector_storage', 'vector_key', serialized_vector)  # 'vector_key' is a unique identifier
  • Agar pengindeksan berhasil, data vektor Anda harus mematuhi dimensi dan jenis data yang ditetapkan dalam skema indeks.

Mengisi Ulang Indeks

Pengisian ulang indeks dapat terjadi dalam salah satu skenario berikut:

  • Setelah indeks dibuat, prosedur pengisian ulang akan memindai ruang kunci Redis untuk menemukan entri yang memenuhi kriteria filter indeks.
  • Indeks vektor dan datanya dipertahankan dalam snapshot RDB. Saat file RDB dimuat, proses pengisian ulang indeks otomatis akan dipicu. Proses ini secara aktif mendeteksi dan mengintegrasikan entri baru atau yang diubah ke dalam indeks sejak snapshot RDB dibuat, mempertahankan integritas indeks, dan memastikan hasil saat ini.