Ringkasan Vertex AI Vector Search

Vector Search didasarkan pada teknologi penelusuran vektor yang dikembangkan oleh penelitian Google. Dengan Vector Search, Anda dapat memanfaatkan riset dan teknologi yang sama yang menyediakan fondasi untuk produk Google seperti Google Penelusuran, YouTube, dan Play.

Pengantar

Vector Search dapat mencari di antara miliaran item yang mirip secara semantik atau terkait secara semantik. Layanan pencocokan kemiripan vektor memiliki banyak kasus penggunaan, seperti menerapkan mesin pemberi saran, mesin telusur, chatbot, dan klasifikasi teks.

Salah satu kemungkinan kasus penggunaan untuk Vector Search adalah retailer online yang memiliki inventaris ratusan ribu item pakaian. Dalam skenario ini, API embedding multimodal dapat membantu mereka membuat embedding item ini dan menggunakan Vector Search untuk mencocokkannya dengan kueri teks ke gambar yang paling mirip secara semantik. Misalnya, mereka dapat mencari "kuning gaun musim panas" dan kemudian Vector Search akan kembali dan menampilkan item yang paling serupa. Vector Search dapat menelusuri dalam skala besar, dengan kueri per detik (QPS) tinggi, perolehan tinggi, latensi rendah, dan biaya yang rendah.

Penggunaan embedding tidak terbatas pada kata atau teks. Anda dapat membuat embedding semantik untuk berbagai jenis data, termasuk gambar, audio, video, dan preferensi pengguna.

Untuk membuat embedding multimodal dengan Vertex AI, baca Mendapatkan embedding multimodal.

Cara menggunakan Vector Search untuk pencocokan semantik

Pencocokan semantik dapat disederhanakan menjadi beberapa langkah. Pertama, Anda harus membuat representasi embedding dari banyak item (dilakukan di luar Vector Search). Kedua, upload embedding Anda ke Google Cloud, lalu tautkan data Anda ke Vector Search. Setelah embedding ditambahkan ke Vector Search, Anda dapat membuat indeks untuk menjalankan kueri guna mendapatkan rekomendasi atau hasil.

Membuat embedding

Buat embedding untuk set data Anda. Hal ini melibatkan pra-pemrosesan data dengan cara yang memungkinkan pencarian perkiraan tetangga terdekat (approximate nearest neighbor atau ANN) secara efisien. Anda dapat melakukannya di luar Vertex AI atau menggunakan AI Generatif di Vertex AI untuk membuat embedding. Dengan AI Generatif di Vertex AI, Anda dapat membuat embedding teks dan multimodal.

Menambahkan embedding Anda ke Cloud Storage

Upload embedding Anda ke Cloud Storage agar dapat memanggilnya dari layanan Vector Search.

Mengunggah ke Vector Search

Hubungkan embedding Anda ke Vector Search untuk melakukan pencarian tetangga terdekat. Anda membuat indeks dari penyematan yang dapat di-deploy ke endpoint indeks untuk membuat kueri. Kueri akan menampilkan perkiraan tetangga terdekat.

Untuk membuat indeks, lihat Mengelola indeks.

Untuk men-deploy indeks Anda ke endpoint, lihat Men-deploy dan mengelola endpoint indeks.

Mengevaluasi hasil

Setelah memiliki hasil perkiraan tetangga terdekat, Anda dapat mengevaluasinya untuk melihat seberapa baik hasil tersebut memenuhi kebutuhan Anda. Jika hasilnya tidak cukup akurat, Anda dapat menyesuaikan parameter algoritma atau mengaktifkan penskalaan untuk mendukung lebih banyak kueri per detik. Hal ini dilakukan dengan memperbarui file konfigurasi, yang akan mengonfigurasi indeks Anda. Untuk mempelajari lebih lanjut, lihat Mengonfigurasi parameter indeks.

Terminologi Vector Search

Daftar ini berisi beberapa terminologi penting yang perlu Anda pahami untuk menggunakan Penelusuran Vektor:

  • Vektor: Vektor adalah daftar nilai float yang memiliki magnitudo dan arah. Atribut ini dapat digunakan untuk merepresentasikan jenis data apa pun, seperti angka, titik dalam ruang, dan arah.
  • Embedding: Embedding adalah jenis vektor yang digunakan untuk merepresentasikan data dengan cara menangkap makna semantiknya. Embedding biasanya dibuat menggunakan teknik machine learning, dan sering digunakan dalam natural language processing (NLP) dan aplikasi machine learning lainnya.
    • Embedding padat: Embedding padat merepresentasikan makna semantik teks, menggunakan array yang sebagian besar berisi nilai non-nol. Dengan penyematan yang padat, hasil penelusuran yang serupa dapat ditampilkan berdasarkan kemiripan semantik.
    • Embedding jarang: Embedding jarang mewakili sintaksis teks, menggunakan array berdimensi tinggi yang berisi sangat sedikit nilai non-nol dibandingkan dengan embedding rapat. Embed jarang digunakan untuk penelusuran kata kunci.
  • Penelusuran hybrid: Penelusuran hybrid menggunakan penyematan padat dan jarang, yang memungkinkan Anda melakukan penelusuran berdasarkan kombinasi penelusuran kata kunci dan penelusuran semantik. Vector Search mendukung penelusuran berdasarkan embedding padat. Sebagai fitur Pratinjau publik, Vector Search mendukung embedding jarang dan penelusuran campuran.
  • Indeks: Kumpulan vektor yang di-deploy secara bersamaan untuk penelusuran kemiripan. Vektor dapat ditambahkan ke atau dihapus dari indeks. Kueri penelusuran kemiripan dikeluarkan pada indeks tertentu dan menelusuri vektor dalam indeks tersebut.
  • Kebenaran nyata: Istilah yang mengacu pada verifikasi machine learning untuk memastikan akurasinya terhadap dunia nyata, seperti set data kebenaran nyata.

  • Perolehan: Persentase tetangga terdekat yang ditampilkan oleh indeks yang sebenarnya adalah tetangga terdekat sebenarnya. Misalnya, jika kueri tetangga terdekat untuk 20 tetangga terdekat menampilkan 19 tetangga terdekat dari kebenaran nyata, perolehannya adalah 19/20x100 = 95%.

  • Batasi: Fungsi yang membatasi penelusuran ke sebagian indeks dengan menggunakan aturan Boolean. Membatasi disebut juga sebagai "pemfilteran". Dengan Vector Search, Anda dapat menggunakan pemfilteran numerik dan pemfilteran atribut teks.

Langkah selanjutnya