Ringkasan Vertex AI Vector Search

Vector Search didasarkan pada teknologi penelusuran vektor yang dikembangkan oleh penelitian Google. Dengan Vector Search, Anda dapat memanfaatkan infrastruktur sama yang menyediakan fondasi untuk produk Google seperti Google Penelusuran, YouTube, dan Play.

Pengantar

Vector Search dapat mencari di antara miliaran item yang mirip secara semantik atau terkait secara semantik. Layanan pencocokan kemiripan vektor memiliki banyak kasus penggunaan seperti menerapkan mesin pemberi saran, mesin telusur, chatbot, dan klasifikasi teks.

Kueri tentang gaun

Salah satu kemungkinan kasus penggunaan untuk Vector Search adalah retailer online yang memiliki inventaris ratusan ribu item pakaian. Dalam skenario ini, API embedding multimodal dapat membantu mereka membuat embedding item ini dan menggunakan Vector Search untuk mencocokkannya dengan kueri teks ke gambar yang paling mirip secara semantik. Misalnya, mereka dapat mencari "kuning gaun musim panas" dan kemudian Vector Search akan kembali dan menampilkan item yang paling serupa. Vector Search dapat menelusuri dalam skala besar, dengan kueri per detik (QPS) tinggi, perolehan tinggi, latensi rendah, dan biaya yang rendah.

Penggunaan embedding tidak terbatas pada kata atau teks. Anda dapat membuat embedding semantik untuk berbagai jenis data, termasuk gambar, audio, video, dan preferensi pengguna. Untuk membuat embedding multimodal dengan Vertex AI, baca Mendapatkan embedding multimodal.

Cara menggunakan Vector Search untuk pencocokan semantik

Pencocokan semantik dapat disederhanakan menjadi beberapa langkah. Pertama, Anda harus membuat representasi embedding dari banyak item (dilakukan di luar Vector Search). Kedua, upload embedding Anda ke Google Cloud, lalu tautkan data Anda ke Vector Search. Setelah embedding ditambahkan ke Vector Search, Anda dapat membuat indeks untuk menjalankan kueri guna mendapatkan rekomendasi atau hasil.

Membuat embedding

Buat embedding untuk set data Anda. Hal ini melibatkan pra-pemrosesan data dengan cara yang memungkinkan pencarian perkiraan tetangga terdekat (approximate nearest neighbor atau ANN) secara efisien. Anda dapat melakukan hal ini di luar Vertex AI atau menggunakan AI Generatif di Vertex AI untuk membuat penyematan. Dengan AI Generatif di Vertex AI, Anda dapat membuat embedding teks dan multimodal.

Menambahkan embedding Anda ke Cloud Storage

Upload embedding ke Cloud Storage agar Anda dapat memanggilnya dari layanan Vector Search.

Mengunggah ke Vector Search

Hubungkan embedding Anda ke Vector Search untuk melakukan pencarian tetangga terdekat. Anda membuat indeks dari embedding, yang dapat di-deploy ke endpoint indeks untuk membuat kueri. Kueri akan menampilkan perkiraan tetangga terdekat. Untuk membuat indeks, lihat Mengelola indeks. Untuk men-deploy indeks Anda ke endpoint, lihat Men-deploy dan mengelola endpoint indeks.

Mengevaluasi hasil

Setelah memiliki hasil perkiraan tetangga terdekat, Anda dapat mengevaluasinya untuk melihat seberapa baik hasil tersebut memenuhi kebutuhan Anda. Jika hasilnya tidak cukup akurat, Anda dapat menyesuaikan parameter algoritma atau mengaktifkan penskalaan untuk mendukung lebih banyak kueri per detik. Hal ini dilakukan dengan memperbarui file konfigurasi, yang akan mengonfigurasi indeks Anda. Untuk mempelajari lebih lanjut, lihat Mengonfigurasi parameter indeks.

Terminologi Vector Search

Daftar ini berisi beberapa terminologi penting yang harus Anda pahami untuk menggunakan Vector Search:

  • Vektor: Vektor adalah daftar nilai float yang memiliki magnitudo dan arah. Atribut ini dapat digunakan untuk merepresentasikan segala jenis data, seperti angka, titik dalam ruang, dan arah.
  • Embedding: Embedding adalah jenis vektor yang digunakan untuk merepresentasikan data dengan cara yang menangkap makna semantiknya. Embedding biasanya dibuat menggunakan teknik machine learning, dan sering digunakan dalam natural language processing (NLP) dan aplikasi machine learning lainnya.
  • Indeks: Kumpulan vektor yang di-deploy secara bersamaan untuk penelusuran kemiripan. Vektor dapat ditambahkan ke atau dihapus dari indeks. Kueri penelusuran kemiripan dikeluarkan pada indeks tertentu dan menelusuri vektor dalam indeks tersebut.
  • Kebenaran dasar: Istilah yang mengacu pada verifikasi machine learning untuk mengetahui akurasinya terhadap dunia nyata, seperti set data kebenaran dasar.

  • Perolehan: Persentase tetangga terdekat yang ditampilkan oleh indeks yang sebenarnya adalah tetangga terdekat yang sebenarnya. Misalnya, jika kueri tetangga terdekat untuk 20 tetangga terdekat menampilkan 19 kebenaran dasar yang merupakan tetangga terdekat, perolehannya adalah 19/20x100 = 95%.

  • Batasi: Fungsi yang membatasi penelusuran ke sebagian indeks dengan menggunakan aturan Boolean. Membatasi disebut juga sebagai "pemfilteran". Dengan Vector Search, Anda dapat menggunakan pemfilteran numerik dan pemfilteran atribut teks.

Langkah selanjutnya