Panduan memulai Vector Search

Dalam panduan memulai Vertex AI Vector Search, pelajari cara membuat indeks dari set data sampel dari situs pakaian e-commerce rekaan. Untuk tujuan panduan memulai ini, embedding telah dibuat. Panduan memulai ini dimaksudkan sebagai cara untuk mulai membuat dan men-deploy indeks dalam waktu kurang dari 30 menit.

Prasyarat

Tutorial ini memerlukan project Google Cloud yang ditautkan dengan akun penagihan. Untuk membuat project baru, lihat Menyiapkan project dan lingkungan pengembangan. Anda harus membuat project dan menyiapkan akun penagihan.

Memilih lingkungan runtime

Tutorial ini dapat dijalankan di Colab atau Vertex AI Workbench.

  • Colab: Buka tutorial ini di Colab
  • Vertex AI Workbench: Buka tutorial ini di Vertex AI Workbench. Jika ini pertama kalinya Anda menggunakan Vertex AI Workbench di project Google Cloud, buka bagian Vertex AI Workbench di Konsol Google Cloud, lalu klik Enable untuk mengaktifkan Notebooks API.

Untuk melihat notebook ini di GitHub, lihat GitHub.

Biaya untuk menyelesaikan panduan memulai ini

Untuk menyelesaikan tutorial ini, dibutuhkan biaya sekitar beberapa dolar AS. Harga layanan Google Cloud yang digunakan dalam tutorial ini tersedia di halaman berikut:

Anda juga dapat menggunakan kalkulator harga untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda.

Penyiapan

Sebelum mulai menggunakan Vertex AI, Anda perlu menyiapkan hal-hal berikut:

Menginstal Vertex AI SDK untuk Python

Vertex AI dan Cloud Storage API dapat diakses dengan beberapa cara, termasuk REST API dan Vertex AI SDK untuk Python. Dalam tutorial ini, Vertex AI SDK untuk Python digunakan.

!pip install --upgrade --user google-cloud-aiplatform>=1.29.0 google-cloud-storage

Untuk menggunakan paket yang baru diinstal dalam runtime Jupyter ini, Anda perlu memulai ulang runtime, seperti yang ditunjukkan pada cuplikan kode berikut.

# Restart kernel after installs so that your environment can access the new packages
import IPython

app = IPython.Application.instance()
app.kernel.do_shutdown(True)

Variabel lingkungan

Setel variabel lingkungan. Jika diminta, ganti your-project-id dengan project ID Anda dan jalankan sel.

# get project ID
PROJECT_ID = ! gcloud config get-value project
PROJECT_ID = PROJECT_ID[0]
LOCATION = "us-central1"
if PROJECT_ID == "(unset)":
    print(f"Please set the project ID manually below")

# define project information
if PROJECT_ID == "(unset)":
  PROJECT_ID = "[your-project-id]"

# generate a unique id for this session
from datetime import datetime
UID = datetime.now().strftime("%m%d%H%M")

Autentikasi (khusus Colab)

Jika menjalankan notebook ini di Colab, Anda harus menjalankan autentikasi sel berikut. Langkah ini tidak diperlukan jika Anda menggunakan Vertex AI Workbench karena telah diautentikasi sebelumnya.

import sys

# if it's Colab runtime, authenticate the user with Google Cloud
if 'google.colab' in sys.modules:
    from google.colab import auth
    auth.authenticate_user()

Menetapkan izin IAM

Anda perlu menambahkan izin akses ke akun layanan default untuk menggunakan layanan tersebut.

  1. Buka halaman IAM di Konsol Google Cloud.
  2. Cari akun utama untuk akun layanan komputasi default. Tampilannya akan terlihat seperti ini: compute@developer.gserviceaccount.com
  3. Klik tombol edit dan berikan akun layanan komputasi default dengan peran berikut: Vertex AI User and Storage Admin dan Service Usage Admin.

Mengaktifkan API

Jalankan perintah berikut guna mengaktifkan API untuk Compute Engine, Vertex AI, dan Cloud Storage dengan project Google Cloud ini.

! gcloud services enable compute.googleapis.com aiplatform.googleapis.com storage.googleapis.com --project {PROJECT_ID}

Menyiapkan data sampel

Dalam tutorial ini, kami menggunakan set data TheLook yang memiliki tabel produk dengan sekitar 30.000 baris data produk sintetis untuk situs pakaian e-commerce rekaan.

Set data sampel

Dari tabel ini, kita telah menyiapkan file product-embs.json.

Contoh embedding produk

File ini dalam format JSONL dan setiap baris memiliki ID untuk ID produk, nama untuk nama produk, dan embedding untuk penyematan nama produk dalam 768 dimensi yang dibuat sebelumnya dengan embedding Vertex AI untuk teks.

Embedding teks mewakili makna nama produk pakaian. Dalam tutorial ini, kita menggunakan Vector Search untuk menyelesaikan penelusuran semantik terhadap item. Kode contoh ini dapat digunakan sebagai dasar untuk sistem rekomendasi cepat lainnya tempat Anda dapat dengan cepat menemukan "produk lain yang serupa dengan ini".

Untuk mempelajari lebih lanjut cara membuat embedding dari data di tabel BigQuery dan menyimpannya dalam file JSON, lihat Mulai Menggunakan Embedding Teks + Penelusuran Vektor Vertex AI.

Menyiapkan data di Cloud Storage

Untuk membangun indeks dengan Vertex AI, tempatkan file embedding di bucket Cloud Storage. Kode berikut menyelesaikan dua tugas:

  1. Membuat bucket Cloud Storage.
  2. Menyalin file contoh ke bucket Cloud Storage Anda.
BUCKET_URI = f"gs://{PROJECT_ID}-vs-quickstart-{UID}"

! gsutil mb -l $LOCATION -p $PROJECT_ID $BUCKET_URI
! gsutil cp "gs://github-repo/data/vs-quickstart/product-embs.json" $BUCKET_URI

Agar dapat menggunakan Penelusuran Vektor untuk menjalankan kueri, Anda juga perlu menyalin file penyematan ke direktori lokal:

! gsutil cp "gs://github-repo/data/vs-quickstart/product-embs.json" . # for query tests

Membangun dan men-deploy indeks Vector Search

Pelajari cara membuat indeks, membuat endpoint indeks, lalu men-deploy indeks ke endpoint.

Membuat indeks

Sekarang saatnya memuat embedding ke Penelusuran Vektor. API ini tersedia pada paket aiplatform SDK.

# init the aiplatform package
from google.cloud import aiplatform
aiplatform.init(project=PROJECT_ID, location=LOCATION)

Buat MatchingEngineIndex dengan fungsi create_tree_ah_index-nya (Matching Engine adalah nama Vector Search sebelumnya).

# create Index
my_index = aiplatform.MatchingEngineIndex.create_tree_ah_index(
    display_name = f"vs-quickstart-index-{UID}",
    contents_delta_uri = BUCKET_URI,
    dimensions = 768,
    approximate_neighbors_count = 10,
)

Metode MatchingEngineIndex.create_tree_ah_index() akan membuat indeks. Proses ini memerlukan waktu kurang dari 10 menit jika set data berukuran kecil, atau sekitar 60 menit atau lebih, bergantung pada ukuran set data. Anda dapat memeriksa status pembuatan indeks di Konsol Google Cloud Vector Search

Lihat Indeks

Parameter untuk membuat indeks:

  • contents_delta_uri: URI direktori Cloud Storage tempat Anda menyimpan file JSON yang menyematkan
  • dimensions: ukuran dimensi dari setiap embedding. Dalam hal ini, nilainya adalah 768 karena Anda menggunakan embedding dari API embedding teks.
  • approximate_neighbors_count: jumlah item serupa yang ingin Anda ambil dalam kasus standar

Untuk mempelajari lebih lanjut cara membuat indeks dan parameter yang tersedia, lihat Membuat dan mengelola indeks Anda

Membuat endpoint indeks dan men-deploy indeks

Untuk menggunakan indeks, Anda perlu membuat endpoint indeks. ID ini berfungsi sebagai instance server yang menerima permintaan kueri untuk indeks Anda.

## create `IndexEndpoint`
my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint.create(
    display_name = f"vs-quickstart-index-endpoint-{UID}",
    public_endpoint_enabled = True
)

Dengan endpoint indeks, deploy indeks dengan menentukan ID indeks unik yang di-deploy.

DEPLOYED_INDEX_ID = f"vs_quickstart_deployed_{UID}"

# deploy the Index to the Index Endpoint
my_index_endpoint.deploy_index(
    index = my_index, deployed_index_id = DEPLOYED_INDEX_ID
)

Jika ini pertama kalinya men-deploy indeks ini ke endpoint indeks, perlu waktu sekitar 30 menit untuk membangun dan memulai backend secara otomatis. Untuk melihat status deployment indeks, di bagian Vertex AI pada Konsol Google Cloud, buka bagian Deploy and Use. Pilih Indeks

Lihat Indeks

Menjalankan kueri dengan Vector Search

Dalam kode berikut, ia menemukan embedding untuk nama produk tertentu, dan menemukan nama produk yang mirip dengan Vector Search.

Mendapatkan embedding untuk menjalankan kueri

Pertama, muat file JSON penyematan untuk membuat dict nama dan embedding produk.

import json

# build dicts for product names and embs
product_names = {}
product_embs = {}
with open('product-embs.json') as f:
    for l in f.readlines():
        p = json.loads(l)
        id = p['id']
        product_names[id] = p['name']
        product_embs[id] = p['embedding']

Dengan kamus product_embs, Anda dapat menentukan ID produk untuk mendapatkan penyematannya.

 # Get the embedding for ID 6523 "cloudveil women's excursion short"
 you can also try with other IDs such as 12711, 18090, 19536 and 11863
query_emb = product_embs['6523']

Menjalankan kueri

Teruskan penyematan ke metode Endpoint.find_neighbors() untuk menemukan nama produk yang mirip.

# run query
response = my_index_endpoint.find_neighbors(
    deployed_index_id = DEPLOYED_INDEX_ID,
    queries = [query_emb],
    num_neighbors = 10
)

# show the results
for idx, neighbor in enumerate(response[0]):
    print(f"{neighbor.distance:.2f} {product_names[neighbor.id]}")

Metode find_neighbors() hanya memerlukan waktu milidetik untuk mengambil item serupa, meskipun Anda memiliki miliaran item pada indeks, berkat algoritma ScaNN. Vector Search juga mendukung penskalaan otomatis yang dapat otomatis mengubah ukuran jumlah node berdasarkan permintaan workload Anda.

Pembersihan

Jika menggunakan project Cloud Anda sendiri, bukan project sementara di Qwiklabs, pastikan untuk menghapus semua indeks, endpoint indeks, dan bucket Cloud Storage setelah menyelesaikan tutorial ini. Jika tidak, Anda mungkin dikenai biaya tak terduga dari resource yang tersisa.

Jika menggunakan Workbench, Anda mungkin juga perlu menghapus notebook dari konsol.


# wait for a confirmation
input("Press Enter to delete Index Endpoint, Index and Cloud Storage bucket:")

# delete Index Endpoint
my_index_endpoint.undeploy_all()
my_index_endpoint.delete(force = True)

# delete Index
my_index.delete()

# delete Cloud Storage bucket
! gsutil rm -r {BUCKET_URI}

Utilitas

Perlu waktu beberapa saat untuk membuat atau men-deploy indeks, dan selama itu Anda mungkin kehilangan koneksi dengan runtime Colab. Jika koneksi terputus, daripada membuat atau men-deploy indeks baru lagi, Anda dapat memeriksa Vector Search Google Cloud Console dan menggunakan yang sudah ada untuk melanjutkan.

Dapatkan indeks yang ada

Untuk mendapatkan objek indeks yang sudah ada, ganti your-index-id berikut dengan ID indeks dan jalankan sel. Anda bisa mendapatkan ID indeks dengan memeriksa Konsol Google Cloud Vector Search. Di bagian Vertex AI pada Konsol Google Cloud, buka bagian Deploy and Use. Pilih Indeks

Lihat Indeks

my_index_id = "[your-index-id]"
my_index = aiplatform.MatchingEngineIndex(my_index_id)

Mendapatkan endpoint indeks yang ada

Untuk mendapatkan objek endpoint indeks yang sudah ada, ganti your-index-endpoint-id berikut dengan ID endpoint indeks dan jalankan sel. Anda bisa mendapatkan endpoint indeks dengan memeriksa konsol Vector Search Google Cloud. Di bagian Vertex AI pada Konsol Google Cloud, buka bagian Deploy and Use. Pilih Endpoint Indeks

Lihat Endpoint Indeks

my_index_endpoint_id = "[your-index-endpoint-id]"
my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint(my_index_endpoint_id)