Panduan memulai Vector Search

Untuk melihat contoh cara mulai menggunakan Vertex AI Vector Search, jalankan notebook Jupyter "Mulai menggunakan Vertex AI Vector Search" di salah satu lingkungan berikut:

Buka di Colab | Buka di Colab Enterprise | Buka di notebook Vertex AI Workbench yang dikelola pengguna | Lihat di GitHub

Di panduan memulai Vertex AI Vector Search, pelajari cara membuat indeks dari set data contoh dari situs pakaian e-commerce fiktif. Untuk tujuan panduan memulai ini, penyematan telah dibuat. Panduan memulai ini ditujukan sebagai cara untuk mulai membuat dan men-deploy indeks dalam waktu kurang dari 30 menit.

Prasyarat

Tutorial ini memerlukan project Google Cloud yang ditautkan dengan akun penagihan. Untuk membuat project baru, lihat Menyiapkan project dan lingkungan pengembangan. Anda perlu membuat project dan menyiapkan akun penagihan.

Memilih lingkungan runtime

Tutorial ini dapat dijalankan di Colab atau Vertex AI Workbench.

• Colab: Buka tutorial ini di Colab
• Vertex AI Workbench: Buka tutorial ini di Vertex AI Workbench. Jika ini adalah pertama kalinya Anda menggunakan Vertex AI Workbench di project Google Cloud, buka bagian Vertex AI Workbench di konsol Google Cloud, lalu klik Aktifkan untuk mengaktifkan Notebooks API.

Untuk melihat notebook ini di GitHub, lihat GitHub.

Biaya untuk menyelesaikan panduan memulai ini

Untuk menyelesaikan tutorial ini, Anda harus membayar sekitar beberapa dolar AS. Harga layanan Google Cloud yang digunakan dalam tutorial ini tersedia di halaman berikut:

• Vector Search Vertex AI
• Cloud Storage
• Vertex AI Workbench

Anda juga dapat menggunakan kalkulator harga untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan.

Penting: Hapus objek Anda setelah tutorial. Pastikan untuk menghapus semua indeks, endpoint indeks, bucket Cloud Storage, dan instance Vertex AI Workbench jika Anda menggunakannya setelah menyelesaikan tutorial ini. Jika objek ini tidak dihapus, aset yang tersisa ini dapat menimbulkan biaya yang tidak terduga.

Penyiapan

Sebelum memulai Vertex AI, Anda perlu menyiapkan hal berikut:

• Menginstal Vertex AI SDK untuk Python
• Menetapkan variabel lingkungan
• Autentikasi (khusus Colab)
• Menetapkan izin IAM
• Aktifkan API

Menginstal Vertex AI SDK untuk Python

Vertex AI dan Cloud Storage API dapat diakses dengan beberapa cara, termasuk REST API dan Vertex AI SDK untuk Python. Dalam tutorial ini, Vertex AI SDK untuk Python akan digunakan.

!pip install --upgrade --user google-cloud-aiplatform>=1.29.0 google-cloud-storage

Untuk menggunakan paket yang baru diinstal di runtime Jupyter ini, Anda harus memulai ulang runtime, seperti yang ditunjukkan dalam cuplikan kode berikut.

# Restart kernel after installs so that your environment can access the new packages
import IPython

app = IPython.Application.instance()
app.kernel.do_shutdown(True)

Variabel lingkungan

Tetapkan variabel lingkungan. Jika diminta, ganti your-project-id dengan project ID Anda, lalu jalankan sel.

# get project ID
PROJECT_ID = ! gcloud config get-value project
PROJECT_ID = PROJECT_ID[0]
LOCATION = "us-central1"
if PROJECT_ID == "(unset)":
    print(f"Please set the project ID manually below")

# define project information
if PROJECT_ID == "(unset)":
  PROJECT_ID = "[your-project-id]"

# generate a unique id for this session
from datetime import datetime
UID = datetime.now().strftime("%m%d%H%M")

Autentikasi (khusus Colab)

Jika menjalankan notebook ini di Colab, Anda harus menjalankan autentikasi sel berikut. Langkah ini tidak diperlukan jika Anda menggunakan Vertex AI Workbench karena sudah diautentikasi sebelumnya.

import sys

# if it's Colab runtime, authenticate the user with Google Cloud
if 'google.colab' in sys.modules:
    from google.colab import auth
    auth.authenticate_user()

Menetapkan izin IAM

Anda perlu menambahkan izin akses ke akun layanan default untuk menggunakan layanan.

1. Buka halaman IAM di Konsol Google Cloud.
2. Cari akun utama untuk akun layanan komputasi default. Tampilannya akan terlihat seperti: [e-mail]
3. Klik tombol edit dan berikan akun layanan komputasi default dengan peran berikut: Vertex AI User dan Storage Admin serta Service Usage Admin.

Mengaktifkan API

Jalankan perintah berikut untuk mengaktifkan API untuk Compute Engine, Vertex AI, dan Cloud Storage dengan project Google Cloud ini.

! gcloud services enable compute.googleapis.com aiplatform.googleapis.com storage.googleapis.com --project {PROJECT_ID}

Menyiapkan data sampel

Dalam tutorial ini, kita menggunakan set data TheLook yang memiliki tabel produk dengan sekitar 30.000 baris data produk sintetis untuk situs pakaian e-commerce fiktif.

Dari tabel ini, kita telah menyiapkan file product-embs.json.

File ini dalam format JSONL dan setiap baris memiliki ID untuk ID produk, nama untuk nama produk, dan penyematan untuk penyematan nama produk dalam 768 dimensi yang dibuat sebelumnya dengan penyematan Vertex AI untuk teks.

Penyematan teks mewakili makna nama produk pakaian. Dalam tutorial ini, kita menggunakan Vector Search untuk menyelesaikan penelusuran semantik item. Kode contoh ini dapat digunakan sebagai dasar untuk sistem rekomendasi cepat lainnya tempat Anda dapat dengan cepat menemukan "produk lain yang mirip dengan ini".

Untuk mempelajari lebih lanjut cara membuat penyematan dari data di tabel BigQuery dan menyimpannya dalam file JSON, lihat Memulai Penyematan Teks + Penelusuran Vektor Vertex AI.

Menyiapkan data di Cloud Storage

Untuk membuat indeks dengan Vertex AI, tempatkan file penyematan di bucket Cloud Storage. Kode berikut menyelesaikan dua tugas:

1. Membuat bucket Cloud Storage.
2. Menyalin file contoh ke bucket Cloud Storage Anda.

BUCKET_URI = f"gs://{PROJECT_ID}-vs-quickstart-{UID}"

! gcloud storage buckets create $BUCKET_URI --location=$LOCATION --project=$PROJECT_ID
! gcloud storage cp "gs://github-repo/data/vs-quickstart/product-embs.json" $BUCKET_URI

Untuk menggunakan Vector Search guna menjalankan kueri, Anda juga perlu menyalin file penyematan ke direktori lokal:

! gcloud storage cp "gs://github-repo/data/vs-quickstart/product-embs.json" . # for query tests

Mem-build dan men-deploy indeks Vector Search

Pelajari cara membuat indeks, membuat endpoint indeks, lalu men-deploy indeks ke endpoint.

Membuat indeks

Sekarang saatnya memuat embedding ke Vector Search. API tersedia dalam paket aiplatform SDK.

# init the aiplatform package
from google.cloud import aiplatform
aiplatform.init(project=PROJECT_ID, location=LOCATION)

Buat MatchingEngineIndex dengan fungsi create_tree_ah_index-nya (Matching Engine adalah nama sebelumnya dari Vector Search).

# create Index
my_index = aiplatform.MatchingEngineIndex.create_tree_ah_index(
    display_name = f"vs-quickstart-index-{UID}",
    contents_delta_uri = BUCKET_URI,
    dimensions = 768,
    approximate_neighbors_count = 10,
)

Metode MatchingEngineIndex.create_tree_ah_index() membuat indeks. Proses ini memerlukan waktu kurang dari 10 menit jika set data kecil, atau sekitar 60 menit atau lebih, bergantung pada ukuran set data. Anda dapat memeriksa status pembuatan indeks di konsol Google Cloud Penelusuran Vektor

Lihat Indexes

Parameter untuk membuat indeks:

• contents_delta_uri: URI direktori Cloud Storage tempat Anda menyimpan file JSON penyematan
• dimensions: ukuran dimensi setiap penyematan. Dalam hal ini, ukurannya adalah 768 karena Anda menggunakan embedding dari API embedding teks.
• approximate_neighbors_count: jumlah item serupa yang ingin Anda ambil dalam kasus umum

Untuk mempelajari lebih lanjut cara membuat indeks dan parameter yang tersedia, lihat Membuat dan mengelola indeks

Membuat endpoint indeks dan men-deploy indeks

Untuk menggunakan indeks, Anda harus membuat endpoint indeks. Fungsinya sebagai instance server yang menerima permintaan kueri untuk indeks Anda.

## create `IndexEndpoint`
my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint.create(
    display_name = f"vs-quickstart-index-endpoint-{UID}",
    public_endpoint_enabled = True
)

Dengan endpoint indeks, deploy indeks dengan menentukan ID indeks yang di-deploy secara unik.

DEPLOYED_INDEX_ID = f"vs_quickstart_deployed_{UID}"

# deploy the Index to the Index Endpoint
my_index_endpoint.deploy_index(
    index = my_index, deployed_index_id = DEPLOYED_INDEX_ID
)

Jika ini adalah pertama kalinya Anda men-deploy indeks ini ke endpoint indeks, perlu waktu sekitar 30 menit untuk mem-build dan memulai backend secara otomatis. Untuk melihat status deployment indeks, di bagian Vertex AI pada konsol Google Cloud, buka bagian Deploy and Use. Pilih Indexes

Lihat Indexes

Menjalankan kueri dengan Penelusuran Vektor

Dalam kode berikut, kode ini menemukan penyematan untuk nama produk yang ditentukan, dan menemukan nama produk yang serupa dengan Penelusuran Vektor.

Mendapatkan penyematan untuk menjalankan kueri

Pertama, muat file JSON penyematan untuk membuat dict nama produk dan penyematan.

import json

# build dicts for product names and embs
product_names = {}
product_embs = {}
with open('product-embs.json') as f:
    for l in f.readlines():
        p = json.loads(l)
        id = p['id']
        product_names[id] = p['name']
        product_embs[id] = p['embedding']

Dengan kamus product_embs, Anda dapat menentukan ID produk untuk mendapatkan penyematan.

 # Get the embedding for ID 6523 "cloudveil women's excursion short"
 # You can also try with other IDs such as 12711, 18090, 19536 and 11863
query_emb = product_embs['6523']

Menjalankan kueri

Teruskan penyematan ke metode Endpoint.find_neighbors() untuk menemukan nama produk yang serupa.

# run query
response = my_index_endpoint.find_neighbors(
    deployed_index_id = DEPLOYED_INDEX_ID,
    queries = [query_emb],
    num_neighbors = 10
)

# show the results
for idx, neighbor in enumerate(response[0]):
    print(f"{neighbor.distance:.2f} {product_names[neighbor.id]}")

Metode find_neighbors() hanya memerlukan milidetik untuk mengambil item serupa meskipun Anda memiliki miliaran item di indeks, berkat algoritme ScaNN. Vector Search juga mendukung penskalaan otomatis yang dapat otomatis mengubah ukuran jumlah node berdasarkan permintaan workload Anda.

Pembersihan

Jika Anda menggunakan project Cloud Anda sendiri, bukan project sementara di Qwiklabs, pastikan untuk menghapus semua indeks, endpoint indeks, dan bucket Cloud Storage setelah menyelesaikan tutorial ini. Jika tidak, Anda mungkin akan dikenai biaya yang tidak terduga dari resource yang tersisa.

Jika menggunakan Workbench, Anda mungkin juga perlu menghapus notebook dari konsol.

# wait for a confirmation
input("Press Enter to delete Index Endpoint, Index and Cloud Storage bucket:")

# delete Index Endpoint
my_index_endpoint.undeploy_all()
my_index_endpoint.delete(force = True)

# delete Index
my_index.delete()

# delete Cloud Storage bucket
! gcloud storage rm {BUCKET_URI} --recursive

Utilitas

Diperlukan waktu beberapa saat untuk membuat atau men-deploy indeks, dan selama waktu tersebut, Anda mungkin kehilangan koneksi dengan runtime Colab. Jika kehilangan koneksi, Anda dapat memeriksa konsol Google Cloud Vector Search, bukan membuat atau men-deploy ulang indeks baru, dan menggunakan indeks yang ada untuk melanjutkan.

Mendapatkan indeks yang ada

Untuk mendapatkan objek indeks yang sudah ada, ganti your-index-id berikut dengan ID indeks dan jalankan sel. Anda bisa mendapatkan ID indeks dengan memeriksa konsol Google Cloud Vector Search. Di bagian Vertex AI pada Konsol Google Cloud, buka bagian Deploy and Use. Pilih Indexes

Lihat Indexes

my_index_id = "[your-index-id]"
my_index = aiplatform.MatchingEngineIndex(my_index_id)

Mendapatkan endpoint indeks yang ada

Untuk mendapatkan objek endpoint indeks yang sudah ada, ganti your-index-endpoint-id berikut dengan ID endpoint indeks, lalu jalankan sel. Anda bisa mendapatkan endpoint indeks dengan memeriksa konsol Google Cloud Penelusuran Vektor. Di bagian Vertex AI pada Konsol Google Cloud, buka bagian Deploy and Use. Pilih Endpoint Indeks

Lihat Endpoint Indeks

my_index_endpoint_id = "[your-index-endpoint-id]"
my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint(my_index_endpoint_id)