Gunakan Private Service Connect untuk mengakses indeks Vector Search dari infrastruktur lokal

Host lokal dapat menjangkau endpoint indeks Vector Search baik melalui internet publik atau secara pribadi melalui jaringan hybrid arsitektur yang menggunakan Private Service Connect melalui Cloud VPN atau Cloud Interconnect. Kedua opsi menawarkan SSL/TLS enkripsi. Namun, opsi pribadi menawarkan kinerja dan oleh karena itu direkomendasikan untuk aplikasi penting.

Dalam tutorial ini, Anda menggunakan VPN Ketersediaan Tinggi (VPN HA) untuk mengakses endpoint indeks Vector Search secara pribadi, antara dua jaringan Virtual Private Cloud (VPC) yang dapat berfungsi sebagai dasar untuk konektivitas pribadi multi-cloud dan lokal.

Tutorial ini ditujukan untuk administrator jaringan perusahaan, data ilmuwan, dan peneliti yang sudah terbiasa dengan Vertex AI, Virtual Private Cloud, Konsol Google Cloud, dan Cloud Shell. Pemahaman tentang Penelusuran Vektor adalah membantu tetapi tidak wajib.

Diagram arsitektur penggunaan Private Service Connect untuk mengakses indeks Vector Search dari infrastruktur lokal.

Tujuan

  • Buat dua jaringan VPC, seperti ditunjukkan dalam contoh diagram:
    • Satu (onprem-vpc) mewakili jaringan lokal.
    • Satunya lagi (vertex-networking-vpc) adalah untuk Penelusuran Vektor endpoint indeks.
  • Deploy gateway VPN dengan ketersediaan tinggi (HA), tunnel Cloud VPN, dan Cloud Router untuk menghubungkan vertex-networking-vpc dan onprem-vpc.
  • Bangun dan deploy indeks Vector Search.
  • Buat aturan penerusan Private Service Connect untuk meneruskan kueri ke endpoint indeks Vector Search.
  • Mengonfigurasi rute Cloud Router yang diiklankan khusus di vertex-networking-vpc untuk mengumumkan rute untuk endpoint indeks ke onprem-vpc.
  • Buat instance VM Compute Engine di onprem-vpc untuk merepresentasikan aplikasi klien yang mengirimkan permintaan ke Vector Search endpoint indeks melalui VPN dengan ketersediaan tinggi (HA).

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Pembersihan.

Sebelum memulai

  1. Di konsol Google Cloud, buka halaman Pemilih project.

    Buka pemilih project

  2. Pilih atau buat project Google Cloud.

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Buka Cloud Shell untuk menjalankan perintah yang tercantum dalam tutorial ini. Cloud Shell adalah lingkungan shell interaktif untuk Google Cloud yang dapat Anda gunakan untuk mengelola project dan resource dari browser web.
  5. Di Cloud Shell, tetapkan project saat ini ke ID project Google Cloud dan simpan project ID ke variabel shell projectid: 
      projectid="PROJECT_ID"
  gcloud config set project ${projectid}
     Ganti PROJECT_ID dengan project ID Anda. Jika perlu, Anda dapat menemukan project ID di konsol Google Cloud. Untuk informasi selengkapnya, lihat Temukan project ID Anda.
  6. Jika Anda bukan pemilik proyek, mintalah pemilik proyek untuk memberi Anda Admin IAM Project (roles/resourcemanager.projectIamAdmin) peran. Anda harus memiliki peran ini untuk memberikan peran IAM pada langkah berikutnya.

  7. Berikan peran ke Akun Google Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut: roles/aiplatform.user, roles/compute.instanceAdmin.v1, roles/compute.networkAdmin, roles/compute.securityAdmin, roles/dns.admin, roles/iam.serviceAccountAdmin, roles/iam.serviceAccountUser, roles/iap.admin, roles/iap.tunnelResourceAccessor, roles/notebooks.admin, roles/servicemanagement.quotaAdmin, roles/servicedirectory.editor, roles/storage.admin, roles/aiplatform.admin, roles/aiplatform.user, roles/resourcemanager.projectIamAdmin 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE
    • Ganti PROJECT_ID dengan project ID Anda.
    • Ganti EMAIL_ADDRESS dengan alamat email Anda.
    • Ganti ROLE dengan setiap peran individual.

  8. Aktifkan API DNS, IAM, Compute Engine, Notebooks, and Vertex AI: 

    gcloud services enable dns.googleapis.com iam.googleapis.com compute.googleapis.com notebooks.googleapis.com aiplatform.googleapis.com

Membuat jaringan VPC

Di bagian ini, Anda akan membuat dua jaringan VPC: satu untuk membuat indeks Vector Search dan meng-deploy-nya ke endpoint, akses pribadi ke endpoint tersebut.

Membuat jaringan VPC untuk endpoint indeks Vector Search (vertex-networking-vpc)

  1. Buat jaringan VPC untuk endpoint indeks:

    gcloud compute networks create vertex-networking-vpc --project=$projectid --subnet-mode custom

  2. Buat subnet bernama workbench-subnet, dengan rentang IPv4 utama 172.16.20.0/28:

    gcloud compute networks subnets create workbench-subnet \
  --project=$projectid --range=172.16.20.0/28 \
  --network=vertex-networking-vpc \
  --region=us-central1 \
  --enable-private-ip-google-access

  3. Buat subnet bernama psc-forwarding-rule-subnet, dengan rentang IPv4 utama dari 172.16.30.0/28:

    gcloud compute networks subnets create psc-forwarding-rule-subnet \
  --project=$projectid \
  --range=172.16.30.0/28 \
  --network=vertex-networking-vpc \
  --region=us-central1 \
  --enable-private-ip-google-access

Membuat jaringan VPC untuk akses pribadi ke endpoint (onprem-vpc)

  1. Membuat jaringan VPC untuk menyimulasikan jaringan lokal (onprem-vpc):

    gcloud compute networks create onprem-vpc \
  --subnet-mode custom

  2. Di jaringan onprem-vpc, buat subnet bernama onprem-vpc-subnet1, dengan rentang IPv4 utama 172.16.10.0/29:

    gcloud compute networks subnets create onprem-vpc-subnet1 \
  --network onprem-vpc \
  --range 172.16.10.0/29 \
  --region us-central1

Memastikan bahwa jaringan VPC dikonfigurasi dengan benar

  1. Di konsol Google Cloud, buka tab Jaringan dalam project saat ini di halaman VPC networks.

    Buka jaringan VPC

  2. Dalam daftar jaringan VPC, pastikan kedua jaringan yang telah dibuat: vertex-networking-vpc dan onprem-vpc.

  3. Klik tab Subnets in current project.

  4. Dalam daftar subnet VPC, pastikan bahwa workbench-subnet, psc-forwarding-rule-subnet, dan onprem-vpc-subnet1 subnet telah dibuat.

Membuat instance VM on-prem-client

Di bagian ini, Anda akan membuat instance VM untuk mewakili aplikasi klien yang mengirimkan permintaan ke endpoint indeks Vector Search melalui VPN HA.

  1. Di Cloud Shell, buat instance VM on-prem-client:

    gcloud compute instances create on-prem-client \
  --zone=us-central1-a \
  --image-family=debian-11 \
  --image-project=debian-cloud \
  --subnet=onprem-vpc-subnet1 \
  --scopes=https://www.googleapis.com/auth/cloud-platform \
  --no-address \
  --shielded-secure-boot \
  --metadata startup-script="#! /bin/bash
    sudo apt-get update
    sudo apt-get install tcpdump dnsutils -y"

Mengonfigurasi konektivitas hybrid

Di bagian ini, Anda akan membuat dua VPN HA {i>gateway<i} yang terhubung satu sama lain. Salah satunya tinggal di Jaringan VPC vertex-networking-vpc. Yang lainnya tinggal di Jaringan VPC onprem-vpc. Setiap gateway berisi Cloud Router dan sepasang tunnel VPN.

Membuat gateway VPN dengan ketersediaan tinggi (HA)

  1. Di Cloud Shell, buat gateway VPN dengan ketersediaan tinggi (HA) untuk Jaringan VPC vertex-networking-vpc:

    gcloud compute vpn-gateways create vertex-networking-vpn-gw1 \
   --network vertex-networking-vpc \
   --region us-central1

  2. Membuat gateway VPN dengan ketersediaan tinggi (HA) untuk onprem-vpc Jaringan VPC:

    gcloud compute vpn-gateways create onprem-vpn-gw1 \
   --network onprem-vpc \
   --region us-central1

  3. Di konsol Google Cloud, buka tab Cloud VPN Gateways di VPN.

    Buka VPN

  4. Verifikasi bahwa kedua gateway (vertex-networking-vpn-gw1 dan onprem-vpn-gw1) telah dibuat dan masing-masing memiliki dua alamat IP antarmuka.

Membuat Cloud Router dan gateway Cloud NAT

Di kedua jaringan VPC, Anda membuat dua Cloud Router: satu umum dan satu regional. Di setiap Cloud Router, Anda membuat gateway Cloud NAT. Gateway Cloud NAT menyediakan konektivitas keluar untuk Compute Engine instance mesin virtual (VM) yang tidak memiliki alamat IP eksternal.

  1. Di Cloud Shell, buat Cloud Router untuk Jaringan VPC vertex-networking-vpc:

    gcloud compute routers create vertex-networking-vpc-router1 \
   --region us-central1\
   --network vertex-networking-vpc \
   --asn 65001

  2. Buat Cloud Router untuk jaringan VPC onprem-vpc:

    gcloud compute routers create onprem-vpc-router1 \
   --region us-central1\
   --network onprem-vpc\
   --asn 65002

  3. Membuat Cloud Router regional untuk Jaringan VPC vertex-networking-vpc:

    gcloud compute routers create cloud-router-us-central1-vertex-nat \
  --network vertex-networking-vpc \
  --region us-central1

  4. Konfigurasikan gateway Cloud NAT di Cloud Router regional:

    gcloud compute routers nats create cloud-nat-us-central1 \
  --router=cloud-router-us-central1-vertex-nat \
  --auto-allocate-nat-external-ips \
  --nat-all-subnet-ip-ranges \
  --region us-central1

  5. Membuat Cloud Router regional untuk VPC onprem-vpc jaringan:

    gcloud compute routers create cloud-router-us-central1-onprem-nat \
  --network onprem-vpc \
  --region us-central1

  6. Konfigurasikan gateway Cloud NAT di Cloud Router regional:

    gcloud compute routers nats create cloud-nat-us-central1-on-prem \
  --router=cloud-router-us-central1-onprem-nat \
  --auto-allocate-nat-external-ips \
  --nat-all-subnet-ip-ranges \
  --region us-central1

  7. Di konsol Google Cloud, buka halaman Cloud Function.

    Buka Cloud Router

  8. Dalam daftar Cloud Routers, pastikan router berikut telah dibuat:

    • cloud-router-us-central1-onprem-nat
    • cloud-router-us-central1-vertex-nat
    • onprem-vpc-router1
    • vertex-networking-vpc-router1

    Anda mungkin perlu me-refresh tab browser Konsol Google Cloud untuk melihat versi baru masing-masing.

  9. Dalam daftar Cloud Router, klik cloud-router-us-central1-vertex-nat.

  10. Di halaman Router details, pastikan cloud-nat-us-central1 Gateway Cloud NAT telah dibuat.

  11. Klik tanda panah kembali untuk kembali ke halaman Cloud Routers.

  12. Dalam daftar router, klik cloud-router-us-central1-onprem-nat.

  13. Di halaman Router details, pastikan cloud-nat-us-central1-on-prem Gateway Cloud NAT telah dibuat.

Buat tunnel VPN

  1. Di Cloud Shell, pada jaringan vertex-networking-vpc, buat Tunnel VPN bernama vertex-networking-vpc-tunnel0:

    gcloud compute vpn-tunnels create vertex-networking-vpc-tunnel0 \
  --peer-gcp-gateway onprem-vpn-gw1 \
  --region us-central1 \
  --ike-version 2 \
  --shared-secret [ZzTLxKL8fmRykwNDfCvEFIjmlYLhMucH] \
  --router vertex-networking-vpc-router1 \
  --vpn-gateway vertex-networking-vpn-gw1 \
  --interface 0

  2. Di jaringan vertex-networking-vpc, buat tunnel VPN bernama vertex-networking-vpc-tunnel1:

    gcloud compute vpn-tunnels create vertex-networking-vpc-tunnel1 \
  --peer-gcp-gateway onprem-vpn-gw1 \
  --region us-central1 \
  --ike-version 2 \
  --shared-secret [bcyPaboPl8fSkXRmvONGJzWTrc6tRqY5] \
  --router vertex-networking-vpc-router1 \
  --vpn-gateway vertex-networking-vpn-gw1 \
  --interface 1

  3. Di jaringan onprem-vpc, buat tunnel VPN bernama onprem-vpc-tunnel0:

    gcloud compute vpn-tunnels create onprem-vpc-tunnel0 \
  --peer-gcp-gateway vertex-networking-vpn-gw1 \
  --region us-central1\
  --ike-version 2 \
  --shared-secret [ZzTLxKL8fmRykwNDfCvEFIjmlYLhMucH] \
  --router onprem-vpc-router1 \
  --vpn-gateway onprem-vpn-gw1 \
  --interface 0

  4. Di jaringan onprem-vpc, buat tunnel VPN bernama onprem-vpc-tunnel1:

    gcloud compute vpn-tunnels create onprem-vpc-tunnel1 \
  --peer-gcp-gateway vertex-networking-vpn-gw1 \
  --region us-central1\
  --ike-version 2 \
  --shared-secret [bcyPaboPl8fSkXRmvONGJzWTrc6tRqY5] \
  --router onprem-vpc-router1 \
  --vpn-gateway onprem-vpn-gw1 \
  --interface 1

  5. Di Konsol Google Cloud, buka halaman VPN.

    Buka VPN

  6. Dalam daftar tunnel VPN, verifikasi bahwa keempat tunnel VPN telah dibuat.

Membuat sesi BGP

Cloud Router menggunakan Border Gateway Protocol (BGP) untuk bertukar rute di antara jaringan VPC Anda (dalam kasus ini, vertex-networking-vpc) dan jaringan lokal (diwakili oleh onprem-vpc). Di Cloud Router, konfigurasikan antarmuka dan peer BGP untuk router lokal. Antarmuka dan konfigurasi peer BGP bersama-sama membentuk sesi BGP. Di bagian ini, Anda akan membuat dua sesi BGP untuk vertex-networking-vpc dan dua untuk onprem-vpc.

Setelah Anda mengonfigurasi antarmuka dan peer BGP di antara {i>router<i} Anda, mereka akan secara otomatis mulai bertukar rute.

Membuat sesi BGP untuk vertex-networking-vpc

  1. Di Cloud Shell, pada jaringan vertex-networking-vpc, buat Antarmuka BGP untuk vertex-networking-vpc-tunnel0:

    gcloud compute routers add-interface vertex-networking-vpc-router1 \
  --interface-name if-tunnel0-to-onprem \
  --ip-address 169.254.0.1 \
  --mask-length 30 \
  --vpn-tunnel vertex-networking-vpc-tunnel0 \
  --region us-central1

  2. Di jaringan vertex-networking-vpc, buat peer BGP untuk bgp-onprem-tunnel0:

    gcloud compute routers add-bgp-peer vertex-networking-vpc-router1 \
  --peer-name bgp-onprem-tunnel0 \
  --interface if-tunnel0-to-onprem \
  --peer-ip-address 169.254.0.2 \
  --peer-asn 65002 \
  --region us-central1

  3. Di jaringan vertex-networking-vpc, buat antarmuka BGP untuk vertex-networking-vpc-tunnel1:

    gcloud compute routers add-interface vertex-networking-vpc-router1 \
  --interface-name if-tunnel1-to-onprem \
  --ip-address 169.254.1.1 \
  --mask-length 30 \
  --vpn-tunnel vertex-networking-vpc-tunnel1 \
  --region us-central1

  4. Di jaringan vertex-networking-vpc, buat peer BGP untuk bgp-onprem-tunnel1:

    gcloud compute routers add-bgp-peer vertex-networking-vpc-router1 \
  --peer-name bgp-onprem-tunnel1 \
  --interface if-tunnel1-to-onprem \
  --peer-ip-address 169.254.1.2 \
  --peer-asn 65002 \
  --region us-central1

Membuat sesi BGP untuk onprem-vpc

  1. Di jaringan onprem-vpc, buat antarmuka BGP untuk onprem-vpc-tunnel0:

    gcloud compute routers add-interface onprem-vpc-router1 \
  --interface-name if-tunnel0-to-vertex-networking-vpc \
  --ip-address 169.254.0.2 \
  --mask-length 30 \
  --vpn-tunnel onprem-vpc-tunnel0 \
  --region us-central1

  2. Di jaringan onprem-vpc, buat peer BGP untuk bgp-vertex-networking-vpc-tunnel0:

    gcloud compute routers add-bgp-peer onprem-vpc-router1 \
  --peer-name bgp-vertex-networking-vpc-tunnel0 \
  --interface if-tunnel0-to-vertex-networking-vpc \
  --peer-ip-address 169.254.0.1 \
  --peer-asn 65001 \
  --region us-central1

  3. Di jaringan onprem-vpc, buat antarmuka BGP untuk onprem-vpc-tunnel1:

    gcloud compute routers add-interface   onprem-vpc-router1  \
  --interface-name if-tunnel1-to-vertex-networking-vpc \
  --ip-address 169.254.1.2 \
  --mask-length 30 \
  --vpn-tunnel onprem-vpc-tunnel1 \
  --region us-central1

  4. Di jaringan onprem-vpc, buat peer BGP untuk bgp-vertex-networking-vpc-tunnel1:

    gcloud compute routers add-bgp-peer onprem-vpc-router1 \
  --peer-name bgp-vertex-networking-vpc-tunnel1 \
  --interface if-tunnel1-to-vertex-networking-vpc \
  --peer-ip-address 169.254.1.1 \
  --peer-asn 65001 \
  --region us-central1

Memvalidasi pembuatan sesi BGP

  1. Di Konsol Google Cloud, buka halaman VPN.

    Buka VPN

  2. Dalam daftar tunnel VPN, verifikasi bahwa nilai di Kolom Status sesi BGP untuk setiap tunnel telah diubah dari Konfigurasikan sesi BGP ke BGP dibuat. Anda mungkin perlu memuat ulang tab browser konsol Google Cloud untuk melihat nilai baru.

Validasi vertex-networking-vpc rute yang dipelajari

  1. Di konsol Google Cloud, buka halaman jaringan VPC.

    Buka jaringan VPC

  2. Dalam daftar jaringan VPC, klik vertex-networking-vpc.

  3. Klik tab Routes.

  4. Pilih us-central1 (Iowa) di daftar Region, lalu klik View.

  5. Di kolom Rentang IP tujuan, pastikan bahwa onprem-vpc-subnet1 rentang IP subnet (172.16.10.0/29) muncul dua kali.

Validasi on-prem-vpc rute yang dipelajari

  1. Klik tanda panah kembali untuk kembali ke halaman Jaringan VPC.

  2. Dalam daftar jaringan VPC, klik on-prem-vpc.

  3. Klik tab Routes.

  4. Pilih us-central1 (Iowa) di daftar Region, lalu klik View.

  5. Di kolom Rentang IP tujuan, pastikan bahwa workbench-subnet rentang IP subnet (172.16.20.0/28) dan psc-forwarding-rule-subnet rentang IP subnet (172.16.30.0/28) masing-masing muncul dua kali.

Membuat instance Vertex AI Workbench

Di bagian ini, Anda akan membuat akun layanan yang dikelola pengguna, lalu membuat instance Vertex AI Workbench yang menggunakan akun layanan Anda untuk mengakses layanan dan API Google Cloud.

Membuat akun layanan

Dalam tutorial ini, Anda membuat akun layanan yang dikelola pengguna dengan mengikuti Compute Engine dan IAM praktik terbaik kami.

  1. Di Cloud Shell, buat akun layanan bernama workbench-sa:

    gcloud iam service-accounts create workbench-sa \
   --display-name="workbench-sa"

  2. Tugaskan Pengguna Vertex AI (roles/aiplatform.user) Peran IAM ke akun layanan:

    gcloud projects add-iam-policy-binding $projectid \
  --member="serviceAccount:workbench-sa@$projectid.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

  3. Tugaskan Admin Penyimpanan (roles/storage.admin) Peran IAM ke akun layanan:

    gcloud projects add-iam-policy-binding $projectid \
  --member="serviceAccount:workbench-sa@$projectid.iam.gserviceaccount.com" \
  --role="roles/storage.admin"

  4. Tugaskan Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin) Peran IAM ke akun layanan:

    gcloud projects add-iam-policy-binding $projectid \
  --member="serviceAccount:workbench-sa@$projectid.iam.gserviceaccount.com" \
  --role="roles/serviceusage.serviceUsageAdmin"

Membuat instance Vertex AI Workbench

Buat instance Vertex AI Workbench, yang menentukan akun layanan workbench-sa:

gcloud workbench instances create workbench-tutorial \
  --vm-image-project=deeplearning-platform-release \
  --vm-image-family=common-cpu-notebooks \
  --machine-type=n1-standard-4 \
  --location=us-central1-a \
  --subnet-region=us-central1 \
  --shielded-secure-boot=SHIELDED_SECURE_BOOT \
  --subnet=workbench-subnet \
  --disable-public-ip \
  --service-account-email=workbench-sa@$projectid.iam.gserviceaccount.com

Membuat dan men-deploy indeks Vector Search

Menyiapkan lingkungan Anda

  1. Di konsol Google Cloud, buka Instances di halaman Vertex AI Workbench.

    Buka Vertex AI Workbench

  2. Di samping nama instance Vertex AI Workbench (workbench-tutorial), klik Open JupyterLab.

    Instance Vertex AI Workbench akan membuka JupyterLab.

  3. Pilih File > New > Notebook.

  4. Dari menu Select Kernel, pilih Python 3 (Local), lalu klik Pilih.

  5. Saat {i>notebook<i} baru Anda terbuka, ada sel kode default di mana Anda dapat memasukkan kode. Sepertinya [ ]: diikuti dengan kolom teks. Kolom teks adalah tempat Anda menempelkan kode.

    Untuk menginstal Vertex AI SDK untuk Python, tempel kode berikut ke dalam sel dan klik  Jalankan sel yang dipilih dan melanjutkan:

    !pip install --upgrade --user google-cloud-aiplatform google-cloud-storage

  6. Di langkah ini dan setiap berikutnya, tambahkan sel kode baru (jika yang diperlukan) dengan mengklik Sisipkan sel di bawah, tempelkan kode ke dalam sel, lalu klik  Jalankan sel yang dipilih dan lanjutkan.

    Untuk menggunakan paket yang baru diinstal di {i>runtime<i} Jupyter, Anda harus mulai ulang runtime:

    # Restart kernel after installs so that your environment can access the new packages
import IPython

app = IPython.Application.instance()
app.kernel.do_shutdown(True)

  7. Setel variabel lingkungan berikut, menggantikan PROJECT_ID dengan project ID Anda.

    # set project ID and location
PROJECT_ID = "PROJECT_ID"
LOCATION = "us-central1"

# generate a unique id for this session
from datetime import datetime
UID = datetime.now().strftime("%m%d%H%M")

Mengaktifkan API

Di notebook Jupyterlab Anda, jalankan perintah berikut untuk mengaktifkan API untuk Compute Engine, Vertex AI, dan Cloud Storage di notebook:

! gcloud services enable compute.googleapis.com aiplatform.googleapis.com storage.googleapis.com \
  --project {PROJECT_ID}

Menyiapkan data sampel di bucket Cloud Storage

Dalam tutorial ini, kami menggunakan metode Set data TheLook yang digunakan dalam Panduan memulai Vector Search. Lihat halaman dokumentasi panduan memulai untuk mengetahui informasi selengkapnya tentang set data ini.

Di bagian ini, Anda akan membuat bucket Cloud Storage dan menempatkan set data menyematkan file di dalamnya. Pada langkah berikutnya, Anda akan menggunakan file ini untuk membangun indeks.

  1. Di notebook Jupyterlab Anda, buat bucket Cloud Storage:

    BUCKET_URI = f"gs://{PROJECT_ID}-vs-quickstart-{UID}"
! gcloud storage buckets create $BUCKET_URI --location=$LOCATION --project=$PROJECT_ID

  2. Salin file contoh ke bucket Cloud Storage Anda.

    ! gcloud storage cp "gs://github-repo/data/vs-quickstart/product-embs.json" $BUCKET_URI

  3. Untuk menggunakan Vector Search guna menjalankan kueri, Anda juga perlu menyalin menyematkan file ke direktori lokal:

    ! gcloud storage cp "gs://github-repo/data/vs-quickstart/product-embs.json" . # for query tests

Membuat indeks Vector Search

  1. Di notebook Jupyterlab Anda, muat embedding di Penelusuran Vektor:

    # init the aiplatform package
from google.cloud import aiplatform
aiplatform.init(project=PROJECT_ID, location=LOCATION)

  2. Buat MatchingEngineIndex dengan fungsi create_tree_ah_index (Matching Engine adalah nama Vector Search sebelumnya):

    # create Index
my_index = aiplatform.MatchingEngineIndex.create_tree_ah_index(
  display_name = f"vs-quickstart-index-{UID}",
  contents_delta_uri = BUCKET_URI,
  dimensions = 768,
  approximate_neighbors_count = 10,
)

    Metode MatchingEngineIndex.create_tree_ah_index() membuat indeks. Dalam tutorial ini, tugas ini memerlukan waktu sekitar 5 hingga 10 menit.

  3. Di konsol Google Cloud, buka tab Indexes di Vector Search.

    Buka Indexes

  4. Verifikasi bahwa ada indeks yang namanya diawali dengan "vs-quickstart-index-" dan berisi stempel waktu yang benar.

  5. Catat ID indeks. Anda akan memerlukan ID ini saat men-deploy indeks di langkah selanjutnya.

Membuat endpoint indeks

  1. Di Cloud Shell, jalankan perintah berikut, dengan mengganti PROJECT_ID dengan ID project:

    projectid=PROJECT_ID
gcloud config set project ${projectid}
SERVICE_PROJECT=${projectid}
REGION=us-central1
VERTEX_ENDPOINT=$REGION-aiplatform.googleapis.com
DISPLAY_NAME=vector-search

  2. Buat endpoint indeks:

    curl -H "Content-Type: application/json" \
  -H "Authorization: Bearer `gcloud auth print-access-token`" \
  https://$VERTEX_ENDPOINT/v1/projects/$SERVICE_PROJECT/locations/$REGION/indexEndpoints \
  -d '{displayName: "'$DISPLAY_NAME'", privateServiceConnectConfig: { enablePrivateServiceConnect: true, projectAllowlist: ["'$SERVICE_PROJECT'"] }}'

  3. Pastikan endpoint indeks telah dibuat:

    gcloud ai index-endpoints list --region=us-central1

    Outputnya mirip dengan contoh berikut, di mana ID endpoint indeks adalah 8151506529447575552:

    Using endpoint [https://us-central1-aiplatform.googleapis.com/]
---
createTime: '2023-10-10T23:55:20.526145Z'
displayName: vector-search
encryptionSpec: {}
etag: AMEw9yN2qytNiwT73uwYpz_7N_b2-O8D1AuNoDb5QjFmkU4ye5Gzk2oQlMZBR1XeoQ11
name: projects/725264228516/locations/us-central1/indexEndpoints/8151506529447575552
privateServiceConnectConfig:
  enablePrivateServiceConnect: true
  projectAllowlist:
  - vertex-genai-400103
  - vertex-genai-400103
updateTime: '2023-10-10T23:55:21.951394Z'

  4. Catat ID endpoint indeks Anda. Anda akan memerlukan ID ini saat men-deploy indeks Anda di langkah selanjutnya.

Men-deploy indeks ke endpoint

Di Cloud Shell, jalankan perintah berikut untuk men-deploy indeks ke endpoint:

gcloud ai index-endpoints deploy-index INDEX_ENDPOINT_ID \
  --deployed-index-id=vector_one \
  --display-name=vector-search \
  --index=INDEX \
  --project=$projectid \
  --region=us-central1

Ganti nilai berikut:

  • INDEX_ENDPOINT_ID: ID endpoint indeks untuk Endpoint indeks Private Service Connect yang Anda buat
  • INDEX: ID untuk indeks yang Anda deploy

Outputnya mirip dengan contoh berikut, di mana ID endpoint indeks adalah 8151506529447575552:

Using endpoint [https://us-central1-aiplatform.googleapis.com/]
The deploy index operation [projects/725264228516/locations/us-central1/indexEndpoints/8151506529447575552/operations/6271807495283408896] was submitted successfully.

Operasi deployment memerlukan waktu sekitar 10 hingga 15 menit. Saat Anda men-deploy , lampiran layanan akan dibuat.

Memverifikasi bahwa indeks di-deploy ke endpoint indeks

  1. Di konsol Google Cloud, buka tab Index Endpoints di Vector Search.

    Buka Endpoint Indeks

  2. Pastikan endpoint indeks vector-search memiliki indeks Deploy yang juga disebut vector-search.

    Jika lingkaran biru yang berputar muncul di sebelah nama {i>endpoint<i} indeks, indeks tersebut masih dalam proses deployment.

Mendapatkan URI lampiran layanan untuk endpoint indeks

Setelah indeks di-deploy sepenuhnya, Anda bisa mendapatkan URI lampiran layanan.

Di Cloud Shell, jalankan perintah berikut untuk mendapatkan layanan URI lampiran:

gcloud ai index-endpoints list --region=us-central1 | grep -i  serviceAttachment:

Pada contoh output berikut, URI lampiran layanan adalah projects/je84d1de50cd8bddb-tp/regions/us-central1/serviceAttachments/sa-gkedpm-527af280e65971fd786aaf6163e798.

Using endpoint [https://us-central1-aiplatform.googleapis.com/]
 serviceAttachment: projects/je84d1de50cd8bddb-tp/regions/us-central1/serviceAttachments/sa-gkedpm-527af280e65971fd786aaf6163e798

Catat URI serviceAttachment, dimulai dengan projects, misalnya projects/je84d1de50cd8bddb-tp/regions/us-central1/serviceAttachments/sa-gkedpm-527af280e65971fd786aaf6163e798. Anda akan memerlukannya di langkah berikutnya, saat membuat aturan penerusan.

Membuat aturan penerusan

  1. Di Cloud Shell, cadangkan alamat IP untuk aturan penerusan ke gunakan untuk membuat kueri indeks Vector Search:

    gcloud compute addresses create vector-search-forwarding-rule \
  --region=us-central1 \
  --subnet=psc-forwarding-rule-subnet

  2. Temukan alamat IP yang dicadangkan:

    gcloud compute addresses list --filter="name=vector-search-forwarding-rule"

  3. Buat aturan penerusan untuk menghubungkan endpoint ke lampiran layanan, mengganti SERVICE_ATTACHMENT_URI dengan URI serviceAttachment.

    gcloud compute forwarding-rules create vector-search-forwarding-rule \
  --region=us-central1 \
  --network=vertex-networking-vpc \
  --address=vector-search-forwarding-rule \
  --target-service-attachment=SERVICE_ATTACHMENT_URI

    Berikut adalah contoh penggunaan untuk perintah ini:

    gcloud compute forwarding-rules create vector-search-forwarding-rule \
  --region=us-central1 \
  --network=vertex-networking-vpc \
  --address=vector-search-forwarding-rule \
  --target-service-attachment=projects/je84d1de50cd8bddb-tp/regions/us-central1/serviceAttachments/sa-gkedpm-527af280e65971fd786aaf6163e798

  4. Di Konsol Google Cloud, buka tab Terhubung endpoint di Private Service Connect.

    Buka Endpoint yang terhubung

  5. Validasi bahwa status vector-search-forwarding-rule adalah Accepted.

  6. Catat alamat IP Private Service Connect aturan penerusan. Di langkah selanjutnya, Anda akan menggunakan endpoint ini untuk membangun komunikasi dengan indeks Vector Search yang di-deploy.

Membuat kueri indeks yang di-deploy

Setelah Anda membuat penerusan Private Service Connect aturan yang terhubung ke endpoint indeks Vector Search Anda, Anda dapat mengkueri indeks yang telah di-deploy dengan mengirimkan kueri dari on-prem-client instance VM ke aturan penerusan.

Untuk mengizinkan Identity-Aware Proxy (IAP) terhubung ke di instance VM, Anda membuat aturan firewall yang:

  • Berlaku untuk semua instance VM yang ingin Anda sediakan pembelian dalam aplikasi (IAP).
  • Mengizinkan traffic TCP melalui port 22 dari rentang IP 35.235.240.0/20. Rentang ini berisi semua alamat IP yang penggunaan IAP untuk Penerusan TCP.

Setelah membuat firewall, instal klien gRPC. Nanti Anda akan menggunakan klien gRPC untuk mengirim kueri dari Instance VM on-prem-client.

Membuat aturan firewall dan menginstal gRPC

  1. Di Cloud Shell, jalankan perintah dengan mengganti PROJECT_ID dengan project ID Anda:

    projectid=PROJECT_ID
gcloud config set project ${projectid}

  2. Buat aturan firewall IAP bernama ssh-iap-vpc:

    gcloud compute firewall-rules create ssh-iap-vpc \
  --network onprem-vpc \
  --allow tcp:22 \
  --source-ranges=35.235.240.0/20

  3. Login ke instance VM on-prem-client:

    gcloud compute ssh on-prem-client \
  --project=$projectid \
  --zone=us-central1-a \
  --tunnel-through-iap

  4. Di instance VM on-prem-client, instal Klien gRPC:

    sudo apt-get install git -y
git clone https://github.com/grpc/grpc.git
sudo apt-get install build-essential autoconf libtool pkg-config -y
sudo apt-get install cmake -y
cd grpc/
git submodule update --init
mkdir -p cmake/build
cd cmake/build
cmake -DgRPC_BUILD_TESTS=ON ../..
make grpc_cli

    Penginstalan memerlukan waktu sekitar 30 menit.

Mendapatkan ID untuk item indeks yang ada

  1. Di konsol Google Cloud, buka Instances di halaman Vertex AI Workbench.

    Buka Vertex AI Workbench

  2. Di samping nama instance Vertex AI Workbench, klik Buka JupyterLab.

    Instance Vertex AI Workbench akan membuka JupyterLab.

  3. Pilih File &gt; New &gt; Terminal.

  4. Di terminal JupyterLab (bukan Cloud Shell), lihat bagian entri di indeks:

    tail -1 product-embs.json

  5. Cari pasangan nilai kunci pertama pada item yang berisi nomor ID item, seperti dalam contoh berikut:

    "id":"27452"

    Catat nomor ID ini. Anda memerlukannya untuk melakukan kueri di bagian berikutnya.

Menjalankan kueri Vector Search

Dalam instance VM on-prem-client, buat kueri indeks yang telah di-deploy:

./grpc_cli call  FORWARDING_RULE_IP:10000  google.cloud.aiplatform.container.v1.MatchService.Match "deployed_index_id:'"vector_one"',embedding_id: '"ITEM_ID"'"

Ganti nilai berikut:

  • FORWARDING_RULE_IP: Alamat IP Aturan penerusan Private Service Connect yang Anda buat di bagian sebelumnya
  • ITEM_ID: nomor ID item yang Anda simpan di sebelumnya bagian

Outputnya mirip dengan hal berikut ini:

   user@on-prem-client:~/grpc/cmake/build$ ./grpc_cli call  172.16.30.2:10000  google.cloud.aiplatform.container.v1.MatchService.Match "deployed_index_id:'"vector_one"',embedding_id: '"20020916"'"
   connecting to 172.16.30.2:10000
   neighbor {
     id: "16136217"
     distance: 0.99999558925628662
   }
   neighbor {
     id: "2196405"
     distance: 0.82817935943603516
   }
   neighbor {
     id: "3796353"
     distance: 0.82687419652938843
   }
   neighbor {
     id: "815154"
     distance: 0.8179466724395752
   }
   neighbor {
     id: "16262338"
     distance: 0.816785454750061
   }
   neighbor {
     id: "31290454"
     distance: 0.81560027599334717
   }
   neighbor {
     id: "4012943"
     distance: 0.80958610773086548
   }
   neighbor {
     id: "39738359"
     distance: 0.8020891547203064
   }
   neighbor {
     id: "7691697"
     distance: 0.80035769939422607
   }
   neighbor {
     id: "6398888"
     distance: 0.79880392551422119
   }
   Rpc succeeded with OK status

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Anda dapat menghapus setiap resource di konsol Google Cloud sebagai berikut:

  1. Batalkan deployment dan hapus indeks Vector Search sebagai berikut:

    1. Di konsol Google Cloud, buka tab Indexes di Vector Search.

      Buka Indexes

    2. Cari indeks yang namanya diawali dengan "vs-quickstart-index-" dan berisi stempel waktu yang benar.

    3. Klik nama indeks.

    4. Di halaman Index info, di samping nama indeks pada Daftar indeks yang di-deploy, klik Tindakan, lalu klik Batalkan deployment.

      Membatalkan deployment indeks memerlukan waktu beberapa menit. Jika lingkaran biru yang berputar muncul di samping nama indeks, atau jika status indeks terdaftar sebagai Undeploying, indeks ini masih dalam proses untuk dibatalkan penerapannya. Anda mungkin perlu me-refresh konsol Google Cloud tab browser Anda untuk melihat bahwa indeks tersebut tidak lagi di-deploy.

    5. Klik tanda panah kembali untuk kembali ke tab Indexes.

    6. Di samping nama indeks Anda dalam daftar indeks, klik Tindakan, lalu klik Hapus untuk menghapus indeks.

  2. Hapus endpoint indeks sebagai berikut:

    1. Di Konsol Google Cloud, buka tab Index endpoint di Vector Search.

      Buka endpoint Indeks

    2. Di samping nama endpoint dalam daftar endpoint indeks, klik Tindakan, lalu klik Delete untuk menghapus endpoint indeks.

  3. Hapus instance Vertex AI Workbench sebagai berikut:

    1. Di konsol Google Cloud, di bagian Vertex AI, buka Tab Instances di halaman Workbench.

      Buka Vertex AI Workbench

    2. Pilih workbench-tutorial Instance Vertex AI Workbench lalu klik Hapus.

  4. Hapus instance VM Compute Engine sebagai berikut:

    1. Di konsol Google Cloud, buka halaman Compute Engine.

      Buka Compute Engine

    2. Pilih instance VM on-prem-client, lalu klik Hapus.

  5. Menghapus tunnel VPN sebagai berikut:

    1. Di Konsol Google Cloud, buka halaman VPN.

      Buka VPN

    2. Di halaman VPN, klik tab Cloud VPN Tunnels.

    3. Pada daftar tunnel VPN, pilih empat tunnel VPN yang telah Anda buat dalam tutorial ini dan klik Hapus.

  6. Hapus gateway VPN dengan ketersediaan tinggi (HA) sebagai berikut:

    1. Di halaman VPN, klik tab Cloud VPN Gateways.

      Buka Cloud VPN Gateways

    2. Di daftar gateway VPN, klik onprem-vpn-gw1.

    3. Di halaman Cloud VPN gateway details, klik Hapus Gateway VPN.

    4. Klik tanda panah kembali jika diperlukan untuk kembali ke daftar gateway VPN, lalu klik vertex-networking-vpn-gw1.

    5. Di halaman Cloud VPN gateway details, klik Hapus Gateway VPN.

  7. Hapus Cloud Router sebagai berikut:

    1. Buka halaman Cloud Routers.

      Buka Cloud Router

    2. Dalam daftar Cloud Router, pilih empat router yang yang dibuat dalam tutorial ini.

    3. Untuk menghapus router, klik Hapus.

      Tindakan ini juga akan menghapus dua gateway Cloud NAT yang terhubung ke Cloud Router.

  8. Hapus aturan penerusan vector-search-forwarding-rule untuk Jaringan VPC vertex-networking-vpc sebagai berikut:

    1. Buka tab Frontends di halaman Load balancing.

      Buka Frontend

    2. Di daftar aturan penerusan, klik vector-search-forwarding-rule.

    3. Di halaman Detail aturan penerusan, klik Hapus.

  9. Hapus jaringan VPC sebagai berikut:

    1. Buka halaman VPC networks.

      Buka jaringan VPC

    2. Dalam daftar jaringan VPC, klik onprem-vpc.

    3. Di halaman VPC network details, klik Hapus Jaringan VPC.

      Menghapus setiap jaringan juga akan menghapus subnetwork, rute, dan firewall-nya aturan.

    4. Kembali ke daftar jaringan VPC, dan klik vertex-networking-vpc.

    5. Di halaman VPC network details, klik Hapus Jaringan VPC.

  10. Hapus bucket penyimpanan sebagai berikut:

    1. Di konsol Google Cloud, buka halaman Cloud Storage.

      Buka Cloud Storage

    2. Pilih bucket penyimpanan Anda, lalu klik Hapus.

  11. Hapus akun layanan workbench-sa sebagai berikut:

    1. Buka halaman Akun layanan.

      Buka halaman Service accounts

    2. Pilih akun layanan workbench-sa, dan klik Hapus.

Langkah selanjutnya