Men-deploy database vektor Weaviate di GKE

Tutorial ini menunjukkan cara men-deploy cluster database vektor Weaviate di Google Kubernetes Engine (GKE).

Weaviate adalah database vektor open source dengan performa latensi rendah dan dukungan dasar untuk berbagai jenis media seperti teks dan gambar. Model ini mendukung penelusuran semantik, menjawab pertanyaan, dan klasifikasi. Weaviate dibuat sepenuhnya di Go dan menyimpan objek serta vektor, sehingga memungkinkan penggunaan penelusuran vektor, penelusuran kata kunci, dan kombinasi keduanya sebagai penelusuran campuran. Dari perspektif infrastruktur, Weaviate adalah database native cloud dan fault-tolerant. Fault tolerance disediakan oleh arsitektur tanpa pemimpin, dengan setiap node dalam cluster database dapat melayani permintaan baca dan tulis yang pada akhirnya mengecualikan titik tunggal kegagalan.

Tutorial ini ditujukan untuk administrator dan arsitek platform cloud, engineer ML, dan profesional MLOps (DevOps) yang tertarik untuk men-deploy cluster database vektor di GKE.

Manfaat

Weaviate menawarkan manfaat berikut:

  • Library untuk berbagai bahasa pemrograman dan API terbuka untuk berintegrasi dengan layanan lain.
  • Penskalaan horizontal.
  • Keseimbangan antara efektivitas biaya dan kecepatan kueri, terutama saat menangani set data besar. Anda dapat memilih jumlah data yang disimpan di memori versus di disk.

Tujuan

Dalam tutorial ini, Anda akan mempelajari cara:

  • Merencanakan dan men-deploy infrastruktur GKE untuk Weaviate.
  • Men-deploy dan mengonfigurasi database Weaviate di cluster GKE.
  • Jalankan Notebook untuk membuat dan menyimpan contoh embedding vektor dalam database Anda, dan menjalankan kueri penelusuran berbasis vektor.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloud yang dapat ditagih berikut: Google Cloud:

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Pembersihan.

Sebelum memulai

Dalam tutorial ini, Anda akan menggunakan Cloud Shell untuk menjalankan perintah. Cloud Shell adalah lingkungan shell untuk mengelola resource yang dihosting di Google Cloud. Cloud Shell telah diinstal dengan alat command line Google Cloud CLI, kubectl, Helm, dan Terraform. Jika tidak menggunakan Cloud Shell, Anda harus menginstal Google Cloud CLI.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.

  3. To initialize the gcloud CLI, run the following command: 

    gcloud init

  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Resource Manager, Compute Engine, GKE, and IAM Service Account Credentials APIs: 

    gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com
  7. Install the Google Cloud CLI.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  10. Make sure that billing is enabled for your Google Cloud project.

  11. Enable the Cloud Resource Manager, Compute Engine, GKE, and IAM Service Account Credentials APIs: 

    gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com

  12. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/compute.securityAdmin, roles/compute.viewer, roles/container.clusterAdmin, roles/container.admin, roles/iam.serviceAccountAdmin, roles/iam.serviceAccountUser, roles/monitoring.viewer 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
    • Replace PROJECT_ID with your project ID.

    • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:myemail@example.com.

    • Replace ROLE with each individual role.

Menyiapkan lingkungan Anda

Untuk menyiapkan lingkungan Anda dengan Cloud Shell, ikuti langkah-langkah berikut:

  1. Tetapkan variabel lingkungan untuk project, region, dan awalan resource cluster Kubernetes:

    export PROJECT_ID=PROJECT_ID
export KUBERNETES_CLUSTER_PREFIX=weaviate
export REGION=us-central1

    Ganti PROJECT_ID dengan ID project Google CloudAnda.

    Tutorial ini menggunakan region us-central1 untuk membuat resource deployment Anda.

  2. Periksa versi Helm:

    helm version

    Update versi jika lebih lama dari 3.13:

    curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

  3. Clone repositori kode contoh dari GitHub:

    git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples

  4. Buka direktori weaviate:

    cd kubernetes-engine-samples/databases/weaviate

Membuat infrastruktur cluster

Di bagian ini, Anda akan menjalankan skrip Terraform untuk membuat cluster GKE regional pribadi yang sangat tersedia untuk men-deploy database Weaviate.

Anda dapat memilih untuk men-deploy Weaviate menggunakan cluster Standard atau Autopilot. Masing-masing memiliki kelebihan dan model penetapan harga yang berbeda.

Autopilot

Diagram berikut menunjukkan cluster GKE Autopilot yang di-deploy dalam project.

Cluster GKE Autopilot

Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-autopilot init
terraform -chdir=terraform/gke-autopilot apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

GKE mengganti variabel berikut saat runtime:

  • GOOGLE_OAUTH_ACCESS_TOKEN menggunakan perintah gcloud auth print-access-token untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud API
  • PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah variabel lingkungan yang ditentukan di bagian Siapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Autopilot yang Anda buat.

Saat diminta, ketik yes.

Outputnya mirip dengan hal berikut ini:

...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"

Terraform membuat resource berikut:

  • Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
  • Cloud Router untuk mengakses internet melalui Penafsiran Alamat Jaringan (NAT).
  • Cluster GKE pribadi di region us-central1.
  • ServiceAccount dengan izin logging dan pemantauan untuk cluster.
  • Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

Standard

Diagram berikut menunjukkan cluster GKE regional pribadi Standar yang di-deploy ke tiga zona yang berbeda.

Cluster GKE Standard

Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-standard init
terraform -chdir=terraform/gke-standard apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

GKE mengganti variabel berikut saat runtime:

  • GOOGLE_OAUTH_ACCESS_TOKEN menggunakan perintah gcloud auth print-access-token untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud API.
  • PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah variabel lingkungan yang ditentukan di bagian Menyiapkan lingkungan dan ditetapkan ke variabel baru yang relevan untuk cluster Standar yang Anda buat.

Saat diminta, ketik yes. Anda mungkin perlu menunggu beberapa menit agar perintah ini selesai dan cluster akan menampilkan status siap.

Outputnya mirip dengan hal berikut ini:

...
Apply complete! Resources: 10 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"

Terraform membuat resource berikut:

  • Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
  • Cloud Router untuk mengakses internet melalui Penafsiran Alamat Jaringan (NAT).
  • Cluster GKE pribadi di region us-central1 dengan penskalaan otomatis diaktifkan (satu hingga dua node per zona).
  • ServiceAccount dengan izin logging dan pemantauan untuk cluster.
  • Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

Hubungkan ke cluster

Konfigurasi kubectl untuk mengambil kredensial dan berkomunikasi dengan cluster GKE baru Anda:

gcloud container clusters get-credentials \
    ${KUBERNETES_CLUSTER_PREFIX}-cluster --region ${REGION}

Men-deploy database Weaviate ke cluster Anda

Untuk menggunakan diagram Helm guna men-deploy database Weaviate ke cluster GKE, ikuti langkah-langkah berikut:

  1. Tambahkan repositori Helm Chart database Weaviate sebelum Anda dapat men-deploynya di cluster GKE:

    helm repo add weaviate https://weaviate.github.io/weaviate-helm

  2. Buat namespace weaviate untuk database:

    kubectl create ns weaviate

  3. Buat secret untuk menyimpan kunci API:

    kubectl create secret generic apikeys --from-literal=AUTHENTICATION_APIKEY_ALLOWED_KEYS=$(openssl rand -base64 32) -n weaviate

  4. Deploy load balancer internal untuk mengakses Weaviate dari dalam jaringan virtual:

    kubectl apply -n weaviate -f manifests/05-ilb/ilb.yaml

    Manifes ilb.yaml menjelaskan layanan load balancer:

    apiVersion: v1
kind: Service
metadata:
  annotations:
    #cloud.google.com/neg: '{"ingress": true}'
    networking.gke.io/load-balancer-type: "Internal"
  labels:
    app.kubernetes.io/name: weaviate
  name: weaviate-ilb
spec:
  ports:
  - name: http
    port: 8080
    protocol: TCP
    targetPort: 8080
  - name: grpc
    port: 50051
    protocol: TCP
    targetPort: 50051
  selector:
    app: weaviate
  type: LoadBalancer

  5. Terapkan manifes untuk men-deploy cluster Weaviate:

    helm upgrade --install "weaviate" weaviate/weaviate \
--namespace "weaviate" \
--values ./manifests/01-basic-cluster/weaviate_cluster.yaml

    Manifes weaviate_cluster.yaml menjelaskan Deployment. Deployment adalah objek Kubernetes API yang memungkinkan Anda menjalankan beberapa replika Pod yang didistribusikan di antara node dalam cluster:

    initContainers:
  sysctlInitContainer:
    enabled: false
  extraInitContainers: {}
resources: 
   requests:
     cpu: '1'
     memory: '4Gi'
   limits:
     cpu: '2'
     memory: '4Gi'
replicas: 3
storage:
  size: 10Gi
  storageClassName: "premium-rwo"
service:
  name: weaviate
  ports:
    - name: http
      protocol: TCP
      port: 80
  type: ClusterIP
grpcService:
  enabled: true
  name: weaviate-grpc
  ports:
    - name: grpc
      protocol: TCP
      port: 50051
  type: ClusterIP
authentication:
  anonymous_access:
    enabled: false
authorization:
  admin_list:
    enabled: true
    users:
      - admin@example.com
modules:
  text2vec-palm:
    enabled: true
env:
  AUTHENTICATION_APIKEY_ENABLED: 'true'
  AUTHENTICATION_APIKEY_USERS: 'admin@example.com'
  PROMETHEUS_MONITORING_ENABLED: true
envSecrets:
  AUTHENTICATION_APIKEY_ALLOWED_KEYS: apikeys
tolerations:
  - key: "app.stateful/component"
    operator: "Equal"
    value: "weaviate"
    effect: NoSchedule

    Tunggu beberapa menit hingga cluster Weaviate dimulai sepenuhnya.

  6. Periksa status Deployment:

    kubectl get weaviate -n weaviate --watch

    Outputnya mirip dengan berikut ini, jika database weaviate berhasil di-deploy:

    NAME: weaviate
LAST DEPLOYED: Tue Jun 18 13:15:53 2024
NAMESPACE: weaviate
STATUS: deployed
REVISION: 1
TEST SUITE: None

  7. Tunggu Kubernetes memulai resource:

    kubectl wait pods -l app.kubernetes.io/name=weaviate --for condition=Ready --timeout=300s -n weaviate

Menjalankan kueri dengan notebook Vertex AI Colab Enterprise

Bagian ini menjelaskan cara terhubung ke database Weaviate menggunakan Colab Enterprise. Anda dapat menggunakan template runtime khusus untuk men-deploy ke weaviate-vpc, sehingga notebook dapat berkomunikasi dengan resource di cluster GKE.

Membuat template runtime

Untuk membuat template runtime:

  1. Di konsol Google Cloud , buka halaman Runtime Templates Colab Enterprise dan pastikan project Anda dipilih:

    Buka Template Runtime

  2. Klik Template Baru. Halaman Create new runtime template akan muncul.

  3. Di bagian Runtime basics:

    • Di kolom Nama tampilan, masukkan weaviate-connect.
    • Di menu drop-down Region, pilih us-central1. Region ini sama dengan cluster GKE Anda.

  4. Di bagian Configure compute:

    • Di menu drop-down Machine type, pilih e2-standard-2.
    • Di kolom Disk size, masukkan 30.

  5. Di bagian Networking and security:

    • Di menu drop-down Network, pilih jaringan tempat cluster GKE Anda berada.
    • Di menu drop-down Subnetwork, pilih subnetwork yang sesuai.
    • Hapus centang pada kotak Aktifkan akses internet publik.

  6. Klik Create untuk menyelesaikan pembuatan template runtime. Template runtime Anda akan muncul dalam daftar di tab Runtime templates.

Membuat runtime

Untuk membuat runtime:

  1. Dalam daftar template runtime, untuk template yang baru saja Anda buat, klik di kolom Actions, lalu klik Create runtime. Panel Create Vertex AI Runtime akan muncul.

  2. Klik Create untuk membuat runtime berdasarkan template Anda.

  3. Di tab Runtimes yang terbuka, tunggu hingga status bertransisi ke Healthy.

Mengimpor notebook

Untuk mengimpor notebook:

  1. Buka tab Notebook, lalu klik Impor notebook dari URL.

  2. Di bagian Sumber impor, pilih URL.

  3. Di bagian URL Notebook, tempelkan link berikut: raw.githubusercontent.com/GoogleCloudPlatform/kubernetes-engine-samples/main/databases/weaviate/manifests/02-notebook/vector-database.ipynb

  4. Klik Import.

Menghubungkan ke runtime dan menjalankan kueri

Untuk terhubung ke runtime dan menjalankan kueri:

  1. Di notebook, di samping tombol Connect, klik Additional connection options. Panel Connect to Vertex AI Runtime akan muncul.

  2. Pilih Connect to a runtime, lalu pilih Connect to an existing Runtime.

  3. Pilih runtime yang Anda luncurkan, lalu klik Connect.

  4. Klik tombol Run cell di sebelah kiri setiap sel kode untuk menjalankan sel notebook.

Notebook berisi sel kode dan teks yang menjelaskan setiap blok kode. Menjalankan sel kode akan mengeksekusi perintahnya dan menampilkan output. Anda dapat menjalankan sel secara berurutan, atau menjalankan setiap sel sesuai kebutuhan.

Untuk mengetahui informasi selengkapnya tentang Vertex AI Colab Enterprise, lihat dokumentasi Colab Enterprise.

Melihat metrik Prometheus untuk cluster Anda

Cluster GKE dikonfigurasi dengan Google Cloud Managed Service for Prometheus, yang memungkinkan pengumpulan metrik dalam format Prometheus. Layanan ini menyediakan solusi terkelola sepenuhnya untuk pemantauan dan pemberitahuan, yang memungkinkan pengumpulan, penyimpanan, dan analisis metrik dari cluster dan aplikasinya.

Diagram berikut menunjukkan cara Prometheus mengumpulkan metrik untuk cluster Anda:

Pengumpulan metrik Prometheus

Cluster pribadi GKE dalam diagram berisi komponen berikut:

  • Pod Weaviate yang mengekspos metrik di jalur /metrics dan port 2112.
  • Pengumpul berbasis Prometheus yang memproses metrik dari Pod Weaviate.
  • Resource PodMonitoring yang mengirim metrik ke Cloud Monitoring.

Untuk mengekspor dan melihat metrik, ikuti langkah-langkah berikut:

  1. Buat resource PodMonitoring untuk meng-scrap metrik menurut labelSelector:

    kubectl apply -n weaviate -f manifests/03-prometheus-metrics/pod-monitoring.yaml

    Manifes pod-monitoring.yaml menjelaskan resource PodMonitoring:

    apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: weaviate
spec:
  selector:
    matchLabels:
      app: weaviate
  endpoints:
  - port: 2112
    interval: 30s
    path: /metrics

  2. Untuk mengimpor dasbor Cloud Monitoring kustom dengan konfigurasi yang ditentukan di dashboard.json:

    gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json

  3. Setelah perintah berhasil berjalan, buka Dasbor Cloud Monitoring:

    Buka Ringkasan dasbor

  4. Dari daftar dasbor, buka dasbor Weaviate Overview. Mungkin perlu waktu beberapa saat untuk mengumpulkan dan menampilkan metrik. Dasbor menampilkan jumlah Shard, Vektor, dan latensi operasi

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

Cara termudah untuk menghindari penagihan adalah dengan menghapus project yang Anda buat untuk tutorial ini.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Jika Anda menghapus project ini, berarti pembersihan telah selesai. Jika Anda tidak menghapus project, lanjutkan untuk menghapus resource individual.

Menghapus resource satu per satu

  1. Menetapkan variabel lingkungan.

    export PROJECT_ID=${PROJECT_ID}
export KUBERNETES_CLUSTER_PREFIX=weaviate
export REGION=us-central1

  2. Jalankan perintah terraform destroy:

    export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform  -chdir=terraform/FOLDER destroy \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

    Ganti FOLDER dengan gke-autopilot atau gke-standard, bergantung pada jenis cluster GKE yang Anda buat.

    Saat diminta, ketik yes.

  3. Temukan semua disk yang tidak terpasang:

    export disk_list=$(gcloud compute disks list --filter="-users:* AND labels.name=${KUBERNETES_CLUSTER_PREFIX}-cluster" --format "value[separator=|](name,region)")

  4. Hapus disk:

    for i in $disk_list; do
 disk_name=$(echo $i| cut -d'|' -f1)
 disk_region=$(echo $i| cut -d'|' -f2|sed 's|.*/||')
 echo "Deleting $disk_name"
 gcloud compute disks delete $disk_name --region $disk_region --quiet
done

  5. Hapus repositori GitHub:

    rm -r ~/kubernetes-engine-samples/

Langkah selanjutnya