Men-deploy database vektor Weaviate di GKE

Tutorial ini menunjukkan cara men-deploy cluster database vektor Weaviate di Google Kubernetes Engine (GKE).

Weaviate adalah database vektor open source dengan performa latensi rendah dan dukungan dasar untuk berbagai jenis media seperti teks dan gambar. Model ini mendukung penelusuran semantik, tanya jawab, dan klasifikasi. Weaviate sepenuhnya dibangun di Go dan menyimpan objek serta vektor, sehingga memungkinkan penggunaan penelusuran vektor, penelusuran kata kunci, dan kombinasi keduanya sebagai penelusuran campuran. Dari perspektif infrastruktur, Weaviate adalah database berbasis cloud dan toleran terhadap kesalahan. Fault tolerance diberikan oleh arsitektur tanpa pemimpin di mana setiap node cluster database dapat melayani permintaan baca dan tulis yang pada gilirannya mengecualikan satu titik kegagalan.

Tutorial ini ditujukan untuk administrator dan arsitek platform cloud, engineer ML, dan profesional MLOps (DevOps) yang tertarik untuk men-deploy cluster database vektor di GKE.

Manfaat

Weaviate menawarkan manfaat berikut:

  • Library untuk berbagai bahasa pemrograman dan API terbuka untuk berintegrasi dengan layanan lain.
  • Penskalaan horizontal.
  • Keseimbangan antara efektivitas biaya dan kecepatan kueri, terutama saat menangani set data besar. Anda dapat memilih jumlah data yang disimpan dalam memori dibandingkan di disk.

Tujuan

Dalam tutorial ini, Anda akan mempelajari cara:

  • Merencanakan dan men-deploy infrastruktur GKE untuk Weaviate.
  • Deploy dan konfigurasi database Weaviate di cluster GKE.
  • Jalankan Notebook untuk membuat dan menyimpan contoh embedding vektor dalam database Anda, serta jalankan kueri penelusuran berbasis vektor.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Pembersihan.

Sebelum memulai

Dalam tutorial ini, Anda akan menggunakan Cloud Shell untuk menjalankan perintah. Cloud Shell adalah lingkungan shell untuk mengelola resource yang dihosting di Google Cloud. Cloud Shell telah diinstal lebih dulu dengan alat command line Google Cloud CLI, kubectl, Helm, dan Terraform. Jika tidak menggunakan Cloud Shell, Anda harus menginstal Google Cloud CLI.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Install the Google Cloud CLI.

  3. Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

  4. Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut: 

    gcloud init

  5. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Resource Manager, Compute Engine, GKE, and IAM Service Account Credentials APIs: 

    gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com

  8. Install the Google Cloud CLI.

  9. Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

  10. Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut: 

    gcloud init

  11. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  12. Verify that billing is enabled for your Google Cloud project.

  13. Enable the Cloud Resource Manager, Compute Engine, GKE, and IAM Service Account Credentials APIs: 

    gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com

  14. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/compute.securityAdmin, roles/compute.viewer, roles/container.clusterAdmin, roles/container.admin, roles/iam.serviceAccountAdmin, roles/iam.serviceAccountUser, roles/monitoring.viewer 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Replace the following:

    • PROJECT_ID: your project ID.
    • USER_IDENTIFIER: the identifier for your user account—for example, myemail@example.com.
    • ROLE: the IAM role that you grant to your user account.

    15. Menyiapkan lingkungan Anda

    Untuk menyiapkan lingkungan Anda dengan Cloud Shell, ikuti langkah-langkah berikut:

    1. Tetapkan variabel lingkungan untuk project, region, dan awalan resource cluster Kubernetes Anda:

      export PROJECT_ID=PROJECT_ID
export KUBERNETES_CLUSTER_PREFIX=weaviate
export REGION=us-central1

      Ganti PROJECT_ID dengan project ID Google Cloud Anda.

      Tutorial ini menggunakan region us-central1 untuk membuat resource deployment Anda.

    2. Periksa versi Helm:

      helm version

      Update versi jika lebih lama dari 3.13:

      curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

    3. Clone repositori kode contoh dari GitHub:

      git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples

    4. Buka direktori weaviate:

      cd kubernetes-engine-samples/databases/weaviate

    Membuat infrastruktur cluster

    Di bagian ini, Anda akan menjalankan skrip Terraform untuk membuat cluster GKE regional pribadi yang sangat tersedia untuk men-deploy database Weaviate Anda.

    Anda dapat memilih untuk men-deploy Weaviate menggunakan cluster Standard atau Autopilot. Masing-masing memiliki kelebihan dan model penetapan harga yang berbeda.

    Autopilot

    Diagram berikut menunjukkan cluster GKE Autopilot yang di-deploy di project.

    Cluster GKE Autopilot

    Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

    export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-autopilot init
terraform -chdir=terraform/gke-autopilot apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

    GKE mengganti variabel berikut saat runtime:

    • GOOGLE_OAUTH_ACCESS_TOKEN menggunakan perintah gcloud auth print-access-token untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud API
    • PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah variabel lingkungan yang ditentukan di bagian Siapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Autopilot yang Anda buat.

    Saat diminta, ketik yes.

    Outputnya mirip dengan hal berikut ini:

    ...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"

    Terraform membuat resource berikut:

    • Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
    • Cloud Router untuk mengakses internet melalui Network Address Translation (NAT).
    • Cluster GKE pribadi di region us-central1.
    • ServiceAccount dengan izin logging dan pemantauan untuk cluster.
    • Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

    Standar

    Diagram berikut menunjukkan cluster GKE regional pribadi Standard yang di-deploy ke tiga zona yang berbeda.

    Cluster GKE Standard

    Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

    export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-standard init
terraform -chdir=terraform/gke-standard apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

    GKE mengganti variabel berikut saat runtime:

    • GOOGLE_OAUTH_ACCESS_TOKEN menggunakan perintah gcloud auth print-access-token untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud API.
    • PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah variabel lingkungan yang ditentukan di bagian Siapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Standar yang Anda buat.

    Saat diminta, ketik yes. Anda mungkin perlu menunggu beberapa menit agar perintah ini selesai dan cluster akan menampilkan status siap.

    Outputnya mirip dengan hal berikut ini:

    ...
Apply complete! Resources: 10 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"

    Terraform membuat resource berikut:

    • Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
    • Cloud Router untuk mengakses internet melalui Network Address Translation (NAT).
    • Cluster GKE pribadi di region us-central1 dengan penskalaan otomatis diaktifkan (satu hingga dua node per zona).
    • ServiceAccount dengan izin logging dan pemantauan untuk cluster.
    • Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

    Hubungkan ke cluster

    Konfigurasi kubectl untuk mengambil kredensial dan berkomunikasi dengan cluster GKE baru Anda:

    gcloud container clusters get-credentials \
    ${KUBERNETES_CLUSTER_PREFIX}-cluster --location ${REGION}

    Deploy database Weaviate ke cluster Anda

    Untuk menggunakan chart Helm guna men-deploy database Weaviate ke cluster GKE Anda, ikuti langkah-langkah berikut:

    1. Tambahkan repositori Chart Helm database Weaviate sebelum Anda dapat men-deploy-nya di cluster GKE Anda:

      helm repo add weaviate https://weaviate.github.io/weaviate-helm

    2. Buat namespace weaviate untuk database:

      kubectl create ns weaviate

    3. Buat secret untuk menyimpan kunci API:

      kubectl create secret generic apikeys --from-literal=AUTHENTICATION_APIKEY_ALLOWED_KEYS=$(openssl rand -base64 32) -n weaviate

    4. Deploy load balancer internal untuk mengakses Weaviate dari dalam jaringan virtual:

      kubectl apply -n weaviate -f manifests/05-ilb/ilb.yaml

      Manifes ilb.yaml menjelaskan layanan load balancer:

      apiVersion: v1
kind: Service
metadata:
  annotations:
    #cloud.google.com/neg: '{"ingress": true}'
    networking.gke.io/load-balancer-type: "Internal"
  labels:
    app.kubernetes.io/name: weaviate
  name: weaviate-ilb
spec:
  ports:
  - name: http
    port: 8080
    protocol: TCP
    targetPort: 8080
  - name: grpc
    port: 50051
    protocol: TCP
    targetPort: 50051
  selector:
    app: weaviate
  type: LoadBalancer

    5. Terapkan manifes untuk men-deploy cluster Weaviate:

      helm upgrade --install "weaviate" weaviate/weaviate \
--namespace "weaviate" \
--values ./manifests/01-basic-cluster/weaviate_cluster.yaml

      Manifes weaviate_cluster.yaml menjelaskan Deployment. Deployment adalah objek Kubernetes API yang memungkinkan Anda menjalankan beberapa replika Pod yang didistribusikan di antara node dalam cluster:

      initContainers:
  sysctlInitContainer:
    enabled: false
  extraInitContainers: {}
resources: 
   requests:
     cpu: '1'
     memory: '4Gi'
   limits:
     cpu: '2'
     memory: '4Gi'
replicas: 3
storage:
  size: 10Gi
  storageClassName: "premium-rwo"
service:
  name: weaviate
  ports:
    - name: http
      protocol: TCP
      port: 80
  type: ClusterIP
grpcService:
  enabled: true
  name: weaviate-grpc
  ports:
    - name: grpc
      protocol: TCP
      port: 50051
  type: ClusterIP
authentication:
  anonymous_access:
    enabled: false
authorization:
  admin_list:
    enabled: true
    users:
      - admin@example.com
modules:
  text2vec-palm:
    enabled: true
env:
  AUTHENTICATION_APIKEY_ENABLED: 'true'
  AUTHENTICATION_APIKEY_USERS: 'admin@example.com'
  PROMETHEUS_MONITORING_ENABLED: true
envSecrets:
  AUTHENTICATION_APIKEY_ALLOWED_KEYS: apikeys
tolerations:
  - key: "app.stateful/component"
    operator: "Equal"
    value: "weaviate"
    effect: NoSchedule

      Tunggu beberapa menit hingga cluster Weaviate dimulai sepenuhnya.

    6. Periksa status Deployment:

      kubectl get weaviate -n weaviate --watch

      Outputnya mirip dengan berikut ini, jika database weaviate berhasil di-deploy:

      NAME: weaviate
LAST DEPLOYED: Tue Jun 18 13:15:53 2024
NAMESPACE: weaviate
STATUS: deployed
REVISION: 1
TEST SUITE: None

    7. Tunggu hingga Kubernetes memulai resource:

      kubectl wait pods -l app.kubernetes.io/name=weaviate --for condition=Ready --timeout=300s -n weaviate

    Menjalankan kueri dengan notebook Colab Enterprise Vertex AI

    Bagian ini menjelaskan cara terhubung ke database Weaviate menggunakan Colab Enterprise. Anda dapat menggunakan template runtime khusus untuk men-deploy ke weaviate-vpc, sehingga notebook dapat berkomunikasi dengan resource di cluster GKE.

    Untuk mengetahui informasi selengkapnya tentang Vertex AI Colab Enterprise, lihat dokumentasi Colab Enterprise.

    Membuat template runtime

    Untuk membuat template runtime Colab Enterprise:

    1. Di konsol Google Cloud , buka halaman Runtime Templates Colab Enterprise, lalu pastikan project Anda dipilih:

      Buka Template Runtime

    2. Klik Template Baru. Halaman Create new runtime template akan muncul.

    3. Di bagian Runtime basics:

      • Di kolom Nama tampilan, masukkan weaviate-connect.
      • Di menu drop-down Region, pilih us-central1. Regionnya sama dengan cluster GKE Anda.

    4. Di bagian Konfigurasi komputasi:

      • Di menu drop-down Machine type, pilih e2-standard-2.
      • Di kolom Disk size, masukkan 30.

    5. Di bagian Networking and security:

      • Di menu drop-down Network, pilih jaringan tempat cluster GKE Anda berada.
      • Di menu drop-down Subnetwork, pilih subnetwork yang sesuai.
      • Hapus centang pada kotak Aktifkan akses internet publik.

    6. Untuk menyelesaikan pembuatan template runtime, klik Buat. Template runtime Anda akan muncul dalam daftar di tab Runtime templates.

    Membuat runtime

    Untuk membuat runtime Colab Enterprise:

    1. Dalam daftar template runtime untuk template yang baru saja Anda buat, di kolom Tindakan, klik , lalu klik Buat runtime. Panel Create Vertex AI Runtime akan muncul.

    2. Untuk membuat runtime berdasarkan template Anda, klik Buat.

    3. Pada tab Runtimes yang terbuka, tunggu hingga status berubah menjadi Healthy.

    Mengimpor notebook

    Untuk mengimpor notebook di Colab Enterprise:

    1. Buka tab Notebook Saya, lalu klik Impor. Panel Import notebooks akan muncul.

    2. Di Sumber impor, pilih URL.

    3. Di bagian URL Notebook, masukkan link berikut:

      https://raw.githubusercontent.com/GoogleCloudPlatform/kubernetes-engine-samples/main/databases/weaviate/manifests/02-notebook/vector-database.ipynb

    4. Klik Import.

    Menghubungkan ke runtime dan menjalankan kueri

    Untuk terhubung ke runtime dan menjalankan kueri:

    1. Di notebook, di samping tombol Connect, klik Additional connection options. Panel Connect to Vertex AI Runtime akan muncul.

    2. Pilih Connect to a runtime, lalu pilih Connect to an existing Runtime.

    3. Pilih runtime yang Anda luncurkan, lalu klik Connect.

    4. Untuk menjalankan sel notebook, klik tombol Jalankan sel di samping setiap sel kode.

    Notebook berisi sel kode dan teks yang menjelaskan setiap blok kode. Menjalankan sel kode akan mengeksekusi perintahnya dan menampilkan output. Anda dapat menjalankan sel secara berurutan, atau menjalankan sel satu per satu sesuai kebutuhan.

    Melihat metrik Prometheus untuk cluster Anda

    Cluster GKE dikonfigurasi dengan Google Cloud Managed Service for Prometheus, yang memungkinkan pengumpulan metrik dalam format Prometheus. Layanan ini menyediakan solusi terkelola sepenuhnya untuk pemantauan dan pemberitahuan, yang memungkinkan pengumpulan, penyimpanan, dan analisis metrik dari cluster dan aplikasinya.

    Diagram berikut menunjukkan cara Prometheus mengumpulkan metrik untuk cluster Anda:

    Pengumpulan metrik Prometheus

    Cluster pribadi GKE dalam diagram berisi komponen berikut:

    • Pod Weaviate yang mengekspos metrik di jalur /metrics dan port 2112.
    • Pengumpul berbasis Prometheus yang memproses metrik dari Pod Weaviate.
    • Resource PodMonitoring yang mengirim metrik ke Cloud Monitoring.

    Untuk mengekspor dan melihat metrik, ikuti langkah-langkah berikut:

    1. Buat resource PodMonitoring untuk meng-scrape metrik menurut labelSelector:

      kubectl apply -n weaviate -f manifests/03-prometheus-metrics/pod-monitoring.yaml

      Manifes pod-monitoring.yaml menjelaskan resource PodMonitoring:

      apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: weaviate
spec:
  selector:
    matchLabels:
      app: weaviate
  endpoints:
  - port: 2112
    interval: 30s
    path: /metrics

    2. Untuk mengimpor dasbor Cloud Monitoring kustom dengan konfigurasi yang ditentukan dalam dashboard.json:

      gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json

    3. Setelah perintah berhasil dijalankan, buka Dasbor Cloud Monitoring:

      Buka Ringkasan dasbor

    4. Dari daftar dasbor, buka dasbor Weaviate Overview. Mungkin perlu waktu untuk mengumpulkan dan menampilkan metrik. Dasbor menampilkan jumlah Shard, Vektor, dan latensi operasi

    Pembersihan

    Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

    Menghapus project

    Cara termudah untuk menghindari penagihan adalah dengan menghapus project yang Anda buat untuk tutorial ini.

    Delete a Google Cloud project:

    gcloud projects delete PROJECT_ID

    Jika Anda menghapus project ini, berarti pembersihan telah selesai. Jika Anda tidak menghapus project, lanjutkan dengan menghapus resource satu per satu.

    Menghapus resource satu per satu

    1. Menetapkan variabel lingkungan.

      export PROJECT_ID=${PROJECT_ID}
export KUBERNETES_CLUSTER_PREFIX=weaviate
export REGION=us-central1

    2. Jalankan perintah terraform destroy:

      export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform  -chdir=terraform/FOLDER destroy \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

      Ganti FOLDER dengan gke-autopilot atau gke-standard, bergantung pada jenis cluster GKE yang Anda buat.

      Saat diminta, ketik yes.

    3. Temukan semua disk yang tidak terpasang:

      export disk_list=$(gcloud compute disks list --filter="-users:* AND labels.name=${KUBERNETES_CLUSTER_PREFIX}-cluster" --format "value[separator=|](name,region)")

    4. Hapus disk:

      for i in $disk_list; do
 disk_name=$(echo $i| cut -d'|' -f1)
 disk_region=$(echo $i| cut -d'|' -f2|sed 's|.*/||')
 echo "Deleting $disk_name"
 gcloud compute disks delete $disk_name --region $disk_region --quiet
done

    5. Hapus repositori GitHub:

      rm -r ~/kubernetes-engine-samples/

    Langkah berikutnya