Men-deploy database vektor Weaviate di GKE

Autopilot Standar

---

Tutorial ini menunjukkan kepada Anda cara men-deploy Weaviate cluster database vektor di Google Kubernetes Engine (GKE).

Weaviate adalah database vektor open source dengan latensi rendah performa dan dukungan dasar untuk berbagai jenis media seperti teks dan gambar. Alat ini mendukung penelusuran semantik, penjawaban pertanyaan, dan klasifikasi. Berat adalah sepenuhnya dibangun di Go dan menyimpan objek maupun vektor, memungkinkan penggunaan vektor pencarian, pencarian kata kunci, dan kombinasi keduanya sebagai penelusuran hibrida. Dari perspektif infrastruktur Anda, Weaviate merupakan database berbasis cloud dan fault-tolerant. Fault tolerance diberikan oleh arsitektur tanpa pemimpin di mana setiap node {i>database<i} cluster dapat melayani permintaan baca dan tulis yang kemudian mengecualikan satu titik kegagalan.

Tutorial ini ditujukan bagi administrator dan arsitek platform cloud, ML engineer dan profesional MLOps (DevOps) yang tertarik untuk men-deploy cluster database vektor di GKE.

Manfaat

Weaviate menawarkan manfaat berikut:

• Library untuk berbagai bahasa pemrograman dan API terbuka untuk berintegrasi dengan layanan lain.
• Penskalaan horizontal.
• Keseimbangan antara efektivitas biaya dan kecepatan kueri, terutama saat menangani dengan {i>dataset <i}yang besar. Anda dapat memilih berapa banyak data yang disimpan di memori atau di disk.

Tujuan

Dalam tutorial ini, Anda akan mempelajari cara:

• Rencanakan dan deploy infrastruktur GKE untuk Weaviate.
• Men-deploy dan mengonfigurasi database Weaviate di cluster GKE.
• Menjalankan Notebook untuk menghasilkan dan menyimpan contoh embedding vektor dalam database, dan melakukan kueri penelusuran berbasis vektor.

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

• GKE
• Google Cloud Managed Service for Prometheus

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Pembersihan.

Sebelum memulai

Dalam tutorial ini, Anda menggunakan Cloud Shell untuk menjalankan perintah. Cloud Shell adalah lingkungan shell untuk mengelola resource yang dihosting di Google Cloud. Aplikasi ini telah diinstal lebih dulu dengan Google Cloud CLI, kubectl, Helm dan Terraform baris perintah. Jika tidak menggunakan Cloud Shell, Anda harus menginstal Google Cloud CLI.

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
2. Menginstal Google Cloud CLI.

3. Untuk initialize gcloud CLI, jalankan perintah berikut:

   gcloud init

   Catatan: Jika Anda telah menginstal gcloud CLI sebelumnya, pastikan Anda memiliki versi baru dengan menjalankan gcloud components update.

4. Buat atau pilih project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   • Membuat project Google Cloud:

     gcloud projects create PROJECT_ID

     Ganti PROJECT_ID dengan nama untuk project Google Cloud yang Anda buat.

   • Pilih project Google Cloud yang Anda buat:

     gcloud config set project PROJECT_ID

     Ganti PROJECT_ID dengan nama project Google Cloud Anda.

5. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

6. Aktifkan API Cloud Resource Manager, Compute Engine, GKE, and IAM Service Account Credentials:

   gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com

7. Menginstal Google Cloud CLI.

8. Untuk initialize gcloud CLI, jalankan perintah berikut:

   gcloud init

   Catatan: Jika Anda telah menginstal gcloud CLI sebelumnya, pastikan Anda memiliki versi baru dengan menjalankan gcloud components update.

9. Buat atau pilih project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   • Membuat project Google Cloud:

     gcloud projects create PROJECT_ID

     Ganti PROJECT_ID dengan nama untuk project Google Cloud yang Anda buat.

   • Pilih project Google Cloud yang Anda buat:

     gcloud config set project PROJECT_ID

     Ganti PROJECT_ID dengan nama project Google Cloud Anda.

10. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

11. Aktifkan API Cloud Resource Manager, Compute Engine, GKE, and IAM Service Account Credentials:

    gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com

12. Berikan peran ke Akun Google Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut: roles/compute.securityAdmin, roles/compute.viewer, roles/container.clusterAdmin, roles/container.admin, roles/iam.serviceAccountAdmin, roles/iam.serviceAccountUser, roles/monitoring.viewer

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE

    • Ganti PROJECT_ID dengan project ID Anda.
    • Ganti EMAIL_ADDRESS dengan alamat email Anda.
    • Ganti ROLE dengan setiap peran individual.

Menyiapkan lingkungan Anda

Untuk menyiapkan lingkungan Anda dengan Cloud Shell, ikuti langkah-langkah berikut:

1. Menetapkan variabel lingkungan untuk project, region, dan Kubernetes awalan resource cluster:

   export PROJECT_ID=PROJECT_ID
   export KUBERNETES_CLUSTER_PREFIX=weaviate
   export REGION=us-central1
   

   PROJECT_ID dengan ID project Google Cloud Anda

   Tutorial ini menggunakan region us-central1 untuk membuat deployment Anda Google Cloud Platform.

2. Periksa versi Helm:

   helm version
   

   Update versi jika lebih lama dari 3.13:

   curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
   

3. Clone repositori kode contoh dari GitHub:

   git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples
   

4. Buka direktori weaviate:

   cd kubernetes-engine-samples/databases/weaviate
   

Membuat infrastruktur cluster

Di bagian ini, Anda akan menjalankan skrip Terraform untuk membuat skrip cluster GKE regional untuk men-deploy database Weaviate Anda.

Anda dapat memilih men-deploy Weaviate menggunakan Cluster Standar atau Autopilot. Masing-masing memiliki kelebihan dan model harga yang berbeda.

Autopilot

Diagram berikut menunjukkan cluster GKE Autopilot yang digunakan di proyek.

Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-autopilot init
terraform -chdir=terraform/gke-autopilot apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

GKE menggantikan variabel berikut pada runtime:

• GOOGLE_OAUTH_ACCESS_TOKEN menggunakan gcloud auth print-access-token untuk mengambil token akses yang mengotentikasi interaksi dengan berbagai Google Cloud API
• PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah lingkungannya yang ditentukan di bagian Menyiapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Autopilot yang Anda buat.

Saat diminta, ketik yes.

Outputnya mirip dengan hal berikut ini:

...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"

Terraform membuat resource berikut:

• Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
• Cloud Router untuk mengakses internet melalui Penafsiran Alamat Jaringan (NAT).
• Cluster GKE pribadi di region us-central1.
• ServiceAccount dengan izin logging dan pemantauan untuk cluster.
• konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

Standard

Diagram berikut menunjukkan cluster GKE regional pribadi Standar yang di-deploy di tiga zona yang berbeda.

Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-standard init
terraform -chdir=terraform/gke-standard apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

GKE menggantikan variabel berikut pada runtime:

• GOOGLE_OAUTH_ACCESS_TOKEN menggunakan gcloud auth print-access-token untuk mengambil token akses yang mengotentikasi interaksi dengan berbagai Google Cloud API.
• PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah variabel lingkungan yang ditentukan di bagian Menyiapkan lingkungan Anda dan ditetapkan ke lingkungan variabel yang relevan untuk cluster Standar yang Anda buat.

Saat diminta, ketik yes. Mungkin diperlukan waktu beberapa menit hingga perintah ini selesai dan cluster dapat menampilkan status siap.

Outputnya mirip dengan hal berikut ini:

...
Apply complete! Resources: 10 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"

Terraform membuat resource berikut:

• Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
• Cloud Router untuk mengakses internet melalui Penafsiran Alamat Jaringan (NAT).
• Cluster GKE pribadi di region us-central1 dengan penskalaan otomatis diaktifkan (satu hingga dua node per zona).
• ServiceAccount dengan izin logging dan pemantauan untuk cluster.
• Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

Hubungkan ke cluster

Konfigurasi kubectl untuk mengambil kredensial dan berkomunikasi dengan cluster GKE baru Anda:

gcloud container clusters get-credentials \
    ${KUBERNETES_CLUSTER_PREFIX}-cluster --region ${REGION}

Men-deploy database Weaviate ke cluster Anda

Agar dapat menggunakan diagram Helm untuk men-deploy database Weaviate ke cluster GKE Anda, ikuti langkah-langkah berikut:

1. Tambahkan repositori Helm Chart database Weaviate sebelum Anda dapat men-deploy-nya di Cluster GKE:

   helm repo add weaviate https://weaviate.github.io/weaviate-helm
   

2. Buat namespace weaviate untuk database:

   kubectl create ns weaviate
   

3. Buat rahasia untuk menyimpan kunci API:

   kubectl create secret generic apikeys --from-literal=AUTHENTICATION_APIKEY_ALLOWED_KEYS=$(openssl rand -base64 32) -n weaviate
   

4. Deploy load balancer internal untuk mengakses Weaviate dari dalam jaringan virtual:

   kubectl apply -n weaviate -f manifests/05-ilb/ilb.yaml
   

   Manifes ilb.yaml menjelaskan layanan load balancer:

   apiVersion: v1
   kind: Service
   metadata:
     annotations:
       #cloud.google.com/neg: '{"ingress": true}'
       networking.gke.io/load-balancer-type: "Internal"
     labels:
       app.kubernetes.io/name: weaviate
     name: weaviate-ilb
   spec:
     ports:
     - name: http
       port: 8080
       protocol: TCP
       targetPort: 8080
     - name: grpc
       port: 50051
       protocol: TCP
       targetPort: 50051
     selector:
       app: weaviate
     type: LoadBalancer

5. Terapkan manifes untuk men-deploy cluster Weaviate:

   helm upgrade --install "weaviate" weaviate/weaviate \
   --namespace "weaviate" \
   --values ./manifests/01-basic-cluster/weaviate_cluster.yaml
   

   Manifes weaviate_cluster.yaml menjelaskan Deployment:

   initContainers:
     sysctlInitContainer:
       enabled: false
     extraInitContainers: {}
   resources: 
      requests:
        cpu: '1'
        memory: '4Gi'
      limits:
        cpu: '2'
        memory: '4Gi'
   replicas: 3
   storage:
     size: 10Gi
     storageClassName: "premium-rwo"
   service:
     name: weaviate
     ports:
       - name: http
         protocol: TCP
         port: 80
     type: ClusterIP
   grpcService:
     enabled: true
     name: weaviate-grpc
     ports:
       - name: grpc
         protocol: TCP
         port: 50051
     type: ClusterIP
   authentication:
     anonymous_access:
       enabled: false
   authorization:
     admin_list:
       enabled: true
       users:
         - [e-mail]
   modules:
     text2vec-palm:
       enabled: true
   env:
     AUTHENTICATION_APIKEY_ENABLED: 'true'
     AUTHENTICATION_APIKEY_USERS: '[e-mail]'
     PROMETHEUS_MONITORING_ENABLED: true
   envSecrets:
     AUTHENTICATION_APIKEY_ALLOWED_KEYS: apikeys
   tolerations:
     - key: "app.stateful/component"
       operator: "Equal"
       value: "weaviate"
       effect: NoSchedule

   Tunggu beberapa menit sampai gugus Weaviate dimulai sepenuhnya.

6. Periksa status deployment:

   kubectl get weaviate -n weaviate --watch
   

   Outputnya mirip dengan yang berikut ini, jika database weaviate berhasil di-deploy:

   NAME: weaviate
   LAST DEPLOYED: Tue Jun 18 13:15:53 2024
   NAMESPACE: weaviate
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None
   

7. Tunggu hingga Kubernetes memulai resource:

   kubectl wait pods -l app.kubernetes.io/name=weaviate --for condition=Ready --timeout=300s -n weaviate
   

Menjalankan kueri dengan notebook Vertex AI Colab Enterprise

Bagian ini menjelaskan cara terhubung ke database Weaviate menggunakan Colab Enterprise. Anda dapat menggunakan template runtime khusus untuk men-deploy ke weaviate-vpc, sehingga dapat berkomunikasi dengan resource di cluster GKE.

Membuat template runtime

Untuk membuat template runtime:

1. Di konsol Google Cloud, buka Runtime Templates Colab Enterprise dan pastikan proyek Anda telah dipilih:

   Buka Runtime Templates

2. Klik Template Baru. Opsi Buat baru halaman template runtime akan muncul.

3. Di bagian Dasar-dasar runtime:

   • Di kolom Nama tampilan, masukkan weaviate-connect.
   • Di menu drop-down Region, pilih us-central1. Ini adalah region yang sama sebagai cluster GKE.

4. Di bagian Configure compute:

   • Di menu drop-down Machine type, pilih e2-standard-2.
   • Di kolom Disk size, masukkan 30.

5. Di bagian Jaringan dan keamanan:

   • Dalam menu drop-down Network, pilih jaringan tempat Cluster GKE berada.
   • Di menu drop-down Subnetwork, pilih subnetwork yang sesuai.
   • Hapus centang pada kotak Enable public internet access.

6. Klik Create untuk menyelesaikan pembuatan template runtime. Template runtime Anda akan muncul dalam daftar pada tab Runtime templates.

Membuat runtime

Untuk membuat runtime:

1. Dalam daftar template runtime, untuk template yang baru saja Anda buat, klik di kolom Tindakan, lalu klik Create runtime. Panel Create Vertex AI Runtime akan muncul.

2. Klik Create untuk membuat runtime berdasarkan template Anda.

3. Pada tab Runtimes yang terbuka, tunggu hingga statusnya berubah menjadi Healthy (responsif).

Mengimpor notebook

Untuk mengimpor notebook:

1. Buka tab Notebooks dan klik Import notebook from URLs.

2. Di bagian Sumber impor, pilih URL.

3. Di bagian URL Notebook tempelkan link berikut: raw.githubusercontent.com/epam/kubernetes-engine-samples/Weaviate/databases/weaviate/manifests/02-notebook/vector-database.ipynb

4. Klik Import.

Menghubungkan ke runtime dan menjalankan kueri

Untuk terhubung ke runtime dan menjalankan kueri:

1. Pada notebook, di samping tombol Connect, klik Additional connection options. Panel Connect to Vertex AI Runtime akan muncul.

2. Pilih Connect to a runtime, lalu pilih Connect to an existing Runtime.

3. Pilih runtime yang Anda luncurkan, lalu klik Hubungkan.

4. Klik tombol Run cell di sebelah kiri setiap sel kode untuk menjalankan sel-sel notebook.

Notebook ini berisi sel kode dan teks yang menjelaskan setiap blok kode. Menjalankan sel kode mengeksekusi perintahnya dan menampilkan {i>output<i}. Anda bisa menjalankan sel secara berurutan, atau menjalankan sel individu sesuai kebutuhan.

Untuk mengetahui informasi selengkapnya tentang Vertex AI Colab Enterprise, lihat Dokumentasi Colab Enterprise.

Melihat metrik Prometheus untuk cluster Anda

Cluster GKE dikonfigurasi dengan Google Cloud Managed Service for Prometheus, yang memungkinkan pengumpulan metrik dalam format Prometheus. Layanan ini menyediakan solusi terkelola sepenuhnya untuk pemantauan dan pemberitahuan, yang memungkinkan pengumpulan, penyimpanan, serta analisis metrik dari cluster dan penerapannya.

Diagram berikut menunjukkan cara Prometheus mengumpulkan metrik untuk cluster Anda:

Cluster pribadi GKE dalam diagram berisi komponen berikut:

• Tetapkan Pod yang mengekspos metrik di jalur /metrics dan port 2112.
• Kolektor berbasis Prometheus yang memproses metrik dari Pod Weaviate.
• Resource PodMonitoring yang mengirim metrik ke Cloud Monitoring.

Untuk mengekspor dan melihat metrik, ikuti langkah-langkah berikut:

1. Membuat PodMonitoring resource untuk menyalin metrik sebesar labelSelector:

   kubectl apply -n weaviate -f manifests/03-prometheus-metrics/pod-monitoring.yaml
   

   Manifes pod-monitoring.yaml menjelaskan resource PodMonitoring:

   apiVersion: monitoring.googleapis.com/v1
   kind: PodMonitoring
   metadata:
     name: weaviate
   spec:
     selector:
       matchLabels:
         app: weaviate
     endpoints:
     - port: 2112
       interval: 30s
       path: /metrics

2. Untuk mengimpor dasbor Cloud Monitoring kustom dengan konfigurasi yang ditentukan dalam dashboard.json:

   gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json
   

3. Setelah perintah berhasil berjalan, buka Cloud Monitoring Dasbor:

   Buka ringkasan Dasbor

4. Dari daftar dasbor, buka dasbor Weaviate Overview. Mungkin luangkan waktu untuk mengumpulkan dan menampilkan metrik. Dasbor menunjukkan jumlah latensi operasi, Vektor, dan Shard

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

Cara termudah untuk menghindari penagihan adalah dengan menghapus project yang Anda buat dalam tutorial ini.

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

Menghapus project Google Cloud:

gcloud projects delete PROJECT_ID

Jika Anda menghapus project ini, berarti pembersihan telah selesai. Jika Anda tidak menghapus project, lanjutkan untuk menghapus resource satu per satu.

Menghapus resource satu per satu

1. Menetapkan variabel lingkungan.

   export PROJECT_ID=${PROJECT_ID}
   export KUBERNETES_CLUSTER_PREFIX=weaviate
   export REGION=us-central1
   

2. Jalankan perintah terraform destroy:

   export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
   terraform  -chdir=terraform/FOLDER destroy \
   -var project_id=${PROJECT_ID} \
   -var region=${REGION} \
   -var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}
   

   Ganti FOLDER dengan gke-autopilot atau gke-standard, bergantung pada jenis cluster GKE yang Anda buat.

   Saat diminta, ketik yes.

3. Temukan semua disk yang tidak terpasang:

   export disk_list=$(gcloud compute disks list --filter="-users:* AND labels.name=${KUBERNETES_CLUSTER_PREFIX}-cluster" --format "value[separator=|](name,region)")
   

4. Hapus disk:

   for i in $disk_list; do
    disk_name=$(echo $i| cut -d'|' -f1)
    disk_region=$(echo $i| cut -d'|' -f2|sed 's|.*/||')
    echo "Deleting $disk_name"
    gcloud compute disks delete $disk_name --region $disk_region --quiet
   done
   

5. Hapus repositori GitHub:

   rm -r ~/kubernetes-engine-samples/
   

Langkah selanjutnya

• Pelajari Elasticsearch di GKE untuk penskalaan horizontal dengan sharding dan replikasi.
• Pelajari praktik terbaik untuk men-deploy database di GKE.
• Temukan solusi untuk menjalankan workload yang memproses banyak data dengan GKE.