Halaman ini diterjemahkan oleh Cloud Translation API.

Men-deploy database vektor Elasticsearch di GKE

Autopilot Standar

Tutorial ini menunjukkan cara men-deploy Elasticsearch cluster database vektor di Google Kubernetes Engine (GKE).

Database vektor adalah penyimpanan data yang dirancang khusus untuk mengelola dan mencari melalui koleksi besar vektor berdimensi tinggi. Vektor-vektor ini mewakili data seperti teks, gambar, audio, video atau data apa pun yang dapat dienkode dengan numerik. Tidak seperti {i>database<i} relasional yang bergantung pada kecocokan persis, database vektor mengkhususkan diri dalam menemukan item serupa atau mengidentifikasi pola dalam {i>dataset<i} yang sangat besar.

Elasticsearch adalah database vektor yang menggabungkan fungsi penelusuran dan analisis. Dilengkapi dengan REST API terbuka untuk mengelola cluster Anda, dan mendukung kueri, kueri teks lengkap, dan kueri kompleks. Elasticsearch memungkinkan Anda melakukan penelusuran frasa, kesamaan, dan awalan, dengan saran pelengkapan otomatis.

Tutorial ini ditujukan bagi administrator dan arsitek platform cloud, ML engineer, dan MLOps (DevOps) profesional yang tertarik untuk men-deploy Elasticsearch cluster database di GKE.

Manfaat

Elasticsearch menawarkan manfaat berikut:

Berbagai library untuk berbagai bahasa pemrograman dan API terbuka untuk berintegrasi dengan layanan lain.
Penskalaan horizontal, dan dukungan untuk sharding dan replikasi yang menyederhanakan penskalaan, dan ketersediaan tinggi.
Penyeimbang cluster multi-node untuk pemanfaatan resource yang optimal.
Dukungan container dan Kubernetes untuk integrasi yang lancar ke modern lingkungan berbasis cloud.

Tujuan

Dalam tutorial ini, Anda akan mempelajari cara:

Rencanakan dan deploy infrastruktur GKE untuk Elasticsearch.
Men-deploy dan mengonfigurasi Elasticsearch di cluster GKE.
Men-deploy operator StatefulHA untuk memastikan ketersediaan tinggi Elasticsearch.
Upload set data demo dan jalankan kueri penelusuran.
Mengumpulkan dan memvisualisasikan metrik di dasbor.

Arsitektur deployment

Dalam tutorial ini, Anda men-deploy cluster GKE regional yang sangat tersedia untuk Elasticsearch, dengan beberapa node Kubernetes yang tersebar di beberapa zona ketersediaan. Ini membantu memastikan fault tolerance, skalabilitas, dan redundansi geografis. Ini memungkinkan pembaruan dan pemeliharaan berkelanjutan sembari memberikan SLA waktu ketersediaan tinggi. Untuk mengetahui informasi selengkapnya, lihat Cluster regional.

Saat node menjadi tidak dapat dijangkau, Pod pada node tersebut tidak akan segera dijadwalkan ulang. Jika Pod yang menggunakan StatefulSet, diperlukan waktu lebih dari delapan menit untuk aplikasi Pod yang akan dihapus dan dijadwalkan ulang ke node baru.

Untuk mengatasi masalah ini, operator StatefulHA melakukan hal berikut:

Mengatasi jeda penjadwalan ulang, menangani setelan failover, dan mempersingkat waktu pemulihan dengan menggunakan .forceDeleteStrategy: Setelan AfterNodeUnreachable.
Memastikan bahwa aplikasi StatefulSet menggunakan RePD.
Memperluas GKE dengan resource HighAvailabilityApplication kustom yang di-deploy di namespace yang sama sebagai Elasticsearch. Hal ini memungkinkan StatefulHA untuk memantau dan merespons peristiwa failover.

Diagram berikut menunjukkan cluster Elasticsearch yang berjalan di beberapa node dan zona di cluster GKE:

Arsitektur deployment Elasticsearch

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Pembersihan.

Penggunaan Elasticsearch gratis berdasarkan Lisensi Publik Sisi Server (SSPL).

Sebelum memulai

Dalam tutorial ini, Anda menggunakan Cloud Shell untuk menjalankan perintah. Cloud Shell adalah lingkungan shell untuk mengelola resource yang dihosting di Google Cloud. Aplikasi ini telah diinstal lebih dulu dengan Google Cloud CLI, kubectl, Helm dan Terraform baris perintah. Jika tidak menggunakan Cloud Shell, Anda harus menginstal Google Cloud CLI.

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Menginstal Google Cloud CLI.

Untuk initialize gcloud CLI, jalankan perintah berikut:

gcloud init

Catatan: Jika Anda telah menginstal gcloud CLI sebelumnya, pastikan Anda memiliki versi baru dengan menjalankan

gcloud components
      update

Buat atau pilih project Google Cloud.

Membuat project Google Cloud:
```
gcloud projects create PROJECT_ID
```
Ganti PROJECT_ID dengan nama untuk project Google Cloud yang Anda buat.
Pilih project Google Cloud yang Anda buat:
```
gcloud config set project PROJECT_ID
```
Ganti PROJECT_ID dengan nama project Google Cloud Anda.

Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

Aktifkan API Cloud Resource Manager, Compute Engine, GKE, IAM Service Account Credentials, and Backup for GKE:

gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com gkebackup.googleapis.com

Menginstal Google Cloud CLI.

Untuk initialize gcloud CLI, jalankan perintah berikut:

gcloud init

Catatan: Jika Anda telah menginstal gcloud CLI sebelumnya, pastikan Anda memiliki versi baru dengan menjalankan

gcloud components
      update

Buat atau pilih project Google Cloud.

Membuat project Google Cloud:
```
gcloud projects create PROJECT_ID
```
Ganti PROJECT_ID dengan nama untuk project Google Cloud yang Anda buat.
Pilih project Google Cloud yang Anda buat:
```
gcloud config set project PROJECT_ID
```
Ganti PROJECT_ID dengan nama project Google Cloud Anda.

Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

Aktifkan API Cloud Resource Manager, Compute Engine, GKE, IAM Service Account Credentials, and Backup for GKE:

gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com gkebackup.googleapis.com

Berikan peran ke Akun Google Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut: role/storage.objectViewer, roles/container.admin, roles/iam.serviceAccountAdmin, roles/compute.admin, roles/gkebackup.admin, roles/monitoring.viewer
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE
```
- Ganti PROJECT_ID dengan project ID Anda.
- Ganti EMAIL_ADDRESS dengan alamat email Anda.
- Ganti ROLE dengan setiap peran individual.

Menyiapkan lingkungan Anda

Untuk menyiapkan lingkungan Anda dengan Cloud Shell, ikuti langkah-langkah berikut:

Menetapkan variabel lingkungan untuk project, region, dan Kubernetes awalan resource cluster:
```
export PROJECT_ID=PROJECT_ID
export KUBERNETES_CLUSTER_PREFIX=elasticsearch
export REGION=us-central1
```
- PROJECT_ID dengan ID project Google Cloud Anda
Tutorial ini menggunakan region us-central1 untuk membuat deployment Anda Google Cloud Platform.

Periksa versi Helm:

helm version

Update versi jika lebih lama dari 3.13:

curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

Clone repositori kode contoh dari GitHub:

git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples

Buka direktori elasticsearch untuk mulai membuat resource deployment:
```
cd kubernetes-engine-samples/databases/elasticsearch
```

Membuat infrastruktur cluster

Di bagian ini, Anda akan menjalankan skrip Terraform untuk membuat skrip cluster GKE regional untuk men-deploy database Elasticsearch Anda.

Anda dapat memilih untuk men-deploy Elasticsearch menggunakan Cluster Standar atau Autopilot. Masing-masing memiliki kelebihan dan model harga yang berbeda.

Autopilot

Diagram berikut menunjukkan cluster GKE Autopilot yang digunakan di proyek.

Cluster GKE Autopilot

Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-autopilot init
terraform -chdir=terraform/gke-autopilot apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

GKE menggantikan variabel berikut pada runtime:

GOOGLE_OAUTH_ACCESS_TOKEN menggunakan gcloud auth print-access-token untuk mengambil token akses yang mengotentikasi interaksi dengan berbagai Google Cloud API
PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah lingkungannya yang ditentukan di bagian Menyiapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Autopilot yang Anda buat.

Saat diminta, ketik yes.

Outputnya mirip dengan hal berikut ini:

...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials elasticsearch-cluster --region us-central1"

Terraform membuat resource berikut:

Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
Cloud Router untuk mengakses internet melalui Penafsiran Alamat Jaringan (NAT).
Cluster GKE pribadi di region us-central1.
ServiceAccount dengan izin logging dan pemantauan untuk cluster.
konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

Standard

Diagram berikut menunjukkan cluster GKE regional pribadi Standar yang di-deploy di tiga zona yang berbeda.

Cluster GKE Standard

Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-standard init
terraform -chdir=terraform/gke-standard apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

GKE menggantikan variabel berikut pada runtime:

GOOGLE_OAUTH_ACCESS_TOKEN menggunakan gcloud auth print-access-token untuk mengambil token akses yang mengotentikasi interaksi dengan berbagai Google Cloud API.
PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah variabel lingkungan yang ditentukan di bagian Menyiapkan lingkungan Anda dan ditetapkan ke lingkungan variabel yang relevan untuk cluster Standar yang Anda buat.

Saat diminta, ketik yes. Mungkin diperlukan waktu beberapa menit hingga perintah ini selesai dan cluster dapat menampilkan status siap.

Outputnya mirip dengan hal berikut ini:

...
Apply complete! Resources: 10 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials elasticsearch-cluster --region us-central1"

Terraform membuat resource berikut:

Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
Cloud Router untuk mengakses internet melalui Penafsiran Alamat Jaringan (NAT).
Cluster GKE pribadi di region us-central1 dengan penskalaan otomatis diaktifkan (satu hingga dua node per zona).
ServiceAccount dengan izin logging dan pemantauan untuk cluster.
Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

Hubungkan ke cluster

Konfigurasi kubectl untuk mengambil kredensial dan berkomunikasi dengan cluster GKE baru Anda:

gcloud container clusters get-credentials \
    ${KUBERNETES_CLUSTER_PREFIX}-cluster --region ${REGION}

Men-deploy database Elasticsearch dan operator StatefulHA

Di bagian ini, Anda akan men-deploy database Elasticsearch (dalam mode cluster) dan Operator StatefulHA ke cluster GKE Anda menggunakan Diagram Helm Operator EK.

Deployment membuat cluster GKE dengan konfigurasi berikut:

Tiga replika node Elasticsearch.
DaemonSet untuk mengubah setelan memori virtual, untuk performa Elasticsearch yang optimal.
Konfigurasi NodeAffinity dan PodAntiAffinity untuk memastikan distribusi yang tepat di seluruh node Kubernetes, mengoptimalkan penggunaan node pool, serta memaksimalkan ketersediaan di berbagai zona.
Operator HA Stateful yang mengelola proses failover dan memastikan ketersediaan tinggi.
Untuk autentikasi, database membuat Secret Kubernetes dengan autentikasi kredensial, {i>password<i}, dan sertifikat.

Agar dapat menggunakan diagram Helm untuk men-deploy database Elasticsearch, ikuti langkah-langkah berikut:

Aktifkan add-on StatefulHA:
Autopilot
GKE secara otomatis mengaktifkan add-on StatefulHA pada saat pembuatan cluster.
Standard
Jalankan perintah berikut:
```
gcloud container clusters update ${KUBERNETES_CLUSTER_PREFIX}-cluster \
    --project=${PROJECT_ID} \
    --region=${REGION} \
    --update-addons=StatefulHA=ENABLED
```
Mungkin perlu waktu 15 menit untuk menyelesaikan perintah ini dan bagi cluster untuk menampilkan status siap.

Membuat Custom Resource Definition (CRD) Elastic Cloud on Kubernetes (ECK):

kubectl apply -f https://download.elastic.co/downloads/eck/2.11.1/crds.yaml

Deploy operator ECK:

kubectl apply -f https://download.elastic.co/downloads/eck/2.11.1/operator.yaml

Buat namespace elastic untuk database:
```
kubectl create ns elastic
```

Menginstal HighAvailabilityApplication (HAA), yang menentukan aturan failover untuk Elasticsearch..

kubectl apply -n elastic -f manifests/01-regional-pd/ha-app.yaml

Manifes ha-app.yaml menjelaskan resource HighAvailabilityApplication:

kind: HighAvailabilityApplication
apiVersion: ha.gke.io/v1
metadata:
  name: elasticsearch-ha-es-main
  namespace: elastic
spec:
  resourceSelection:
    resourceKind: StatefulSet
  policy:
    storageSettings:
      requireRegionalStorage: false
    failoverSettings:
      forceDeleteStrategy: AfterNodeUnreachable
      afterNodeUnreachable:
        afterNodeUnreachableSeconds: 20 # 60 seconds total

Terapkan manifes untuk membuat disk persistent SSD regional StorageClass:

kubectl apply -n elastic -f manifests/01-regional-pd/regional-pd.yaml

Manifes regional-pd.yaml menjelaskan disk persistent SSD StorageClass:

apiVersion: storage.k8s.io/v1
kind: StorageClass
allowVolumeExpansion: true
metadata:
  name: ha-regional
parameters:
  replication-type: regional-pd
  type: pd-ssd
  availability-class: regional-hard-failover
provisioner: pd.csi.storage.gke.io
reclaimPolicy: Retain
volumeBindingMode: WaitForFirstConsumer

Deploy resource DaemonSet untuk menetapkan memori virtual di setiap node:

kubectl apply -n elastic -f manifests/02-elasticsearch/mmap-count.yaml

Manifes mmap-count.yaml menjelaskan DaemonSet:

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: max-map-count-setter
  labels:
    k8s-app: max-map-count-setter
spec:
  selector:
    matchLabels:
      name: max-map-count-setter
  template:
    metadata:
      labels:
        name: max-map-count-setter
    spec:
      initContainers:
        - name: max-map-count-setter
          image: docker.io/bash:5.2.21
          resources:
            limits:
              cpu: 100m
              memory: 32Mi
          securityContext:
            privileged: true
            runAsUser: 0
          command: ['/usr/local/bin/bash', '-e', '-c', 'echo 262144 > /proc/sys/vm/max_map_count']
      containers:
        - name: sleep
          image: docker.io/bash:5.2.21
          command: ['sleep', 'infinity']

Terapkan manifes untuk men-deploy cluster Elasticsearch:

kubectl apply -n elastic -f manifests/02-elasticsearch/elasticsearch.yaml

Manifes elasticsearch.yaml menjelaskan Deployment:

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: elasticsearch-ha
spec:
  version: 8.11.4
  nodeSets:
  - name: main
    count: 3
    volumeClaimTemplates:
    - metadata:
        name: elasticsearch-data 
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: 10Gi
        storageClassName: ha-regional
    config:
    podTemplate:
      metadata:
        labels:
          app.stateful/component: elasticsearch
      spec:
        initContainers:
        - name: max-map-count-check
          command: ['sh', '-c', "while true; do mmc=$(cat /proc/sys/vm/max_map_count); if [ ${mmc} -eq 262144 ]; then exit 0; fi; sleep 1; done"]
        containers:
        - name: metrics
          image: quay.io/prometheuscommunity/elasticsearch-exporter:v1.7.0
          command:
            - /bin/elasticsearch_exporter
            - --es.ssl-skip-verify
            - --es.uri=https://$(ES_USER):$(ES_PASSWORD)@localhost:9200
          securityContext:
            runAsNonRoot: true
            runAsGroup: 10000
            runAsUser: 10000
          resources:
            requests:
              memory: "128Mi"
              cpu: "25m"
            limits:
              memory: "128Mi"
              cpu: "100m"
          ports:
          - containerPort: 9114
          env:
          - name: ES_USER
            value: "elastic"
          - name: ES_PASSWORD
            valueFrom:
              secretKeyRef:
                name: elasticsearch-ha-es-elastic-user
                key: elastic
        - name: elasticsearch
          resources:
            limits:
              memory: 4Gi
              cpu: 1
        affinity:
          nodeAffinity:
            preferredDuringSchedulingIgnoredDuringExecution:
              - weight: 1
                preference:
                  matchExpressions:
                  - key: app.stateful/component
                    operator: In
                    values:
                    - elasticsearch
          podAntiAffinity:
            preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 1
              podAffinityTerm:
                labelSelector:
                  matchLabels:
                    app.stateful/component: elasticsearch
                topologyKey: topology.kubernetes.io/zone

Tunggu beberapa menit sampai cluster Elasticsearch dimulai sepenuhnya.

Periksa status deployment:
```
kubectl get elasticsearch -n elastic --watch
```
Outputnya mirip dengan yang berikut ini, jika database elasticsearch berhasil di-deploy:
```
NAME               HEALTH   NODES   VERSION   PHASE   AGE
elasticsearch-ha   green    3       8.11.4    Ready   2m30s
```
Tunggu hingga HEALTH ditampilkan sebagai green. Tekan Ctrl+C untuk keluar perintah tersebut jika diperlukan.

Untuk memeriksa apakah aturan failover diterapkan, deskripsikan resource dan konfirmasi Status: Message: Application is protected.

kubectl describe highavailabilityapplication elasticsearch-ha-es-main -n elastic

Outputnya mirip dengan

Status:
  Conditions:
    Last Transition Time:  2024-02-01T13:27:50Z
    Message:               Application is protected
    Observed Generation:   1
    Reason:                ApplicationProtected
    Status:                True
    Type:                  Protected
Events:                    <none>

Setelah GKE memulai workload, pastikan GKE telah membuat workload Elasticsearch:

kubectl get pod,svc,statefulset,pdb,secret,daemonset -n elastic

Outputnya mirip dengan hal berikut ini:

NAME                             READY   STATUS    RESTARTS   AGE
pod/elasticsearch-ha-es-main-0   2/2     Running   0          7m16s
pod/elasticsearch-ha-es-main-1   2/2     Running   0          7m16s
pod/elasticsearch-ha-es-main-2   2/2     Running   0          7m16s
pod/max-map-count-setter-28wt9   1/1     Running   0          7m27s
pod/max-map-count-setter-cflsw   1/1     Running   0          7m27s
pod/max-map-count-setter-gzq9k   1/1     Running   0          7m27s

NAME                                        TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
service/elasticsearch-ha-es-http            ClusterIP   10.52.8.28   <none>        9200/TCP   7m18s
service/elasticsearch-ha-es-internal-http   ClusterIP   10.52.3.48   <none>        9200/TCP   7m18s
service/elasticsearch-ha-es-main            ClusterIP   None         <none>        9200/TCP   7m16s
service/elasticsearch-ha-es-transport       ClusterIP   None         <none>        9300/TCP   7m18s

NAME                                        READY   AGE
statefulset.apps/elasticsearch-ha-es-main   3/3     7m16s

NAME                                                     MIN AVAILABLE   MAX UNAVAILABLE   ALLOWED DISRUPTIONS   AGE
poddisruptionbudget.policy/elasticsearch-ha-es-default   2               N/A               1                     7m16s

NAME                                                 TYPE     DATA   AGE
secret/elasticsearch-ha-es-elastic-user              Opaque   1      7m18s
secret/elasticsearch-ha-es-file-settings             Opaque   1      7m16s
secret/elasticsearch-ha-es-http-ca-internal          Opaque   2      7m17s
secret/elasticsearch-ha-es-http-certs-internal       Opaque   3      7m17s
secret/elasticsearch-ha-es-http-certs-public         Opaque   2      7m17s
secret/elasticsearch-ha-es-internal-users            Opaque   4      7m18s
secret/elasticsearch-ha-es-main-es-config            Opaque   1      7m16s
secret/elasticsearch-ha-es-main-es-transport-certs   Opaque   7      7m16s
secret/elasticsearch-ha-es-remote-ca                 Opaque   1      7m16s
secret/elasticsearch-ha-es-transport-ca-internal     Opaque   2      7m16s
secret/elasticsearch-ha-es-transport-certs-public    Opaque   1      7m16s
secret/elasticsearch-ha-es-xpack-file-realm          Opaque   4      7m18s

NAME                                  DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
daemonset.apps/max-map-count-setter   6         6         6       6            6           <none>          13m

Resource GKE berikut dibuat untuk aplikasi Elasticsearch :

StatefulSet Elasticsearch yang mengontrol tiga replika Pod.
DaemonSet untuk mengonfigurasi setelan memori virtual.
Layanan untuk terhubung ke Elasticsearch.
Rahasia dengan kredensial {i>superuser<i} dan sertifikat terkait layanan.
Pod operator HA stateful dan resource HighlyAvailableApplication, secara aktif memantau aplikasi Elasticsearch.

Mengunggah set data demo dan menjalankan kueri penelusuran dengan Notebook Jupyter

Di bagian ini, Anda mengupload vektor ke dokumen Elasticsearch dan melakukan kueri penelusuran semantik menggunakan klien resmi Elasticsearch Python. Dokumen di Elasticsearch terdiri dari berbagai {i>field<i}, masing-masing berpasangan dengan nilai yang sesuai. Kepada memanfaatkan Elasticsearch secara efektif, sebaiknya Anda menyusun data dokumen, yang kemudian diindeks untuk tujuan pencarian.

Dalam contoh ini, Anda menggunakan {i>dataset<i} dari {i>file<i} CSV yang berisi daftar buku dalam genre yang berbeda. Elasticsearch berfungsi sebagai mesin telusur, dan Pod yang Anda buat berfungsi sebagai klien yang melakukan kueri {i>database <i}Elasticsearch.

Membuat ConfigMaps books-dataset dan notebook, lalu menjalankan Pod Jupyter untuk berinteraksi dengan cluster Elasticsearch Anda:

kubectl create -n elastic configmap books-dataset --from-file=manifests/03-notebook/dataset.csv
kubectl create -n elastic configmap notebook --from-file=manifests/03-notebook/vector-database.ipynb
kubectl apply -n elastic -f manifests/03-notebook/jupyter.yaml

Secret bernama elasticsearch-ha-es-elastic-user yang dibuat sebelumnya akan dipasang ke Pod klien sebagai variabel lingkungan bernama PW.
ConfigMap books-dataset berisi file csv dengan data buku untuk Indeks Elasticsearch.
ConfigMap notebook berisi notebook Jupyter untuk membuat Elasticsearch indeks dari books-dataset.

Manifes jupyter.yaml menjelaskan Deployment notebook dan Layanannya:

---
apiVersion: v1
kind: Service
metadata:
  labels: &labels
    app: jupyter-notebook
  name: notebook
spec:
  ports:
  - port: 8888
  selector: *labels
  type: LoadBalancer
  # type: ClusterIP
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: notebook
  labels: &labels
    app: jupyter-notebook
spec:
  selector:
    matchLabels: *labels
  template:
    metadata: 
      labels: *labels
    spec:
      containers:
      - name: jupyter
        image: tensorflow/tensorflow:2.15.0-jupyter
        resources:
          requests:
            memory: "4500Mi"
            cpu: "1"
          limits:
            memory: "4500Mi"
            cpu: "1"
        ports:
        - containerPort: 8888
        env:
        - name: PW
          valueFrom:
            secretKeyRef:
              name: elasticsearch-ha-es-elastic-user
              key: elastic
        volumeMounts:
        - name: books-dataset
          mountPath: /usr/local/dataset
        - name: notebook
          mountPath: /tf
        - name: elastic-cert
          mountPath: /usr/local/cert
      volumes:
      - name: books-dataset
        configMap:
          name: books-dataset
      - name: notebook
        configMap:
          name: notebook
      - name: elastic-cert
        secret:
          secretName: elasticsearch-ha-es-http-certs-public

Tunggu hingga GKE memulai Pod Jupyter:

kubectl wait pods -l app=jupyter-notebook --for condition=Ready --timeout=300s -n elastic

Dapatkan URL dengan token akses untuk terhubung ke Jupyter:

export EXTERNAL_IP=$(kubectl -n elastic get svc notebook --output jsonpath='{.status.loadBalancer.ingress[0].ip}')
kubectl logs deploy/notebook -n elastic| grep '^ .*http://127'|sed "s|127.0.0.1|${EXTERNAL_IP}|"

Buka URL ini dan klik file vector-database.ipynb.

Klik Run > Jalankan semua sel. Jupyter mengeksekusi kode dan melakukan kueri penelusuran untuk teks drama about people and unhappy love.

Kueri ini melakukan penelusuran semantik terhadap indeks books Anda di Elasticsearch, mengambil maksimum dua hasil dengan skor kecocokan tertinggi yang relevan dengan kueri Anda.

Outputnya mirip dengan hal berikut ini:

Title: Romeo and Juliet, Author: William Shakespeare, Paul Werstine (Editor),
Barbara A. Mowat (Editor), Paavo Emil Cajander (Translator), score: 1.8473973
In Romeo and Juliet, Shakespeare creates a violent world, in which two young people
fall in love. It is not simply that their families disapprove; the Montagues and
the Capulets are engaged in a blood feud.In this death-filled setting, the movement
from love at first sight to the lovers' final union in death seems almost inevitable.
And yet, this play set in an extraordinary world has become the quintessential
story of young love. In part because of its exquisite language, it is easy to
respond as if it were about all young lovers.
---------
Title: A Midsummer Night's Dream, Author: William Shakespeare, Paul Werstine
(Editor), Barbara A. Mowat (Editor), Catherine Belsey (Contributor), score: 1.8415744
Shakespeare's intertwined love polygons begin to get complicated from the
start--Demetrius and Lysander both want Hermia but she only has eyes for Lysander.
Bad news is, Hermia's father wants Demetrius for a son-in-law. On the outside
is Helena, whose unreturned love burns hot for Demetrius. Hermia and Lysander
plan to flee from the city under cover of darkness but are pursued by an enraged
Demetrius (who is himself pursued by an enraptured Helena). In the forest, unbeknownst
to the mortals, Oberon and Titania (King and Queen of the faeries) are having a
spat over a servant boy. The plot twists up when Oberon's head mischief-maker,
Puck, runs loose with a flower which causes people to fall in love with the first
thing they see upon waking. Throw in a group of labourers preparing a play for
the Duke's wedding (one of whom is given a donkey's head and Titania for a lover
by Puck) and the complications become fantastically funny.
---------

Melihat metrik Prometheus untuk cluster Anda

Cluster GKE dikonfigurasi dengan Google Cloud Managed Service for Prometheus, yang memungkinkan pengumpulan metrik dalam format Prometheus. Layanan ini menyediakan solusi terkelola sepenuhnya untuk pemantauan dan pemberitahuan, yang memungkinkan pengumpulan, penyimpanan, serta analisis metrik dari cluster dan penerapannya.

Diagram berikut menunjukkan cara Prometheus mengumpulkan metrik untuk cluster Anda:

Pengumpulan metrik Prometheus

Cluster pribadi GKE dalam diagram berisi komponen berikut:

Pod Elasticsearch yang mengekspos metrik pada jalur / dan port 9114. Metrik ini disediakan oleh penampung file bantuan bernama metrics yang berisi elasticsearch_exporter (ekspor elasticsearch_exporter).
Kolektor berbasis Prometheus yang memproses metrik dari Pod Elasticsearch.
Resource PodMonitoring yang mengirim metrik ke Cloud Monitoring.

Konfigurasi cluster menentukan penampung file bantuan dengan pengekspor metrik di Format Prometheus:

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: elasticsearch-ha
spec:
  ...
  nodeSets:
  - name: main
    ...
    podTemplate:
      spec:
        containers:
        ...
        - name: metrics
          image: quay.io/prometheuscommunity/elasticsearch-exporter:v1.7.0
          command:
          - /bin/elasticsearch_exporter
          - --es.ssl-skip-verify
          - --es.uri=https://$(ES_USER):$(ES_PASSWORD)@localhost:9200
          ...
          env:
          - name: ES_USER
            value: "elastic"
          - name: ES_PASSWORD
            valueFrom:
            secretKeyRef:
              name: elasticsearch-ha-es-elastic-user
              key: elastic

Untuk mengekspor dan melihat metrik, ikuti langkah-langkah berikut:

Membuat PodMonitoring resource untuk menyalin metrik sebesar labelSelector:

kubectl apply -n elastic -f manifests/04-prometheus-metrics/pod-monitoring.yaml

Manifes pod-monitoring.yaml menjelaskan resource PodMonitoring:

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: elasticsearch
spec:
  selector:
    matchLabels:
      app.stateful/component: elasticsearch
      elasticsearch.k8s.elastic.co/cluster-name: elasticsearch-ha
  endpoints:
  - port: 9114
    interval: 30s
    path: /metrics

Setelah beberapa menit, dasbor bawaan "Elasticsearch Prometheus Overview" layar.

Untuk melihat grafik terkait data lainnya, impor dasbor Cloud Monitoring kustom dengan konfigurasi yang ditentukan di dashboard.json:
```
gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json
```
Setelah perintah berhasil berjalan, buka Cloud Monitoring Dasbor:

Buka ringkasan Dasbor
Dari daftar dasbor, buka dasbor ElasticSearch Overview. Mungkin memerlukan waktu 1-2 menit untuk mengumpulkan dan menampilkan metrik.

Dasbor menunjukkan jumlah metrik utama:
- Indeks
- Dokumen dan Pecahan
- Operasi tertunda
- Menjalankan node dengan status responsnya

Cadangkan konfigurasi cluster Anda

Pencadangan untuk GKE memungkinkan Anda menjadwalkan pencadangan rutin seluruh cluster GKE konfigurasi deployment, termasuk workload yang di-deploy beserta datanya.

Dalam tutorial ini, Anda mengonfigurasi rencana pencadangan untuk cluster GKE cadangan semua beban kerja, termasuk Secret dan Volume, setiap hari pada pukul 03.00. Untuk memastikan pengelolaan penyimpanan yang efisien, cadangan yang lebih lama dari tiga hari dihapus secara otomatis.

Aktifkan fitur Pencadangan untuk GKE untuk cluster Anda:

gcloud container clusters update ${KUBERNETES_CLUSTER_PREFIX}-cluster \
    --project=${PROJECT_ID} \
    --region=${REGION} \
    --update-addons=BackupRestore=ENABLED

Buat rencana cadangan dengan jadwal harian untuk semua namespace dalam cluster:

gcloud beta container backup-restore backup-plans create ${KUBERNETES_CLUSTER_PREFIX}-cluster-backup \
    --project=${PROJECT_ID} \
    --location=${REGION} \
    --cluster="projects/${PROJECT_ID}/\locations/${REGION}/\clusters/${KUBERNETES_CLUSTER_PREFIX}-cluster" \
    --all-namespaces \
    --include-secrets \
    --include-volume-data \
    --cron-schedule="0 3 * * *" \
    --backup-retain-days=3

Perintah ini menggunakan variabel lingkungan yang relevan saat runtime.

Format nama cluster bersifat relatif terhadap project dan region Anda sebagai berikut:

projects/PROJECT_ID/locations/REGION/clusters/CLUSTER_NAME

Saat diminta, ketik y.Outputnya mirip dengan berikut ini:

Create request issued for: [elasticsearch-cluster-backup]
Waiting for operation [projects/PROJECT_ID/locations/us-central1/operations/operation-1706528750815-610142ffdc9ac-71be4a05-f61c99fc] to complete...⠹

Operasi ini mungkin memerlukan waktu beberapa menit hingga berhasil diselesaikan. Setelah selesai, output-nya mirip dengan berikut ini:

Created backup plan [elasticsearch-cluster-backup].

Anda dapat melihat rencana cadangan elasticsearch-cluster-backup yang baru dibuat tercantum di konsol Pencadangan untuk GKE.

Buka Pencadangan untuk GKE

Jika Anda ingin memulihkan konfigurasi cadangan yang tersimpan, lihat Memulihkan cadangan.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

Cara termudah untuk menghindari penagihan adalah dengan menghapus project yang Anda buat dalam tutorial ini.

Perhatian: Menghapus project memiliki efek berikut:

Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

Menghapus project Google Cloud:

gcloud projects delete PROJECT_ID

Jika Anda menghapus project ini, berarti pembersihan telah selesai. Jika Anda tidak menghapus project, lanjutkan untuk menghapus resource satu per satu.

Menghapus resource satu per satu

Menetapkan variabel lingkungan.

export PROJECT_ID=${PROJECT_ID}
export KUBERNETES_CLUSTER_PREFIX=elasticsearch
export REGION=us-central1

Jalankan perintah terraform destroy:

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform  -chdir=terraform/FOLDER destroy \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

Ganti FOLDER dengan gke-autopilot atau gke-standard, bergantung pada jenis cluster GKE yang Anda buat.

Saat diminta, ketik yes.

Temukan semua disk yang tidak terpasang:

export disk_list=$(gcloud compute disks list --filter="-users:* AND labels.name=${KUBERNETES_CLUSTER_PREFIX}-cluster" --format "value[separator=|](name,region)")

Hapus disk:

for i in $disk_list; do
 disk_name=$(echo $i| cut -d'|' -f1)
 disk_region=$(echo $i| cut -d'|' -f2|sed 's|.*/||')
 echo "Deleting $disk_name"
 gcloud compute disks delete $disk_name --region $disk_region --quiet
done

Hapus repositori GitHub:
```
rm -r ~/kubernetes-engine-samples/
```

Langkah selanjutnya

Jelajahi software open source Elasticsearch.
Pelajari praktik terbaik untuk men-deploy database di GKE.
Temukan solusi untuk menjalankan workload yang memproses banyak data dengan GKE.