Tutorial ini menunjukkan cara men-deploy cluster database vektor Elasticsearch di Google Kubernetes Engine (GKE).
Database vektor adalah penyimpanan data yang dirancang khusus untuk mengelola dan menelusuri kumpulan besar vektor berdimensi tinggi. Vektor tersebut mewakili data seperti teks, gambar, audio, video, atau data apa pun yang dapat dienkode secara numerik. Tidak seperti database relasional yang mengandalkan pencocokan persis, database vektor memiliki spesialisasi dalam menemukan item serupa atau mengidentifikasi pola dalam set data besar.
Elasticsearch adalah database vektor yang menggabungkan fungsi penelusuran dan analisis. Library ini dilengkapi dengan REST API terbuka untuk mengelola cluster Anda, dan mendukung kueri terstruktur, kueri teks lengkap, serta kueri yang kompleks. Elasticsearch memungkinkan Anda melakukan penelusuran frasa, kesamaan, dan awalan, dengan saran pelengkapan otomatis.
Tutorial ini ditujukan untuk administrator dan arsitek platform cloud, engineer ML, serta profesional MLOps (DevOps) yang tertarik men-deploy cluster database Elasticsearch di GKE.
Manfaat
Elasticsearch menawarkan manfaat berikut:
- Berbagai library untuk berbagai bahasa pemrograman dan API terbuka untuk berintegrasi dengan layanan lain.
- Penskalaan horizontal, serta dukungan untuk sharding dan replikasi yang menyederhanakan penskalaan dan ketersediaan tinggi.
- Cluster balancing multinode untuk pemanfaatan resource yang optimal.
- Dukungan container dan Kubernetes untuk integrasi yang lancar ke lingkungan berbasis cloud modern.
Tujuan
Dalam tutorial ini, Anda akan mempelajari cara:
- Rencanakan dan deploy infrastruktur GKE untuk Elasticsearch.
- Men-deploy dan mengonfigurasi Elasticsearch di cluster GKE.
- Deploy operator StatefulHA untuk memastikan ketersediaan tinggi Elasticsearch.
- Upload set data demo dan jalankan kueri penelusuran.
- Kumpulkan dan visualisasikan metrik di dasbor.
Arsitektur deployment
Dalam tutorial ini, Anda akan men-deploy cluster GKE regional yang sangat tersedia untuk Elasticsearch, dengan beberapa node Kubernetes yang tersebar di beberapa zona ketersediaan. Penyiapan ini membantu memastikan fault tolerance, skalabilitas, dan redundansi geografis. Hal ini memungkinkan update dan pemeliharaan berkelanjutan sekaligus memberikan SLA untuk waktu beroperasi dan ketersediaan. Untuk informasi selengkapnya, lihat Cluster regional.
Saat node menjadi tidak dapat dijangkau, Pod pada node tersebut tidak akan segera dijadwalkan ulang. Dengan Pod yang menggunakan StatefulSet, diperlukan waktu lebih dari delapan menit untuk menghapus dan menjadwalkan ulang Pod aplikasi ke node baru.
Untuk mengatasi masalah ini, operator StatefulHA melakukan hal berikut:
- Mengatasi jeda penjadwalan ulang, menangani setelan failover, dan mempersingkat waktu pemulihan dengan menggunakan
setelan
.forceDeleteStrategy
:AfterNodeUnreachable
. - Memastikan bahwa aplikasi StatefulSet menggunakan RePD.
- Memperluas GKE dengan resource HighAvailabilityApplication kustom yang di-deploy di namespace yang sama dengan Elasticsearch. Hal ini memungkinkan operator StatefulHA memantau dan merespons peristiwa failover.
Diagram berikut menunjukkan cluster Elasticsearch yang berjalan di beberapa node dan zona dalam cluster GKE:
Biaya
Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Pembersihan.
Penggunaan Elasticsearch gratis berdasarkan Lisensi Publik Sisi Server (SSPL).
Sebelum memulai
Dalam tutorial ini, Anda menggunakan Cloud Shell untuk menjalankan perintah. Cloud Shell adalah lingkungan shell untuk mengelola resource yang dihosting di Google Cloud. Library ini dilengkapi dengan alat command line Google Cloud CLI, kubectl, Helm, dan Terraform. Jika tidak menggunakan Cloud Shell, Anda harus menginstal Google Cloud CLI.
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
- Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init
-
Buat atau pilih project Google Cloud.
-
Membuat project Google Cloud:
gcloud projects create PROJECT_ID
Ganti
PROJECT_ID
dengan nama untuk project Google Cloud yang Anda buat. -
Pilih project Google Cloud yang Anda buat:
gcloud config set project PROJECT_ID
Ganti
PROJECT_ID
dengan nama project Google Cloud Anda.
-
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Enable the Cloud Resource Manager, Compute Engine, GKE, IAM Service Account Credentials, and Backup for GKE APIs:
gcloud services enable cloudresourcemanager.googleapis.com
compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com gkebackup.googleapis.com - Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init
-
Buat atau pilih project Google Cloud.
-
Membuat project Google Cloud:
gcloud projects create PROJECT_ID
Ganti
PROJECT_ID
dengan nama untuk project Google Cloud yang Anda buat. -
Pilih project Google Cloud yang Anda buat:
gcloud config set project PROJECT_ID
Ganti
PROJECT_ID
dengan nama project Google Cloud Anda.
-
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Enable the Cloud Resource Manager, Compute Engine, GKE, IAM Service Account Credentials, and Backup for GKE APIs:
gcloud services enable cloudresourcemanager.googleapis.com
compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com gkebackup.googleapis.com -
Berikan peran ke Akun Google Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut:
role/storage.objectViewer, roles/container.admin, roles/iam.serviceAccountAdmin, roles/compute.admin, roles/gkebackup.admin, roles/monitoring.viewer
gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE
- Ganti
PROJECT_ID
dengan project ID Anda. - Ganti
EMAIL_ADDRESS
dengan alamat email Anda. - Ganti
ROLE
dengan setiap peran individual.
- Ganti
Menyiapkan lingkungan Anda
Untuk menyiapkan lingkungan Anda dengan Cloud Shell, ikuti langkah-langkah berikut:
Tetapkan variabel lingkungan untuk project, region, dan awalan resource cluster Kubernetes Anda:
export PROJECT_ID=PROJECT_ID export KUBERNETES_CLUSTER_PREFIX=elasticsearch export REGION=us-central1
- Ganti
PROJECT_ID
dengan project ID Google Cloud Anda.
Tutorial ini menggunakan region
us-central1
untuk membuat resource deployment.- Ganti
Periksa versi Helm:
helm version
Update versi jika lebih lama dari 3.13:
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
Clone repositori kode contoh dari GitHub:
git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples
Buka direktori
elasticsearch
untuk mulai membuat resource deployment:cd kubernetes-engine-samples/databases/elasticsearch
Membuat infrastruktur cluster
Di bagian ini, Anda akan menjalankan skrip Terraform untuk membuat cluster GKE regional pribadi yang sangat tersedia untuk men-deploy database Elasticsearch.
Anda dapat memilih untuk men-deploy Elasticsearch menggunakan cluster Standar atau Autopilot. Masing-masing memiliki keunggulan dan model penetapan harga yang berbeda.
Autopilot
Diagram berikut menunjukkan cluster GKE Autopilot yang di-deploy dalam project.
Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:
export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-autopilot init
terraform -chdir=terraform/gke-autopilot apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}
GKE mengganti variabel berikut pada runtime:
GOOGLE_OAUTH_ACCESS_TOKEN
menggunakan perintahgcloud auth print-access-token
untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud APIPROJECT_ID
,REGION
, danKUBERNETES_CLUSTER_PREFIX
adalah variabel lingkungan yang ditentukan di bagian Menyiapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Autopilot yang Anda buat.
Saat diminta, ketik yes
.
Outputnya mirip dengan hal berikut ini:
...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.
Outputs:
kubectl_connection_command = "gcloud container clusters get-credentials elasticsearch-cluster --region us-central1"
Terraform membuat resource berikut:
- Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
- Cloud Router untuk mengakses internet melalui Penafsiran Alamat Jaringan (NAT).
- Cluster GKE pribadi di region
us-central1
. ServiceAccount
dengan izin logging dan pemantauan untuk cluster.- Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.
Standar
Diagram berikut menunjukkan cluster GKE regional pribadi standar yang di-deploy di tiga zona berbeda.
Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:
export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-standard init
terraform -chdir=terraform/gke-standard apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}
GKE mengganti variabel berikut pada runtime:
GOOGLE_OAUTH_ACCESS_TOKEN
menggunakan perintahgcloud auth print-access-token
untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud API.PROJECT_ID
,REGION
, danKUBERNETES_CLUSTER_PREFIX
adalah variabel lingkungan yang ditentukan di bagian Menyiapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Standar yang Anda buat.
Saat diminta, ketik yes
. Mungkin perlu waktu beberapa menit untuk menyelesaikan
perintah ini dan cluster akan menampilkan status siap.
Outputnya mirip dengan hal berikut ini:
...
Apply complete! Resources: 10 added, 0 changed, 0 destroyed.
Outputs:
kubectl_connection_command = "gcloud container clusters get-credentials elasticsearch-cluster --region us-central1"
Terraform membuat resource berikut:
- Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
- Cloud Router untuk mengakses internet melalui Penafsiran Alamat Jaringan (NAT).
- Cluster GKE pribadi di region
us-central1
dengan penskalaan otomatis yang diaktifkan (satu hingga dua node per zona). ServiceAccount
dengan izin logging dan pemantauan untuk cluster.- Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.
Hubungkan ke cluster
Konfigurasikan kubectl
untuk mengambil kredensial dan berkomunikasi dengan cluster GKE baru:
gcloud container clusters get-credentials \
${KUBERNETES_CLUSTER_PREFIX}-cluster --region ${REGION}
Men-deploy database Elasticsearch dan operator StatefulHA
Di bagian ini, Anda akan men-deploy database Elasticsearch (dalam mode cluster) dan operator StatefulHA ke cluster GKE menggunakan Diagram Helm Operator ECK.
Deployment akan membuat cluster GKE dengan konfigurasi berikut:
- Tiga replika node Elasticsearch.
- DaemonSet untuk mengubah setelan memori virtual agar performa Elasticsearch optimal.
- Konfigurasi NodeAffinity dan PodAntiAffinity untuk memastikan distribusi yang tepat di seluruh node Kubernetes, mengoptimalkan penggunaan node pool dan memaksimalkan ketersediaan di berbagai zona.
- Operator HA Stateful yang mengelola proses failover dan memastikan ketersediaan tinggi.
- Untuk autentikasi, database membuat Secret Kubernetes dengan kredensial, sandi, dan sertifikat autentikasi.
Untuk menggunakan chart Helm untuk men-deploy database Elasticsearch, ikuti langkah-langkah berikut:
Aktifkan add-on StatefulHA:
Autopilot
GKE otomatis mengaktifkan add-on
StatefulHA
saat pembuatan cluster.Standar
Jalankan perintah berikut:
gcloud container clusters update ${KUBERNETES_CLUSTER_PREFIX}-cluster \ --project=${PROJECT_ID} \ --region=${REGION} \ --update-addons=StatefulHA=ENABLED
Mungkin perlu waktu 15 menit untuk menyelesaikan perintah ini dan cluster menampilkan status siap.
Membuat Elastic Cloud on Kubernetes (ECK) Custom Resource Definition (CRD):
kubectl apply -f https://download.elastic.co/downloads/eck/2.11.1/crds.yaml
Deploy operator ECK:
kubectl apply -f https://download.elastic.co/downloads/eck/2.11.1/operator.yaml
Buat
elastic
namespace untuk database:kubectl create ns elastic
Instal resource
HighAvailabilityApplication
(HAA), yang menentukan aturan failover untuk Elasticsearch..kubectl apply -n elastic -f manifests/01-regional-pd/ha-app.yaml
Manifes
ha-app.yaml
menjelaskan resourceHighAvailabilityApplication
:Terapkan manifes untuk membuat disk SSD persisten regional
StorageClass
:kubectl apply -n elastic -f manifests/01-regional-pd/regional-pd.yaml
Manifes
regional-pd.yaml
menjelaskan disk SSD persistenStorageClass
:Deploy resource DaemonSet untuk menetapkan memori virtual di setiap node:
kubectl apply -n elastic -f manifests/02-elasticsearch/mmap-count.yaml
Manifes
mmap-count.yaml
menjelaskanDaemonSet
:Terapkan manifes untuk men-deploy cluster Elasticsearch:
kubectl apply -n elastic -f manifests/02-elasticsearch/elasticsearch.yaml
Manifes
elasticsearch.yaml
menjelaskan Deployment:Tunggu beberapa menit hingga cluster Elasticsearch dimulai sepenuhnya.
Periksa status deployment:
kubectl get elasticsearch -n elastic --watch
Outputnya akan mirip dengan berikut ini, jika database
elasticsearch
berhasil di-deploy:NAME HEALTH NODES VERSION PHASE AGE elasticsearch-ha green 3 8.11.4 Ready 2m30s
Tunggu hingga
HEALTH
ditampilkan sebagaigreen
. Tekan Ctrl+C untuk keluar dari perintah jika diperlukan.Untuk memeriksa apakah aturan failover diterapkan, jelaskan resource dan konfirmasi
Status: Message: Application is protected
.kubectl describe highavailabilityapplication elasticsearch-ha-es-main -n elastic
Outputnya mirip dengan
Status: Conditions: Last Transition Time: 2024-02-01T13:27:50Z Message: Application is protected Observed Generation: 1 Reason: ApplicationProtected Status: True Type: Protected Events: <none>
Setelah GKE memulai workload, pastikan GKE telah membuat workload Elasticsearch:
kubectl get pod,svc,statefulset,pdb,secret,daemonset -n elastic
Outputnya mirip dengan hal berikut ini:
NAME READY STATUS RESTARTS AGE pod/elasticsearch-ha-es-main-0 2/2 Running 0 7m16s pod/elasticsearch-ha-es-main-1 2/2 Running 0 7m16s pod/elasticsearch-ha-es-main-2 2/2 Running 0 7m16s pod/max-map-count-setter-28wt9 1/1 Running 0 7m27s pod/max-map-count-setter-cflsw 1/1 Running 0 7m27s pod/max-map-count-setter-gzq9k 1/1 Running 0 7m27s NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/elasticsearch-ha-es-http ClusterIP 10.52.8.28 <none> 9200/TCP 7m18s service/elasticsearch-ha-es-internal-http ClusterIP 10.52.3.48 <none> 9200/TCP 7m18s service/elasticsearch-ha-es-main ClusterIP None <none> 9200/TCP 7m16s service/elasticsearch-ha-es-transport ClusterIP None <none> 9300/TCP 7m18s NAME READY AGE statefulset.apps/elasticsearch-ha-es-main 3/3 7m16s NAME MIN AVAILABLE MAX UNAVAILABLE ALLOWED DISRUPTIONS AGE poddisruptionbudget.policy/elasticsearch-ha-es-default 2 N/A 1 7m16s NAME TYPE DATA AGE secret/elasticsearch-ha-es-elastic-user Opaque 1 7m18s secret/elasticsearch-ha-es-file-settings Opaque 1 7m16s secret/elasticsearch-ha-es-http-ca-internal Opaque 2 7m17s secret/elasticsearch-ha-es-http-certs-internal Opaque 3 7m17s secret/elasticsearch-ha-es-http-certs-public Opaque 2 7m17s secret/elasticsearch-ha-es-internal-users Opaque 4 7m18s secret/elasticsearch-ha-es-main-es-config Opaque 1 7m16s secret/elasticsearch-ha-es-main-es-transport-certs Opaque 7 7m16s secret/elasticsearch-ha-es-remote-ca Opaque 1 7m16s secret/elasticsearch-ha-es-transport-ca-internal Opaque 2 7m16s secret/elasticsearch-ha-es-transport-certs-public Opaque 1 7m16s secret/elasticsearch-ha-es-xpack-file-realm Opaque 4 7m18s NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE daemonset.apps/max-map-count-setter 6 6 6 6 6 <none> 13m
Resource GKE berikut dibuat untuk cluster Elasticsearch:
StatefulSet
Elasticsearch yang mengontrol tiga replika Pod.- DaemonSet untuk mengonfigurasi setelan memori virtual.
- Layanan untuk terhubung ke Elasticsearch.
- Rahasia dengan kredensial {i>superuser<i} dan sertifikat terkait layanan.
- Pod operator dan resource
HighlyAvailableApplication
stateful, yang secara aktif memantau aplikasi Elasticsearch.
Unggah {i>dataset<i} demo dan jalankan kueri penelusuran dengan Jupyter Notebook
Di bagian ini, Anda akan mengupload vektor ke dalam dokumen Elasticsearch dan melakukan kueri penelusuran semantik menggunakan klien Python Elasticsearch resmi. Dokumen di Elasticsearch terdiri dari berbagai kolom, masing-masing dipasangkan dengan nilainya yang sesuai. Untuk memanfaatkan Elasticsearch secara efektif, sebaiknya Anda menyusun data ke dalam dokumen-dokumen tersebut, yang kemudian diindeks untuk tujuan penelusuran.
Dalam contoh ini, Anda menggunakan {i>dataset<i} dari file CSV yang berisi daftar buku dalam berbagai genre. Elasticsearch berfungsi sebagai mesin telusur, dan Pod yang Anda buat berfungsi sebagai klien yang mengkueri database Elasticsearch.
Buat ConfigMaps
books-dataset
dannotebook
, lalu jalankan Pod Jupyter untuk berinteraksi dengan cluster Elasticsearch:kubectl create -n elastic configmap books-dataset --from-file=manifests/03-notebook/dataset.csv kubectl create -n elastic configmap notebook --from-file=manifests/03-notebook/vector-database.ipynb kubectl apply -n elastic -f manifests/03-notebook/jupyter.yaml
- Secret bernama
elasticsearch-ha-es-elastic-user
yang dibuat sebelumnya dipasang ke Pod klien sebagai variabel lingkungan bernamaPW
. - ConfigMap
books-dataset
berisi filecsv
dengan data buku untuk indeks Elasticsearch. - ConfigMap
notebook
berisi notebook Jupyter untuk membuat indeks Elasticsearch daribooks-dataset
.
Manifes
jupyter.yaml
menjelaskan Deploymentnotebook
dan Layanannya:- Secret bernama
Tunggu GKE memulai Pod Jupyter:
kubectl wait pods -l app=jupyter-notebook --for condition=Ready --timeout=300s -n elastic
Dapatkan URL dengan token akses untuk terhubung ke Jupyter:
export EXTERNAL_IP=$(kubectl -n elastic get svc notebook --output jsonpath='{.status.loadBalancer.ingress[0].ip}') kubectl logs deploy/notebook -n elastic| grep '^ .*http://127'|sed "s|127.0.0.1|${EXTERNAL_IP}|"
Buka URL ini dan klik file
vector-database.ipynb
.Klik Run > Run all cells. Jupyter mengeksekusi kode dan melakukan kueri penelusuran untuk teks
drama about people and unhappy love
.Kueri ini melakukan penelusuran semantik terhadap indeks
books
Anda di Elasticsearch, yang mengambil maksimum dua hasil dengan skor kecocokan tertinggi yang relevan dengan kueri Anda.Outputnya mirip dengan hal berikut ini:
Title: Romeo and Juliet, Author: William Shakespeare, Paul Werstine (Editor), Barbara A. Mowat (Editor), Paavo Emil Cajander (Translator), score: 1.8473973 In Romeo and Juliet, Shakespeare creates a violent world, in which two young people fall in love. It is not simply that their families disapprove; the Montagues and the Capulets are engaged in a blood feud.In this death-filled setting, the movement from love at first sight to the lovers' final union in death seems almost inevitable. And yet, this play set in an extraordinary world has become the quintessential story of young love. In part because of its exquisite language, it is easy to respond as if it were about all young lovers. --------- Title: A Midsummer Night's Dream, Author: William Shakespeare, Paul Werstine (Editor), Barbara A. Mowat (Editor), Catherine Belsey (Contributor), score: 1.8415744 Shakespeare's intertwined love polygons begin to get complicated from the start--Demetrius and Lysander both want Hermia but she only has eyes for Lysander. Bad news is, Hermia's father wants Demetrius for a son-in-law. On the outside is Helena, whose unreturned love burns hot for Demetrius. Hermia and Lysander plan to flee from the city under cover of darkness but are pursued by an enraged Demetrius (who is himself pursued by an enraptured Helena). In the forest, unbeknownst to the mortals, Oberon and Titania (King and Queen of the faeries) are having a spat over a servant boy. The plot twists up when Oberon's head mischief-maker, Puck, runs loose with a flower which causes people to fall in love with the first thing they see upon waking. Throw in a group of labourers preparing a play for the Duke's wedding (one of whom is given a donkey's head and Titania for a lover by Puck) and the complications become fantastically funny. ---------
Melihat metrik Prometheus untuk cluster Anda
Cluster GKE dikonfigurasi dengan Google Cloud Managed Service for Prometheus, yang memungkinkan pengumpulan metrik dalam format Prometheus. Layanan ini memberikan solusi terkelola sepenuhnya untuk pemantauan dan pemberitahuan, yang memungkinkan pengumpulan, penyimpanan, dan analisis metrik dari cluster dan aplikasinya.
Diagram berikut menunjukkan cara Prometheus mengumpulkan metrik untuk cluster Anda:
Cluster pribadi GKE dalam diagram berisi komponen berikut:
- Pod Elasticsearch yang mengekspos metrik pada jalur
/
dan port9114
. Metrik ini disediakan oleh penampung file bantuan bernamametrics
yang berisi elasticsearch_exporter. - Kolektor berbasis Prometheus yang memproses metrik dari Pod Elasticsearch.
- Resource PodMonitoring yang mengirimkan metrik ke Cloud Monitoring.
Konfigurasi cluster menentukan container file bantuan dengan pengekspor metrik dalam format Prometheus:
apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
name: elasticsearch-ha
spec:
...
nodeSets:
- name: main
...
podTemplate:
spec:
containers:
...
- name: metrics
image: quay.io/prometheuscommunity/elasticsearch-exporter:v1.7.0
command:
- /bin/elasticsearch_exporter
- --es.ssl-skip-verify
- --es.uri=https://$(ES_USER):$(ES_PASSWORD)@localhost:9200
...
env:
- name: ES_USER
value: "elastic"
- name: ES_PASSWORD
valueFrom:
secretKeyRef:
name: elasticsearch-ha-es-elastic-user
key: elastic
Untuk mengekspor dan melihat metrik, ikuti langkah-langkah berikut:
Buat resource
PodMonitoring
untuk menyalin metrik menurutlabelSelector
:kubectl apply -n elastic -f manifests/04-prometheus-metrics/pod-monitoring.yaml
Manifes
pod-monitoring.yaml
menjelaskan resourcePodMonitoring
:Setelah beberapa menit, dasbor bawaan "Elasticsearch Prometheus Overview" akan ditampilkan.
Untuk melihat grafik terkait data lainnya, impor dasbor Cloud Monitoring kustom dengan konfigurasi yang ditentukan di
dashboard.json
:gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json
Setelah perintah berhasil berjalan, buka Dashboard Cloud Monitoring:
Dari daftar dasbor, buka dasbor
ElasticSearch Overview
. Mungkin diperlukan waktu 1-2 menit untuk mengumpulkan dan menampilkan metrik.Dasbor menampilkan jumlah metrik utama:
- Indeks
- Dokumen dan Pecahan
- Operasi tertunda
- Menjalankan node dengan status kesehatannya
Mencadangkan konfigurasi cluster Anda
Dengan fitur Pencadangan untuk GKE, Anda dapat menjadwalkan pencadangan reguler untuk seluruh konfigurasi cluster GKE, termasuk workload yang di-deploy beserta datanya.
Dalam tutorial ini, Anda mengonfigurasi rencana pencadangan untuk cluster GKE agar dapat melakukan pencadangan semua beban kerja, termasuk Secret dan Volumes, setiap hari pada pukul 03.00 dini hari. Untuk memastikan pengelolaan penyimpanan yang efisien, cadangan yang berusia lebih dari tiga hari akan otomatis dihapus.
Aktifkan fitur Pencadangan untuk GKE pada cluster Anda:
gcloud container clusters update ${KUBERNETES_CLUSTER_PREFIX}-cluster \ --project=${PROJECT_ID} \ --region=${REGION} \ --update-addons=BackupRestore=ENABLED
Buat rencana cadangan dengan jadwal harian untuk semua namespace dalam cluster:
gcloud beta container backup-restore backup-plans create ${KUBERNETES_CLUSTER_PREFIX}-cluster-backup \ --project=${PROJECT_ID} \ --location=${REGION} \ --cluster="projects/${PROJECT_ID}/\locations/${REGION}/\clusters/${KUBERNETES_CLUSTER_PREFIX}-cluster" \ --all-namespaces \ --include-secrets \ --include-volume-data \ --cron-schedule="0 3 * * *" \ --backup-retain-days=3
Perintah menggunakan variabel lingkungan yang relevan pada saat runtime.
Format nama cluster relatif terhadap project dan region Anda sebagai berikut:
projects/PROJECT_ID/locations/REGION/clusters/CLUSTER_NAME
Saat diminta, ketik
y.
Outputnya mirip dengan yang berikut ini:Create request issued for: [elasticsearch-cluster-backup] Waiting for operation [projects/PROJECT_ID/locations/us-central1/operations/operation-1706528750815-610142ffdc9ac-71be4a05-f61c99fc] to complete...⠹
Operasi ini mungkin perlu waktu beberapa menit agar berhasil diselesaikan. Setelah eksekusi selesai, outputnya akan serupa dengan berikut ini:
Created backup plan [elasticsearch-cluster-backup].
Anda dapat melihat rencana pencadangan
elasticsearch-cluster-backup
yang baru dibuat tercantum di konsol Pencadangan untuk GKE.
Jika Anda ingin memulihkan konfigurasi cadangan yang tersimpan, lihat Memulihkan cadangan.
Pembersihan
Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.
Menghapus project
Cara termudah untuk menghindari penagihan adalah dengan menghapus project yang Anda buat untuk tutorial ini.
Menghapus project Google Cloud:
gcloud projects delete PROJECT_ID
Jika Anda menghapus project ini, berarti pembersihan telah selesai. Jika Anda tidak menghapus project, lanjutkan dengan menghapus resource individual.
Menghapus resource satu per satu
Menetapkan variabel lingkungan.
export PROJECT_ID=${PROJECT_ID} export KUBERNETES_CLUSTER_PREFIX=elasticsearch export REGION=us-central1
Jalankan perintah
terraform destroy
:export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token) terraform -chdir=terraform/FOLDER destroy \ -var project_id=${PROJECT_ID} \ -var region=${REGION} \ -var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}
Ganti
FOLDER
dengangke-autopilot
ataugke-standard
, bergantung pada jenis cluster GKE yang Anda buat.Saat diminta, ketik
yes
.Temukan semua disk yang tidak terpasang:
export disk_list=$(gcloud compute disks list --filter="-users:* AND labels.name=${KUBERNETES_CLUSTER_PREFIX}-cluster" --format "value[separator=|](name,region)")
Hapus disk:
for i in $disk_list; do disk_name=$(echo $i| cut -d'|' -f1) disk_region=$(echo $i| cut -d'|' -f2|sed 's|.*/||') echo "Deleting $disk_name" gcloud compute disks delete $disk_name --region $disk_region --quiet done
Hapus repositori GitHub:
rm -r ~/kubernetes-engine-samples/
Langkah selanjutnya
- Pelajari software open source Elasticsearch.
- Pelajari praktik terbaik untuk men-deploy database di GKE.
- Temukan solusi untuk menjalankan workload data yang intensif dengan GKE.