Elasticsearch

Elasticsearch adalah server penelusuran open source, yang didasarkan pada library penelusuran Lucene. Hal ini berjalan di mesin virtual Java di atas sejumlah sistem operasi. Penerima elasticsearch mengumpulkan telemetri tingkat node dan cluster dari instance Elasticsearch Anda.

Untuk mengetahui informasi selengkapnya tentang Elasticsearch, lihat dokumentasi Elasticsearch.

Prasyarat

Untuk mengumpulkan telemetri Elasticsearch, Anda harus menginstal Agen Operasional:

  • Untuk metrik, instal versi 2.10.0 atau yang lebih baru. Metrik tambahan ditambahkan di versi 2.21.0.
  • Untuk log, instal versi 2.9.0 atau yang lebih baru.

Integrasi ini mendukung Elasticsearch versi 7.9 dan yang lebih baru.

Mengonfigurasi instance Elasticsearch Anda

Jika mengaktifkan Fitur keamanan Elasticsearch, Anda harus mengonfigurasi pengguna dengan hak istimewa cluster monitor atau manage.

Mengonfigurasi Agen Operasional untuk Elasticsearch

Dengan mengikuti panduan untuk Mengonfigurasi Agen Operasional, tambahkan elemen yang diperlukan untuk mengumpulkan telemetri dari instance Elasticsearch, dan mulai ulang agen.

Contoh konfigurasi

Perintah berikut membuat konfigurasi untuk mengumpulkan dan menyerap telemetri untuk Elasticsearch dan memulai ulang Agen Operasional.

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    elasticsearch:
      type: elasticsearch
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch

logging:
  receivers:
    elasticsearch_json:
      type: elasticsearch_json
    elasticsearch_gc:
      type: elasticsearch_gc
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch_json
          - elasticsearch_gc
EOF

sudo service google-cloud-ops-agent restart
sleep 60

Mengonfigurasi koleksi log

Untuk menyerap log dari Elasticsearch, Anda harus membuat penerima untuk log yang dihasilkan Elasticsearch, lalu membuat pipeline untuk penerima baru tersebut.

Untuk mengonfigurasi penerima log elasticsearch_json, tentukan kolom berikut:

Kolom Default Deskripsi
exclude_paths Daftar pola jalur sistem file yang akan dikecualikan dari kumpulan yang cocok dengan include_paths.
include_paths [/var/log/elasticsearch/*_server.json, /var/log/elasticsearch/*_deprecation.json, /var/log/elasticsearch/*_index_search_slowlog.json, /var/log/elasticsearch/*_index_indexing_slowlog.json, /var/log/elasticsearch/*_audit.json] Daftar jalur sistem file yang akan dibaca dengan tailing setiap file. Karakter pengganti (*) dapat digunakan di jalur.
record_log_file_path false Jika ditetapkan ke true, jalur ke file tertentu tempat data log diperoleh akan muncul di entri log output sebagai nilai label agent.googleapis.com/log_file_path. Saat menggunakan karakter pengganti, hanya jalur file tempat data diperoleh yang akan dicatat.
type Nilai harus berupa elasticsearch_json.
wildcard_refresh_interval 60s Interval tempat jalur file karakter pengganti di include_paths dimuat ulang. Diberikan sebagai durasi waktu yang dapat diurai oleh time.ParseDuration, misalnya 30s atau 2m. Properti ini mungkin berguna pada throughput logging yang tinggi dengan file log dirotasi lebih cepat daripada interval default.

Untuk mengonfigurasi penerima log elasticsearch_gc, tentukan kolom berikut:

Kolom Default Deskripsi
exclude_paths Daftar pola jalur sistem file yang akan dikecualikan dari kumpulan yang cocok dengan include_paths.
include_paths [/var/log/elasticsearch/gc.log] Daftar jalur sistem file yang akan dibaca dengan tailing setiap file. Karakter pengganti (*) dapat digunakan di jalur.
record_log_file_path false Jika ditetapkan ke true, jalur ke file tertentu tempat data log diperoleh akan muncul di entri log output sebagai nilai label agent.googleapis.com/log_file_path. Saat menggunakan karakter pengganti, hanya jalur file tempat data diperoleh yang akan dicatat.
type Nilai harus berupa elasticsearch_gc.
wildcard_refresh_interval 60s Interval tempat jalur file karakter pengganti di include_paths dimuat ulang. Diberikan sebagai durasi waktu yang dapat diurai oleh time.ParseDuration, misalnya 30s atau 2m. Properti ini mungkin berguna pada throughput logging yang tinggi dengan file log dirotasi lebih cepat daripada interval default.

Apa itu log?

logName berasal dari ID penerima yang ditentukan dalam konfigurasi. Kolom mendetail di dalam LogEntry adalah sebagai berikut. Entri log tidak berisi kolom yang kosong atau tidak ada.

Log elasticsearch_json berisi kolom berikut di LogEntry:

Kolom Jenis Deskripsi
jsonPayload.cluster string Cluster yang memunculkan data log
jsonPayload.cluster.name string Nama cluster yang memunculkan data log
jsonPayload.cluster.uuid string UUID cluster yang mengeluarkan data log
jsonPayload.component string Komponen Elasticsearch yang menghasilkan log
jsonPayload.level string Log tingkat entri
jsonPayload.message string Pesan log
jsonPayload.node string Node yang memunculkan data log
jsonPayload.node.name string Nama node yang memunculkan data log
jsonPayload.node.uuid string UUID node yang mengeluarkan data log
jsonPayload.type string Jenis log, yang menunjukkan log mana yang menghasilkan data (mis. server menunjukkan LogEntry ini berasal dari log server)
severity string (LogSeverity) Tingkat entri log (diterjemahkan)

Log elasticsearch_gc berisi kolom berikut di LogEntry:

Kolom Jenis Deskripsi
jsonPayload.gc_run angka Cara kerja pembersih sampah memori
jsonPayload.message string Pesan log
jsonPayload.type string Jenis data log
severity string (LogSeverity) Tingkat entri log (diterjemahkan)

Mengonfigurasi pengumpulan metrik

Untuk menyerap metrik dari Elasticsearch, Anda harus membuat penerima untuk metrik yang dihasilkan Elasticsearch, lalu membuat pipeline untuk penerima baru tersebut.

Penerima ini tidak mendukung penggunaan beberapa instance dalam konfigurasi, misalnya, untuk memantau beberapa endpoint. Semua instance tersebut menulis ke deret waktu yang sama, dan Cloud Monitoring tidak memiliki cara untuk membedakannya.

Untuk mengonfigurasi penerima metrik elasticsearch, tentukan kolom berikut:

Kolom Default Deskripsi
ca_file Jalur ke sertifikat CA. Sebagai klien, tindakan ini akan memverifikasi sertifikat server. Jika kosong, penerima akan menggunakan CA root sistem.
cert_file Jalur ke sertifikat TLS yang akan digunakan untuk koneksi yang diperlukan mTLS.
collection_interval 60s Nilai durasi waktu, seperti 30s atau 5m.
endpoint http://localhost:92002 URL dasar untuk Elasticsearch REST API.
insecure true Menyetel apakah akan menggunakan koneksi TLS aman atau tidak. Jika disetel ke false, TLS akan diaktifkan.
insecure_skip_verify false Menetapkan apakah akan melewati proses verifikasi sertifikat atau tidak. Jika insecure disetel ke true, nilai insecure_skip_verify tidak akan digunakan.
key_file Jalur ke kunci TLS yang akan digunakan untuk koneksi yang diperlukan mTLS.
password Sandi untuk autentikasi dengan Elasticsearch. Wajib jika nama pengguna ditetapkan.
type Nilai ini harus elasticsearch.
username Nama pengguna untuk autentikasi dengan Elasticsearch. Diperlukan jika sandi disetel.

Hal yang dipantau

Tabel berikut menyediakan daftar metrik yang dikumpulkan Agen Operasional dari instance Elasticsearch.

Jenis metrik
Jenis, Jenis
Resource yang dipantau		 Label
workload.googleapis.com/elasticsearch.breaker.memory.estimated
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.breaker.memory.limit
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.breaker.tripped
CUMULATIVE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.cluster.data_nodes
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.health
GAUGE, INT64
gce_instance 		status
workload.googleapis.com/elasticsearch.cluster.in_flight_fetch
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.nodes
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.pending_tasks
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.published_states.differences
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.published_states.full
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.shards
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_queue
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_update.count
CUMULATIVE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_update.time
CUMULATIVE, INT64
gce_instance 		state
type
workload.googleapis.com/elasticsearch.indexing_pressure.memory.limit
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.primary_rejections
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.replica_rejections
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.memory.indexing_pressure
GAUGE, INT64
gce_instance 		stage
workload.googleapis.com/elasticsearch.node.cache.count
GAUGE, INT64
gce_instance 		type
workload.googleapis.com/elasticsearch.node.cache.evictions
CUMULATIVE, INT64
gce_instance 		cache_name
workload.googleapis.com/elasticsearch.node.cache.memory.usage
GAUGE, INT64
gce_instance 		cache_name
workload.googleapis.com/elasticsearch.node.cluster.connections
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.cluster.io
CUMULATIVE, INT64
gce_instance 		direction
workload.googleapis.com/elasticsearch.node.disk.io.read
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.disk.io.write
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.documents
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.node.fs.disk.available
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.fs.disk.free
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.fs.disk.total
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.http.connections
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.documents
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.documents.current
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.open_files
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.operations.completed
CUMULATIVE, INT64
gce_instance 		operation
workload.googleapis.com/elasticsearch.node.operations.time
CUMULATIVE, INT64
gce_instance 		operation
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.current
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.preprocessed
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.script.cache_evictions
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.script.compilation_limit_triggered
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.script.compilations
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.data_set.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.reserved.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.finished
CUMULATIVE, INT64
gce_instance 		state
thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.queued
GAUGE, INT64
gce_instance 		thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.threads
GAUGE, INT64
gce_instance 		state
thread_pool_name
workload.googleapis.com/elasticsearch.node.translog.operations
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.translog.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.translog.uncommitted.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.15m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.1m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.5m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.usage
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.os.memory
GAUGE, INT64
gce_instance 		state

Memverifikasi konfigurasi

Bagian ini menjelaskan cara memverifikasi bahwa Anda mengonfigurasi penerima Elasticsearch dengan benar. Mungkin perlu waktu satu atau dua menit bagi Agen Operasional untuk mulai mengumpulkan telemetri.

Untuk memastikan bahwa log Elasticsearch dikirim ke Cloud Logging, lakukan hal berikut:

  1. Pada panel navigasi Google Cloud Console, pilih Logging, lalu pilih Logs Explorer:

    Buka Logs Explorer

  2. Masukkan kueri berikut di editor, lalu klik Run query: 
    resource.type="gce_instance"
(log_id("elasticsearch_json") OR log_id("elasticsearch_gc"))

Untuk memastikan bahwa metrik Elasticsearch dikirim ke Cloud Monitoring, lakukan hal berikut:

  1. Pada panel navigasi Konsol Google Cloud, pilih Monitoring, lalu pilih  Metrics Explorer:

    Buka Metrics Explorer

  2. Di toolbar panel pembuat kueri, pilih tombol yang namanya adalah  MQL atau  PromQL.
  3. Pastikan MQL dipilih pada tombol Language. Tombol bahasa berada di toolbar yang sama dengan yang memungkinkan Anda memformat kueri.
  4. Masukkan kueri berikut di editor, lalu klik Run query: 
    fetch gce_instance
| metric 'workload.googleapis.com/elasticsearch.node.open_files'
| every 1m

Lihat dasbor

Untuk melihat metrik Elasticsearch, Anda harus mengonfigurasi diagram atau dasbor. Integrasi Elasticsearch menyertakan satu atau beberapa dasbor untuk Anda. Setiap dasbor akan otomatis diinstal setelah Anda mengonfigurasi integrasi dan Agen Operasional mulai mengumpulkan data metrik.

Anda juga dapat melihat pratinjau statis dasbor tanpa menginstal integrasi.

Untuk melihat dasbor yang terinstal, lakukan hal berikut:

  1. Pada panel navigasi Konsol Google Cloud, pilih Monitoring, lalu pilih  Dashboards:

    Buka Dasbor

  2. Pilih tab Dashboard List, lalu pilih kategori Integrations.
  3. Klik nama dasbor yang ingin Anda lihat.

Jika Anda telah mengonfigurasi integrasi, tetapi dasbor belum diinstal, periksa apakah Agen Operasional sedang berjalan. Jika tidak ada data metrik untuk diagram di dasbor, penginstalan dasbor akan gagal. Setelah Agen Operasional mulai mengumpulkan metrik, dasbor akan diinstal untuk Anda.

Untuk melihat pratinjau statis dasbor, lakukan langkah berikut:

  1. Pada panel navigasi Konsol Google Cloud, pilih Monitoring, lalu pilih  Integrations:

    Buka Integrations

  2. Klik filter platform deployment Compute Engine.
  3. Temukan entri untuk Elasticsearch dan klik View Details.
  4. Pilih tab Dashboards untuk melihat pratinjau statis. Jika dasbor sudah terinstal, Anda dapat membukanya dengan mengklik View dashboard.

Untuk informasi selengkapnya tentang dasbor di Cloud Monitoring, lihat Dasbor dan diagram.

Untuk mengetahui informasi selengkapnya tentang penggunaan halaman Integrasi, lihat Mengelola integrasi.

Menginstal kebijakan pemberitahuan

Kebijakan pemberitahuan menginstruksikan Cloud Monitoring untuk memberi tahu Anda saat kondisi tertentu terjadi. Integrasi Elasticsearch mencakup satu atau beberapa kebijakan pemberitahuan untuk Anda gunakan. Anda dapat melihat dan menginstal kebijakan pemberitahuan ini dari halaman Integrations di Monitoring.

Untuk melihat deskripsi kebijakan pemberitahuan yang tersedia dan menginstalnya, lakukan langkah berikut:

  1. Pada panel navigasi Konsol Google Cloud, pilih Monitoring, lalu pilih  Integrations:

    Buka Integrations

  2. Temukan entri untuk Elasticsearch dan klik View Details.
  3. Pilih tab Alerts. Tab ini memberikan deskripsi tentang kebijakan pemberitahuan yang tersedia dan menyediakan antarmuka untuk menginstalnya.
  4. Instal kebijakan pemberitahuan. Kebijakan pemberitahuan perlu mengetahui ke mana pemberitahuan harus dikirimkan jika pemberitahuan telah dipicu, sehingga memerlukan informasi dari Anda untuk penginstalan. Untuk menginstal kebijakan pemberitahuan, lakukan tindakan berikut:
    1. Dari daftar kebijakan pemberitahuan yang tersedia, pilih yang ingin Anda instal.

    2. Di bagian Configure notifications, pilih satu atau beberapa saluran notifikasi. Anda memiliki opsi untuk menonaktifkan penggunaan saluran notifikasi. Namun, jika Anda melakukannya, kebijakan pemberitahuan akan diaktifkan secara diam-diam. Anda dapat memeriksa statusnya di Monitoring, tetapi Anda tidak akan menerima notifikasi.

      Untuk informasi lebih lanjut tentang saluran notifikasi, lihat Mengelola saluran notifikasi.

    3. Klik Create Policy.

Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan di Cloud Monitoring, lihat Pengantar pemberitahuan.

Untuk mengetahui informasi selengkapnya tentang penggunaan halaman Integrasi, lihat Mengelola integrasi.

Langkah selanjutnya

Untuk panduan cara menggunakan Ansible untuk menginstal Agen Operasional, mengonfigurasi aplikasi pihak ketiga, dan menginstal contoh dasbor, lihat video Menginstal Agen Operasional untuk memecahkan masalah aplikasi pihak ketiga.