Elasticsearch adalah server penelusuran open source, berdasarkan
library penelusuran Lucene. Aplikasi ini berjalan di virtual machine
Java di atas sejumlah sistem operasi. Penerima elasticsearch
mengumpulkan telemetri tingkat node dan cluster dari instance Elasticsearch Anda.
Untuk informasi selengkapnya tentang Elasticsearch, lihat dokumentasi Elasticsearch.
Prasyarat
Untuk mengumpulkan telemetri Elasticsearch, Anda harus menginstal Agen Operasional:
- Untuk metrik, instal versi 2.21.0 atau yang lebih tinggi.
- Untuk log, instal versi 2.9.0 atau yang lebih tinggi.
Integrasi ini mendukung Elasticsearch versi 7.9+.
Mengonfigurasi instance Elasticsearch
Jika mengaktifkan fitur keamanan
Elasticsearch,
Anda harus mengonfigurasi pengguna dengan hak istimewa
cluster monitor
atau manage
.
Mengonfigurasi Agen Operasional untuk Elasticsearch
Dengan mengikuti panduan untuk Mengonfigurasi Agen Ops, tambahkan elemen yang diperlukan untuk mengumpulkan telemetri dari instance Elasticsearch, dan mulai ulang agen.
Contoh konfigurasi
Perintah berikut membuat konfigurasi untuk mengumpulkan dan menyerap telemetri untuk Elasticsearch dan memulai ulang Ops Agent.
Mengonfigurasi pengumpulan log
Untuk menyerap log dari Elasticsearch, Anda harus membuat penerima untuk log yang dihasilkan Elasticsearch, lalu membuat pipeline untuk penerima baru.
Untuk mengonfigurasi penerima log elasticsearch_json
, tentukan kolom berikut:
Kolom | Default | Deskripsi |
---|---|---|
exclude_paths |
Daftar pola jalur sistem file yang akan dikecualikan dari kumpulan yang dicocokkan oleh include_paths . |
|
include_paths |
[/var/log/elasticsearch/*_server.json, /var/log/elasticsearch/*_deprecation.json, /var/log/elasticsearch/*_index_search_slowlog.json, /var/log/elasticsearch/*_index_indexing_slowlog.json, /var/log/elasticsearch/*_audit.json] |
Daftar jalur sistem file yang akan dibaca dengan mengikuti setiap file. Karakter pengganti (* ) dapat digunakan dalam jalur. |
record_log_file_path |
false |
Jika ditetapkan ke true , jalur ke file tertentu tempat data log diperoleh akan muncul di entri log output sebagai nilai label agent.googleapis.com/log_file_path . Saat menggunakan karakter pengganti, hanya jalur file tempat data diperoleh yang dicatat. |
type |
Nilai ini harus elasticsearch_json . |
|
wildcard_refresh_interval |
60s |
Interval saat jalur file karakter pengganti di include_paths diperbarui. Diberikan sebagai durasi waktu, misalnya 30s atau 2m . Properti ini mungkin berguna dalam throughput logging yang tinggi, dengan file log dirotasi lebih cepat daripada interval default. |
Untuk mengonfigurasi penerima log elasticsearch_gc
, tentukan kolom berikut:
Kolom | Default | Deskripsi |
---|---|---|
exclude_paths |
Daftar pola jalur sistem file yang akan dikecualikan dari kumpulan yang dicocokkan oleh include_paths . |
|
include_paths |
[/var/log/elasticsearch/gc.log] |
Daftar jalur sistem file yang akan dibaca dengan mengikuti setiap file. Karakter pengganti (* ) dapat digunakan dalam jalur. |
record_log_file_path |
false |
Jika ditetapkan ke true , jalur ke file tertentu tempat data log diperoleh akan muncul di entri log output sebagai nilai label agent.googleapis.com/log_file_path . Saat menggunakan karakter pengganti, hanya jalur file tempat data diperoleh yang dicatat. |
type |
Nilai ini harus elasticsearch_gc . |
|
wildcard_refresh_interval |
60s |
Interval saat jalur file karakter pengganti di include_paths diperbarui. Diberikan sebagai durasi waktu, misalnya 30s atau 2m . Properti ini mungkin berguna dalam throughput logging yang tinggi, dengan file log dirotasi lebih cepat daripada interval default. |
Apa itu log?
logName
berasal dari
ID penerima yang ditentukan dalam konfigurasi. Kolom mendetail di dalam
LogEntry
adalah sebagai berikut.
Log elasticsearch_json
berisi kolom berikut di LogEntry
:
Kolom | Jenis | Deskripsi |
---|---|---|
jsonPayload.cluster |
string | Cluster yang memunculkan data log |
jsonPayload.cluster.name |
string | Nama cluster yang memunculkan data log |
jsonPayload.cluster.uuid |
string | UUID cluster yang memunculkan kumpulan data log |
jsonPayload.component |
string | Komponen Elasticsearch yang memunculkan log |
jsonPayload.level |
string | Tingkat entri log |
jsonPayload.message |
string | Pesan log |
jsonPayload.node |
string | Node yang memunculkan data log |
jsonPayload.node.name |
string | Nama node yang memunculkan data log |
jsonPayload.node.uuid |
string | UUID node yang memunculkan kumpulan data log |
jsonPayload.type |
string | Jenis log, yang menunjukkan log asal data (misalnya, server menunjukkan bahwa LogEntry ini berasal dari log server) |
severity |
string (LogSeverity ) |
Level entri log (diterjemahkan). |
Log elasticsearch_gc
berisi kolom berikut di LogEntry
:
Kolom | Jenis | Deskripsi |
---|---|---|
jsonPayload.gc_run |
angka | Pengoperasian pembersih sampah memori |
jsonPayload.message |
string | Pesan log |
jsonPayload.type |
string | Jenis data log |
severity |
string (LogSeverity ) |
Level entri log (diterjemahkan). |
Mengonfigurasi pengumpulan metrik
Untuk menyerap metrik dari Elasticsearch, Anda harus membuat penerima untuk metrik yang dihasilkan Elasticsearch, lalu membuat pipeline untuk penerima baru.
Penerima ini tidak mendukung penggunaan beberapa instance dalam konfigurasi, misalnya, untuk memantau beberapa endpoint. Semua instance tersebut menulis ke deret waktu yang sama, dan Cloud Monitoring tidak dapat membedakannya.
Untuk mengonfigurasi penerima metrik elasticsearch
, tentukan kolom berikut:
Kolom | Default | Deskripsi |
---|---|---|
ca_file |
Jalur ke sertifikat CA. Sebagai klien, tindakan ini akan memverifikasi sertifikat server. Jika kosong, penerima akan menggunakan CA root sistem. | |
cert_file |
Jalur ke sertifikat TLS yang akan digunakan untuk koneksi yang memerlukan mTLS. | |
collection_interval |
60s |
Nilai durasi waktu, seperti 30s atau 5m . |
endpoint |
http://localhost:92002 |
URL dasar untuk Elasticsearch REST API. |
insecure |
true |
Menetapkan apakah akan menggunakan koneksi TLS yang aman atau tidak. Jika disetel ke false , TLS akan diaktifkan. |
insecure_skip_verify |
false |
Menetapkan apakah akan melewati verifikasi sertifikat atau tidak. Jika insecure ditetapkan ke true , nilai insecure_skip_verify tidak akan digunakan. |
key_file |
Jalur ke kunci TLS yang akan digunakan untuk koneksi yang memerlukan mTLS. | |
password |
Sandi untuk autentikasi dengan Elasticsearch. Wajib jika username ditetapkan. |
|
type |
Nilai ini harus elasticsearch . |
|
username |
Nama pengguna untuk autentikasi dengan Elasticsearch. Wajib jika password ditetapkan. |
Yang dipantau
Tabel berikut memberikan daftar metrik yang dikumpulkan Ops Agent dari instance Elasticsearch.
Jenis metrik | |
---|---|
Jenis, Tipe Resource yang dimonitor |
Label |
workload.googleapis.com/elasticsearch.breaker.memory.estimated
|
|
GAUGE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.breaker.memory.limit
|
|
GAUGE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.breaker.tripped
|
|
CUMULATIVE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.cluster.data_nodes
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.health
|
|
GAUGE , INT64 gce_instance |
status
|
workload.googleapis.com/elasticsearch.cluster.in_flight_fetch
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.nodes
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.pending_tasks
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.published_states.differences
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.cluster.published_states.full
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.shards
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.cluster.state_queue
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.cluster.state_update.count
|
|
CUMULATIVE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.cluster.state_update.time
|
|
CUMULATIVE , INT64 gce_instance |
state type
|
workload.googleapis.com/elasticsearch.indexing_pressure.memory.limit
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.primary_rejections
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.replica_rejections
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.memory.indexing_pressure
|
|
GAUGE , INT64 gce_instance |
stage
|
workload.googleapis.com/elasticsearch.node.cache.count
|
|
GAUGE , INT64 gce_instance |
type
|
workload.googleapis.com/elasticsearch.node.cache.evictions
|
|
CUMULATIVE , INT64 gce_instance |
cache_name
|
workload.googleapis.com/elasticsearch.node.cache.memory.usage
|
|
GAUGE , INT64 gce_instance |
cache_name
|
workload.googleapis.com/elasticsearch.node.cluster.connections
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.cluster.io
|
|
CUMULATIVE , INT64 gce_instance |
direction
|
workload.googleapis.com/elasticsearch.node.disk.io.read
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.disk.io.write
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.documents
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.node.fs.disk.available
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.fs.disk.free
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.fs.disk.total
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.http.connections
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.ingest.documents
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.ingest.documents.current
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.ingest.operations.failed
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.open_files
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.operations.completed
|
|
CUMULATIVE , INT64 gce_instance |
operation
|
workload.googleapis.com/elasticsearch.node.operations.time
|
|
CUMULATIVE , INT64 gce_instance |
operation
|
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.current
|
|
GAUGE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.preprocessed
|
|
GAUGE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.node.pipeline.ingest.operations.failed
|
|
CUMULATIVE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.node.script.cache_evictions
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.script.compilation_limit_triggered
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.script.compilations
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.shards.data_set.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.shards.reserved.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.shards.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.finished
|
|
CUMULATIVE , INT64 gce_instance |
state thread_pool_name
|
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.queued
|
|
GAUGE , INT64 gce_instance |
thread_pool_name
|
workload.googleapis.com/elasticsearch.node.thread_pool.threads
|
|
GAUGE , INT64 gce_instance |
state thread_pool_name
|
workload.googleapis.com/elasticsearch.node.translog.operations
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.translog.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.translog.uncommitted.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.os.cpu.load_avg.15m
|
|
GAUGE , DOUBLE gce_instance |
|
workload.googleapis.com/elasticsearch.os.cpu.load_avg.1m
|
|
GAUGE , DOUBLE gce_instance |
|
workload.googleapis.com/elasticsearch.os.cpu.load_avg.5m
|
|
GAUGE , DOUBLE gce_instance |
|
workload.googleapis.com/elasticsearch.os.cpu.usage
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.os.memory
|
|
GAUGE , INT64 gce_instance |
state
|
Memverifikasi konfigurasi
Bagian ini menjelaskan cara memverifikasi bahwa Anda telah mengonfigurasi penerima Elasticsearch dengan benar. Mungkin perlu waktu satu atau dua menit agar Ops Agent mulai mengumpulkan telemetri.
Untuk memverifikasi bahwa log Elasticsearch dikirim ke Cloud Logging, lakukan tindakan berikut:
-
Di konsol Google Cloud, buka halaman Logs Explorer:
Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.
- Masukkan kueri berikut di editor, lalu klik Run query:
resource.type="gce_instance" (log_id("elasticsearch_json") OR log_id("elasticsearch_gc"))
Untuk memverifikasi bahwa metrik Elasticsearch dikirim ke Cloud Monitoring, lakukan tindakan berikut:
-
Di konsol Google Cloud, buka halaman leaderboard Metrics explorer:
Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.
- Di toolbar panel pembuat kueri, pilih tombol yang namanya adalah code MQL atau code PromQL.
- Pastikan MQL dipilih di tombol Language. Tombol bahasa berada di toolbar yang sama yang memungkinkan Anda memformat kueri.
- Masukkan kueri berikut di editor, lalu klik Run query:
fetch gce_instance | metric 'workload.googleapis.com/elasticsearch.node.open_files' | every 1m
Lihat dasbor
Untuk melihat metrik Elasticsearch, Anda harus mengonfigurasi diagram atau dasbor. Integrasi Elasticsearch menyertakan satu atau beberapa dasbor untuk Anda. Dasbor apa pun akan otomatis diinstal setelah Anda mengonfigurasi integrasi dan Agen Operasional telah mulai mengumpulkan data metrik.
Anda juga dapat melihat pratinjau statis dasbor tanpa menginstal integrasi.
Untuk melihat dasbor yang terinstal, lakukan tindakan berikut:
-
Di konsol Google Cloud, buka halaman Dasbor:
Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.
- Pilih tab Daftar Dasbor, lalu pilih kategori Integrasi.
- Klik nama dasbor yang ingin Anda lihat.
Jika Anda telah mengonfigurasi integrasi, tetapi dasbor belum diinstal, pastikan Agen Operasional berjalan. Jika tidak ada data metrik untuk diagram di dasbor, penginstalan dasbor akan gagal. Setelah Ops Agent mulai mengumpulkan metrik, dasbor akan diinstal untuk Anda.
Untuk melihat pratinjau statis dasbor, lakukan tindakan berikut:
-
Di konsol Google Cloud, buka halaman Integrations:
Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.
- Klik filter platform deployment Compute Engine.
- Temukan entri untuk Elasticsearch, lalu klik Lihat Detail.
- Pilih tab Dasbor untuk melihat pratinjau statis. Jika dasbor telah diinstal, Anda dapat membukanya dengan mengklik Lihat dasbor.
Untuk mengetahui informasi selengkapnya tentang dasbor di Cloud Monitoring, lihat Dasbor dan diagram.
Untuk informasi selengkapnya tentang cara menggunakan halaman Integrasi, lihat Mengelola integrasi.
Menginstal kebijakan pemberitahuan
Kebijakan pemberitahuan menginstruksikan Cloud Monitoring untuk memberi tahu Anda saat kondisi yang ditentukan terjadi. Integrasi Elasticsearch menyertakan satu atau beberapa kebijakan pemberitahuan untuk Anda gunakan. Anda dapat melihat dan menginstal kebijakan pemberitahuan ini dari halaman Integrasi di Monitoring.
Untuk melihat deskripsi kebijakan pemberitahuan yang tersedia dan menginstalnya, lakukan hal berikut:
-
Di konsol Google Cloud, buka halaman Integrations:
Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.
- Temukan entri untuk Elasticsearch, lalu klik Lihat Detail.
- Pilih tab Notifikasi. Tab ini memberikan deskripsi tentang kebijakan pemberitahuan yang tersedia dan menyediakan antarmuka untuk menginstalnya.
- Instal kebijakan pemberitahuan. Kebijakan pemberitahuan perlu
mengetahui tempat untuk mengirim notifikasi bahwa pemberitahuan telah
dipicu, sehingga memerlukan informasi dari Anda untuk penginstalan.
Untuk menginstal kebijakan pemberitahuan, lakukan hal berikut:
- Dari daftar kebijakan pemberitahuan yang tersedia, pilih kebijakan yang ingin Anda instal.
Di bagian Konfigurasi notifikasi, pilih satu atau beberapa saluran notifikasi. Anda memiliki opsi untuk menonaktifkan penggunaan saluran notifikasi, tetapi jika Anda melakukannya, kebijakan pemberitahuan akan diaktifkan secara otomatis. Anda dapat memeriksa statusnya di Pemantauan, tetapi Anda tidak menerima notifikasi.
Untuk mengetahui informasi selengkapnya tentang saluran notifikasi, lihat Mengelola saluran notifikasi.
- Klik Create Policies.
Untuk informasi selengkapnya tentang kebijakan pemberitahuan di Cloud Monitoring, lihat Pengantar pemberitahuan.
Untuk informasi selengkapnya tentang cara menggunakan halaman Integrasi, lihat Mengelola integrasi.
Langkah selanjutnya
Untuk panduan tentang cara menggunakan Ansible untuk menginstal Agen Operasional, mengonfigurasi aplikasi pihak ketiga, dan menginstal contoh dasbor, lihat video Menginstal Agen Operasional untuk memecahkan masalah aplikasi pihak ketiga.