Menyiapkan Cloud Monitoring dengan agen mandiri

Cloud Monitoring membantu Anda mendapatkan visibilitas terkait performa, ketersediaan, dan kondisi aplikasi serta infrastruktur Anda. Anda dapat menggunakan Cloud Monitoring dan bagian lain dari Google Cloud Observability untuk memantau, memecahkan masalah, dan mengoperasikan layanan VMware Engine dalam skala besar.

Anda menentukan konfigurasi penerusan metrik secara terpisah untuk setiap cloud pribadi menggunakan agen mandiri. Setiap cloud pribadi memerlukan agen terpisah, yang dihosting di VM Compute Engine atau VM VMware.

Setelah berhasil mengaktifkan penerusan metrik, Anda dapat melihat metrik di Metrics Explorer Cloud Monitoring. Jenis resource dan metrik dari VMware Engine diawali dengan external.googleapis.com/vmware/vcenter, dan FQDN vCenter diberi tag sebagai bagian dari namespace.

Sebelum memulai

Langkah-langkah dalam dokumen ini mengasumsikan bahwa Anda terlebih dahulu melakukan hal berikut:

  1. Aktifkan Cloud Monitoring API
  2. Identifikasi akun pengguna solusi yang akan digunakan dengan agen mandiri, dan tetapkan sandi yang kuat untuk akun pengguna solusi.

  3. Buat VM Compute Engine atau VM VMware untuk digunakan sebagai host bagi agen mandiri. VM Compute Engine harus berada di jaringan Virtual Private Cloud (VPC) yang di-peering ke jaringan VPC cloud pribadi yang berisi resource yang ingin Anda pantau.

    Untuk contoh pembuatan VM Compute Engine, lihat Panduan memulai Compute Engine menggunakan VM Linux. Untuk contoh pembuatan VM VMware, lihat Membuat VM VMware.

Jika Anda menggunakan VM Compute Engine untuk menghosting agen mandiri, Google akan mengelola rotasi kunci untuk akun layanan yang Anda hubungkan. Namun, membuat VM VMware bisa hemat biaya jika Anda memiliki kapasitas yang tidak digunakan di cloud pribadi dan Anda tidak keberatan mengelola rotasi kunci sendiri.

Terlepas dari tempat Anda membuat VM host agen, VM tersebut harus memenuhi persyaratan berikut:

Persyaratan

VM host agen Anda harus memenuhi persyaratan sistem berikut:

  • Sistem operasi Linux yang didukung:
    • CentOS 6, 7, atau 8
    • Red Hat Enterprise Linux 6, 7, atau 8
    • SLES 12 atau 15
    • Ubuntu 14, 16, 18, atau 19
  • Minimum RAM 4 GB
  • Tersedia ruang penginstalan sebesar 300 MB
  • Direktori penginstalan ditetapkan ke /opt/bpagent
  • Utilitas curl CLI terinstal

VM host agen Anda juga memerlukan akses ke alamat berikut untuk mengumpulkan dan mengirimkan metrik dan log:

  • Port 443 (TCP) untuk koneksi HTTPS ke vCenter Server Anda (default)
  • monitoring.googleapis.com:443 (external access)
  • logging.googleapis.com:443 (external access)

Mengaktifkan penerusan metrik

Proses penyiapan VM host agen dan pengaktifan penerusan metrik terdiri dari langkah-langkah berikut:

  1. Instal agen di VM
  2. Menentukan akun layanan
  3. Mengonfigurasi agen untuk mengakses cloud pribadi Anda untuk mendapatkan metrik
  4. Mengonfigurasi agen untuk mengakses akun layanan untuk pelaporan
  5. Mengumpulkan metrik dan log
  6. Mengonfigurasi cloud pribadi untuk penerusan syslog

Menginstal agen mandiri

Untuk menginstal agen di VM host, lakukan hal berikut:

  1. Hubungkan ke VM host agen Anda.

  2. Jalankan skrip penginstalan dari jarak jauh:

    sudo sh -c "$(curl -S https://storage.googleapis.com/gcve-observability-agent/latest/vmware-linux-amd64/installer/install.sh)"

Untuk sistem yang VM host agennya mungkin tidak memiliki akses jaringan eksternal, Anda dapat mendownload agen dan skrip penginstalan menggunakan perintah berikut:

  • Untuk mendapatkan agen mandiri, jalankan perintah berikut:

    curl -S https://storage.googleapis.com/gcve-observability-agent/latest/vmware-linux-amd64/artifacts/bpagent-headless-vmware.tar.gz > agent.tar.gz

  • Untuk mendapatkan skrip penginstalan, jalankan perintah berikut:

    curl -S https://storage.googleapis.com/gcve-observability-agent/latest/vmware-linux-amd64/installer/install.sh > install.sh

  • Untuk menginstal agen, jalankan perintah berikut di VM host agen Anda:

    sudo sh install.sh agent.tar.gz

Menentukan akun layanan

Meneruskan data dari agen ke Cloud Monitoring memerlukan akun layanan dari project Google Cloud Anda. Akun layanan tersebut harus memiliki peran Monitoring Admin untuk metrik dan peran Logs Writer untuk log.

Jika Anda tidak memiliki akun layanan untuk memantau dan mencatat aplikasi, buat akun layanan:

  1. Di konsol Google Cloud , buka IAM & Admin > Service Accounts.

    Buka Akun Layanan

  2. Klik Pilih project, lalu pilih organisasi, folder, atau project tempat Anda ingin membuat akun layanan.

  3. Klik Create service account.

  4. Masukkan nama, ID, dan deskripsi untuk akun layanan. Sebaiknya catat bahwa akun tersebut digunakan untuk integrasi agen.

  5. Klik Buat dan lanjutkan.

  6. Untuk Role, pilih Monitoring Admin.

  7. Untuk Role, pilih Logs Writer.

  8. Klik Lanjutkan.

  9. Klik Selesai.

Jika Anda membuat VM VMware sebagai VM host agen, ambil kunci pribadi akun layanan agar Anda dapat menggunakannya untuk menyiapkan agen:

  1. Di konsol Google Cloud , buka IAM & Admin > Service Accounts.

    Buka Akun Layanan

  2. Klik Pilih project, lalu pilih organisasi, folder, atau project tempat akun layanan Anda berada.

  3. Temukan akun layanan Anda dalam daftar akun layanan.

  4. Di kolom Tindakan, klik menu tindakan akun layanan, lalu pilih Kelola kunci.

  5. Klik Tambahkan kunci, lalu pilih Buat kunci baru.

  6. Pilih jenis kunci JSON, lalu klik Buat.

  7. Buka file JSON yang dibuat dan salin seluruh isi file. Pengumpulan metrik dan logging menggunakan file kunci JSON yang sama.

  8. Di VM host agen, salin file kunci JSON ke direktori /opt/bpagent/config/destinations/google_cloud.

Mengonfigurasi agen untuk mengakses cloud pribadi Anda guna mendapatkan metrik

Agen mandiri memerlukan akses ke cloud pribadi Anda untuk mengumpulkan metrik. Di VM host agen, siapkan akses dengan menyalin dan mengonfigurasi file vmware_vcenter.yaml:

  1. Salin vmware_vcenter.yaml ke direktori config/metrics/sources:

    cp /opt/bpagent/config/metrics/examples/vmware_vcenter.yaml /opt/bpagent/config/metrics/sources

  2. Edit vmware_vcenter.yaml agar sesuai dengan informasi di lingkungan VMware Engine Anda:

    collection_interval: 1m0s
connection_info:
connection_timeout: "30"
enable_performance_counters: "true"
host: VCSA_FQDN
password: SOLUTION_USER_PASSWORD
performance_counter_end_time: ""
performance_counter_query_timeout: "15"
performance_counter_start_time: ""
port: "443"
sdk_path: ""
ssl_config: "No Verify"
username: SOLUTION_USER_ACCOUNT

    Ganti kode berikut:

    • VCSA_FQDN: nama domain yang sepenuhnya memenuhi syarat (FQDN) dari vCenter Server Appliance di cloud pribadi Anda
    • SOLUTION_USER_PASSWORD: sandi yang sesuai dengan akun pengguna solusi yang sedang digunakan
    • SOLUTION_USER_ACCOUNT: akun pengguna solusi yang digunakan agen untuk melaporkan informasi

Mengonfigurasi agen untuk mengakses akun layanan untuk pelaporan

Agen mandiri memerlukan akses ke Google Cloud Observability untuk mengirim metrik dan log. Konfigurasi agen untuk mengakses project yang digunakan untuk pelaporan melalui akun layanan yang memiliki izin pemantauan dan logging.

Di VM host agen, salin dan konfigurasi file log_agent.yaml:

  1. Salin log_agent.example.yaml ke log_agent.yaml sebelum mengedit:

    cp /opt/bpagent/config/log_agent.example.yaml /opt/bpagent/config/log_agent.yaml

  2. Di bagian bawah log_agent.yaml, masukkan nama project Anda dan jalur lengkap ke file kunci JSON. Untuk VM host agen yang dibuat di Compute Engine, hapus atau beri komentar pada baris credentials_file.

    ...
- id: my_project_destination
  project_id: PROJECT_ID
  type: google_cloud_output
  credentials_file: /opt/bpagent/config/destinations/google_cloud/JSON_KEY_FILE

    Ganti kode berikut:

    • PROJECT_ID: ID project tempat Anda ingin mengekspor log
    • JSON_KEY_FILE: nama file kunci pribadi akun layanan Anda. Hapus atau jadikan baris ini sebagai komentar untuk VM host agen yang dibuat di Compute Engine.

    Jika Anda perlu meneruskan syslog dari ESXi, di agen log mandiri, lakukan hal berikut untuk mengubah port default dari 5142 menjadi 514:

    1. Buka /opt/bpagent/config.
    2. Perbarui nomor port menjadi 514 sebagai berikut:
    - id: vmware-vcenter-logs
    # A syslog address of the form `:`
    listen_address: 0.0.0.0:514
    # Enable TLS for the TCP listener
    enable_tls: false

Mengumpulkan metrik dan log

Untuk mengumpulkan metrik atau log, agen mandiri harus berjalan di VM host agen Anda. Hubungkan ke VM host agen Anda dan gunakan perintah berikut untuk memulai atau menghentikan agen:

  • Untuk memulai agen di VM host, jalankan perintah berikut:

    systemctl start bpagent

  • Untuk menghentikan agen di VM host, jalankan perintah berikut:

    systemctl stop bpagent

Mengonfigurasi cloud pribadi untuk penerusan syslog

VMware Engine terintegrasi dengan Cloud Logging dengan meneruskan pesan syslog dari vCenter dan NSX ke agen mandiri. Agen mandiri dikonfigurasi untuk mengurai log vCenter dan NSX agar dapat dibaca oleh Cloud Logging.

Untuk meneruskan pesan syslog dari VMware Engine, lakukan hal berikut:

  • Untuk penerusan syslog vCenter, ikuti langkah-langkah di Meneruskan pesan syslog vCenter. Di kolom Server, masukkan alamat IP atau nama host VM host agen Anda. Agen mandiri menggunakan protokol komunikasi TCP dan memproses port 5142. Agen mandiri harus berjalan agar konfigurasi syslog berhasil terhubung.
  • Untuk penerusan syslog NSX, ikuti langkah-langkah di Meneruskan pesan syslog NSX. Di kolom FQDN atau Alamat IP, masukkan alamat IP atau nama host VM host agen Anda. Agen mandiri menggunakan protokol komunikasi TCP dan memproses port 5142.

Jika Anda berencana meneruskan syslog dari Host ESXi, ubah port default tempat agen log mendengarkan dari 5142 menjadi 514. Dalam hal ini, gunakan port yang sama (514) untuk meneruskan syslog dari vCenter dan NSX.

Meng-uninstal agen

Untuk menghapus agen dari VM, hubungkan ke VM agen dan jalankan perintah berikut di command line:

  1. Hentikan dan nonaktifkan agen mandiri:

    systemctl stop bpagent

    systemctl disable bpagent

  2. Jalankan perintah berikut untuk menghapus layanan agen mandiri:

    rm /etc/systemd/system/bpagent.service

    rm -rf /opt/bpagent

  3. Perbarui konfigurasi sistem berdasarkan perubahan layanan Anda dan hapus unit yang gagal:

    systemctl daemon-reload

    systemctl reset-failed

Dasbor Cloud Monitoring

Setelah mengaktifkan penerusan metrik, Anda dapat menginstal dasbor yang telah ditentukan sebelumnya untuk VMware Engine. Dasbor berikut memberikan informasi gabungan di semua sumber yang Anda tentukan:

  • Dasbor ringkasan: Tampilan tingkat tinggi yang mencantumkan resource utama seperti pusat data, cluster, dan VM.
  • Dasbor persaingan: Penggunaan resource untuk penyimpanan, CPU, memori, dan jaringan untuk membantu Anda menemukan VM dan host teratas berdasarkan permintaan resource.
  • Dasbor performa virtual machine: Indikator performa instance virtual machine (VM) yang dapat difilter menurut nama instance dan digunakan untuk membandingkan performa beberapa VM satu sama lain.

Untuk mengakses dasbor VMware Engine, lakukan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka Monitoring > Dashboards.

    Buka Dasbor

  2. Di tab Sample Library, pilih kategori VMware.

  3. Pilih dasbor yang diinginkan, lalu klik Impor.

Definisi untuk dasbor ini juga disimpan di GitHub. Untuk mengetahui langkah-langkah menginstal atau melihat definisi sebagai dasbor kustom, lihat Menginstal contoh dasbor.

Pemberitahuan Cloud Monitoring

Anda dapat menggunakan metrik dari integrasi untuk memicu pemberitahuan dan notifikasi berdasarkan nilai minimum dan insiden kustom. Misalnya, Anda dapat meminta Cloud Monitoring mengirimkan notifikasi SMS saat seseorang membuat VM baru di cloud pribadi Anda.

Untuk mengetahui detailnya, lihat Pengantar pemberitahuan.

Daftar metrik yang dikumpulkan

Setelah berhasil mengaktifkan penerusan metrik, Anda dapat melihat metrik di Metrics Explorer Cloud Monitoring. Jenis resource dan jenis metrik dari VMware Engine dimulai dengan awalan external.googleapis.com/vmware/vcenter. di Metrics Explorer.

Berikut daftar lengkap metrik yang dikumpulkan untuk VMware Engine, dengan awalan yang dihilangkan:

Jenis resource dan metrik Deskripsi
cluster.cpu.available CPU yang tersedia di cluster, dalam megahertz
cluster.memory.available Memori yang tersedia di cluster, dalam byte
cluster.cpu.threads Jumlah thread CPU dalam cluster
cluster.cpu.effective CPU efektif dalam cluster dari semua host yang berjalan. Host yang tidak merespons atau dalam mode pemeliharaan tidak dihitung.
cluster.effective_hosts Jumlah host efektif dalam cluster. Host yang tidak responsif atau dalam mode pemeliharaan tidak dihitung.
cluster.memory.effective Memori efektif dalam cluster dari semua host yang berjalan. Host yang tidak merespons atau dalam mode pemeliharaan tidak dihitung.
cluster.hosts Jumlah host dalam cluster
cluster.vsan.latency Latensi vSAN kluster, dalam mikrodetik
cluster.vsan.throughput Throughput baca-tulis vSAN cluster, dalam byte
cluster.vsan.iops IOPS vSAN cluster
cluster.vsan.congestions Nilai kemacetan vSAN pada cluster
cluster.vsan.oio I/O yang belum selesai (oio) vSAN dalam cluster
datacenter.cpu.average_host_utilization Penggunaan host rata-rata pusat data, dalam persentase
datacenter.clusters Jumlah cluster di pusat data
datacenter.datastores Jumlah penyimpanan data di pusat data
datacenter.hosts Jumlah host di pusat data
datacenter.host_systems Jumlah sistem host di pusat data
datacenter.hosts/powered_on Jumlah host yang diaktifkan di pusat data
datacenter.hosts/powered_off Jumlah host yang dimatikan di pusat data
datacenter.disk/space Total ruang disk di pusat data, dalam terabyte
datastore.capacity_bytes Kapasitas datastore, dalam byte
datastore.capacity_utilization Penggunaan kapasitas datastore, dalam persentase
host_system.network.transmitted_packets Jumlah paket jaringan yang ditransmisikan oleh sistem host
host_system.network.received_packets Jumlah paket jaringan yang diterima oleh sistem host
host_system.dropped_packets Jumlah paket jaringan yang dilepaskan oleh sistem host
host_system.network.adapters Jumlah adaptor jaringan sistem host
host_system.memory.utilization Penggunaan memori sistem host, dalam persentase
host_system.memory.utilization_ratio Rasio pemakaian memori sistem host
host_system.memory.used Memori yang digunakan oleh sistem host, dalam megabyte
host_system.disk.read Pembacaan disk sistem host, dalam kilobyte per detik
host_system.disk_latency Latensi disk sistem host, dalam milidetik
host_system.cpu.usage Penggunaan CPU sistem host, dalam persentase
host_system.cpu.utilization_ratio Rasio pemakaian CPU sistem host
host_system.cpu.capacity Kapasitas CPU sistem host, dalam megahertz
host_system.cpu.reserved_capacity Kapasitas CPU yang dicadangkan dari sistem host, dalam megahertz
host_system.cpu.average_speed Kecepatan CPU rata-rata sistem host, dalam megahertz
host_system.cpu.used CPU yang digunakan oleh sistem host, dalam megahertz
host_system.vsan.throughput Throughput baca-tulis vSAN sistem host, dalam byte
host_system.vsan.iops IOPS vSAN sistem host
host_system.vsan.latency Latensi vSAN sistem host, dalam mikrodetik
host_system.vsan.client_cache_hits Hit cache klien vSAN dari sistem host
host_system.vsan.client_cache_hit_rate Rasio cache ditemukan klien vSAN dari sistem host, sebagai persentase
host_system.vsan.congestions Nilai kemacetan vSAN sistem host
resource_pool.memory.swapped_bytes Memori yang ditukar vCenter, dalam megabyte
resource_pool.memory.shared_bytes Memori bersama vCenter, dalam megabyte
resource_pool.memory.private_bytes Memori pribadi vCenter, dalam megabyte
resource_pool.memory.shares Jumlah pembagian memori vCenter
resource_pool.memory.overhead_usage_bytes Penggunaan overhead memori vCenter, dalam megabyte
resource_pool.memory.host_usage_bytes Penggunaan host memori vCenter, dalam megabyte
resource_pool.memory.active_guest_usage_bytes Penggunaan tamu aktif memori vCenter, dalam megabyte
resource_pool.memory.balloon_size Ukuran memori balon vCenter, dalam megabyte
resource_pool.cpu.usage CPU yang digunakan oleh vCenter, dalam megahertz
resource_pool.cpu.shares Jumlah pembagian CPU di kumpulan resource, dalam megabyte
vm.memory.ballooned Ukuran memori balon VM, dalam megabyte
vm.network.throughput_bytes Throughput jaringan VM, dalam kilobyte per detik
vm.memory.used_percent Memori yang digunakan oleh VM, sebagai persentase memori yang tersedia
vm.memory.usage_bytes Memori yang digunakan oleh VM, dalam megabyte
vm.disk.throughput_bytes Throughput baca-tulis disk VM, dalam kilobyte per detik
vm.disk.used_percent Penggunaan disk VM, sebagai persentase penyimpanan yang tersedia
vm.disk.usage_bytes Penggunaan disk VM, dalam byte
vm.disk.free_bytes Ruang disk yang tersedia di VM, dalam byte
vm.cpu.used_percent Penggunaan CPU VM, sebagai persentase CPU yang tersedia
vm.cpu.usage Penggunaan CPU VM, dalam megahertz
vm.cpu.ready_percent CPU VM yang siap tetapi tidak dapat berjalan, dalam persentase
vm.vsan.throughput Throughput baca-tulis vSAN VM, dalam byte
vm.vsan.iops IOPS vSAN VM
vm.vsan.latency Latensi vSAN VM, dalam mikrodetik
vm.vsan.readCount Jumlah baca vSAN VM
vm.vsan.writeCount Jumlah penulisan vSAN VM
vsphere.cpu.available CPU yang tersedia di seluruh cluster yang dikelola oleh vSphere, dalam gigahertz
vsphere.memory.available Memori yang tersedia di seluruh cluster yang dikelola oleh vSphere, dalam gigabyte
vsphere.clusters.total Jumlah cluster yang dikelola oleh vSphere
vsphere.clusters Jumlah cluster yang dikelola oleh vSphere dengan kode warna status cluster (seperti hijau, abu-abu, merah, atau kuning)
vsphere.cpu.cpus Jumlah total core CPU sistem host yang dikelola oleh vSphere
vsphere.datacenters Jumlah pusat data yang dikelola oleh vSphere
vsphere.datastores.total Jumlah datastore di vSphere
vsphere.datastores Jumlah datastore yang dikelola oleh vSphere dengan kode warna status datastore (seperti hijau, abu-abu, merah, atau kuning)
vsphere.disk.space Total ruang disk terpasang di vSphere, dalam terabyte
vsphere.host_systems Jumlah sistem host di vSphere
vsphere.hosts Jumlah sistem host yang dikelola oleh vSphere dengan kode warna status sistem host (seperti hijau, abu-abu, merah, atau kuning)
vsphere.network.adapters Jumlah adaptor jaringan di vSphere
vsphere.hosts.powered_off Jumlah host yang dimatikan di vSphere
vsphere.hosts.powered_on Jumlah host yang diaktifkan di vSphere
vsphere.virtual_machines.total Jumlah VM di semua cluster vSphere
vsphere.virtual_machines Jumlah VM yang dikelola oleh vSphere dengan kode warna status VM (seperti hijau, abu-abu, merah, atau kuning)