Menyiapkan Cloud Monitoring dengan agen mandiri

Cloud Monitoring membantu Anda mendapatkan visibilitas terkait performa, ketersediaan, dan kondisi aplikasi serta infrastruktur Anda. Anda dapat menggunakan Cloud Monitoring dan bagian lain dari Kemampuan Observasi Google Cloud untuk memantau, memecahkan masalah, dan mengoperasikan layanan VMware Engine dalam skala besar.

Anda menentukan konfigurasi penerusan metrik secara terpisah untuk setiap cloud pribadi menggunakan agen mandiri. Setiap cloud pribadi memerlukan agen terpisah, yang dihosting di VM Compute Engine atau VM VMware.

Setelah berhasil mengaktifkan penerusan metrik, Anda dapat melihat metrik di Cloud Monitoring Metrics Explorer. Jenis dan metrik resource dari VMware Engine dimulai dengan external.googleapis.com/vmware/vcenter, dan FQDN vCenter diberi tag sebagai bagian dari namespace.

Sebelum memulai

Langkah-langkah dalam dokumen ini mengasumsikan bahwa Anda terlebih dahulu melakukan hal berikut:

Mengaktifkan Cloud Monitoring API
Identifikasi akun pengguna solusi yang akan digunakan dengan agen mandiri, dan tetapkan sandi yang kuat untuk akun pengguna solusi.
Buat VM Compute Engine atau VM VMware untuk digunakan sebagai host untuk agen mandiri. VM Compute Engine harus berada dalam jaringan Virtual Private Cloud (VPC) yang di-peering ke jaringan VPC cloud pribadi yang berisi resource yang ingin Anda pantau.

Untuk contoh pembuatan VM Compute Engine, lihat Panduan Memulai Compute Engine menggunakan VM Linux. Untuk contoh pembuatan VMware VM, lihat Membuat VM VMware.

Jika Anda menggunakan VM Compute Engine untuk menghosting agen mandiri, Google akan mengelola rotasi kunci untuk akun layanan yang Anda hubungkan. Namun, membuat VM VMware dapat menghemat biaya jika Anda memiliki kapasitas yang tidak terpakai di cloud pribadi dan tidak keberatan untuk mengelola rotasi kunci sendiri.

Terlepas dari tempat Anda membuat VM host agen, VM tersebut harus memenuhi persyaratan berikut:

Persyaratan

VM host agen Anda harus memenuhi persyaratan sistem berikut:

Sistem operasi Linux yang didukung:

CentOS 6, 7, atau 8
Red Hat Enterprise Linux 6, 7, atau 8
SLES 12 atau 15
Ubuntu 14, 16, 18, atau 19

Minimum RAM 4 GB
Tersedia ruang pemasangan 300 MB
Direktori penginstalan ditetapkan ke /opt/bpagent
Utilitas CLI curl terinstal

VM host agen Anda juga memerlukan akses ke alamat berikut untuk mengumpulkan dan mengirim metrik dan log:

Port 443 (TCP) untuk koneksi HTTPS ke Server vCenter (default)
monitoring.googleapis.com:443 (external access)
logging.googleapis.com:443 (external access)

Mengaktifkan penerusan metrik

Proses penyiapan VM host agen dan pengaktifan penerusan metrik terdiri dari langkah-langkah berikut:

Menginstal agen di VM
Menentukan akun layanan
Mengonfigurasi agen untuk mengakses cloud pribadi Anda untuk metrik
Mengonfigurasi agen guna mengakses akun layanan untuk pelaporan
Mengumpulkan metrik dan log
Mengonfigurasi cloud pribadi untuk penerusan syslog

Menginstal agen mandiri

Untuk menginstal agen di VM host Anda, lakukan hal berikut:

Hubungkan ke VM host agen Anda.

Jalankan skrip penginstalan dari jarak jauh:

sudo sh -c "$(curl -S https://storage.googleapis.com/gcve-observability-agent/latest/vmware-linux-amd64/installer/install.sh)"

Untuk sistem di mana VM host agen mungkin tidak memiliki akses jaringan eksternal, Anda dapat mendownload skrip agen dan penginstalan menggunakan perintah berikut:

Untuk mendapatkan agen mandiri, jalankan perintah berikut:

curl -S https://storage.googleapis.com/gcve-observability-agent/latest/vmware-linux-amd64/artifacts/bpagent-headless-vmware.tar.gz > agent.tar.gz

Untuk mendapatkan skrip penginstalan, jalankan perintah berikut:

curl -S https://storage.googleapis.com/gcve-observability-agent/latest/vmware-linux-amd64/installer/install.sh > install.sh

Untuk menginstal agen, jalankan perintah berikut di VM host agen Anda:
```
sudo sh install.sh agent.tar.gz
```

Menentukan akun layanan

Meneruskan data dari agen ke Cloud Monitoring memerlukan akun layanan dari project Google Cloud Anda. Akun layanan tersebut harus memiliki peran Monitoring Admin untuk metrik dan peran Logs Writer untuk log.

Jika Anda tidak memiliki akun layanan untuk aplikasi pemantauan dan logging, buat:

Di konsol Google Cloud, buka IAM & Admin > Service Accounts.

Buka Akun Layanan
Klik Create service account.
Masukkan nama, ID, dan deskripsi untuk akun layanan. Sebaiknya perhatikan bahwa akun digunakan untuk integrasi agen.
Klik Buat dan lanjutkan.
Untuk Role, pilih Monitoring Admin.
Untuk Role, pilih Logs Writer.
Klik Lanjutkan.
Klik Done.

Jika Anda membuat VM VMware sebagai VM host agen, ambil kunci pribadi akun layanan sehingga Anda dapat menggunakannya untuk menyiapkan agen:

Di konsol Google Cloud, buka IAM & Admin > Service Accounts.

Buka Akun Layanan
Temukan akun layanan Anda di daftar akun layanan.
Di kolom Tindakan, klik menu tindakan akun layanan dan pilih Kelola kunci.
Klik Add key, lalu pilih Create new key.
Pilih jenis kunci JSON, dan klik Create.
Buka file JSON yang dibuat dan salin seluruh konten file. Metrik dan koleksi logging menggunakan file kunci JSON yang sama.
Di VM host agen, salin file kunci JSON ke direktori /opt/bpagent/config/destinations/google_cloud.

Konfigurasi agen untuk mengakses cloud pribadi Anda untuk metrik

Agen mandiri memerlukan akses ke cloud pribadi Anda untuk mengumpulkan metrik. Di VM host agen Anda, siapkan akses dengan menyalin dan mengonfigurasi file vmware_vcenter.yaml:

Salin vmware_vcenter.yaml ke direktori config/metrics/sources:

cp /opt/bpagent/config/metrics/examples/vmware_vcenter.yaml /opt/bpagent/config/metrics/sources

Edit vmware_vcenter.yaml agar sesuai dengan informasi di lingkungan VMware Engine Anda:
```
collection_interval: 1m0s
connection_info:
connection_timeout: "30"
enable_performance_counters: "true"
host: VCSA_FQDN
password: SOLUTION_USER_PASSWORD
performance_counter_end_time: ""
performance_counter_query_timeout: "15"
performance_counter_start_time: ""
port: "443"
sdk_path: ""
ssl_config: "No Verify"
username: SOLUTION_USER_ACCOUNT
```
Ganti kode berikut:
- VCSA_FQDN: nama domain yang sepenuhnya memenuhi syarat (FQDN) dari vCenter Server Appliance di cloud pribadi Anda
- SOLUTION_USER_PASSWORD: sandi yang sesuai dengan akun pengguna solusi yang digunakan
- SOLUTION_USER_ACCOUNT: akun pengguna solusi yang digunakan agen untuk melaporkan informasi

Mengonfigurasi agen guna mengakses akun layanan untuk pelaporan

Agen mandiri memerlukan akses ke Kemampuan Observasi Google Cloud untuk mengirim metrik dan log. Konfigurasi agen untuk mengakses project yang digunakan untuk pelaporan melalui akun layanan yang memiliki izin pemantauan dan logging.

Di VM host agen, salin dan konfigurasi file log_agent.yaml:

Salin log_agent.example.yaml ke log_agent.yaml sebelum mengedit:

cp /opt/bpagent/config/log_agent.example.yaml /opt/bpagent/config/log_agent.yaml

Di bagian bawah log_agent.yaml, masukkan nama project Anda dan jalur lengkap ke file kunci JSON. Untuk VM host agen yang dibuat di Compute Engine, hapus atau jadikan baris credentials_file sebagai komentar.
```
...
- id: my_project_destination
  project_id: PROJECT_ID
  type: google_cloud_output
  credentials_file: /opt/bpagent/config/destinations/google_cloud/JSON_KEY_FILE
```
Ganti kode berikut:
- PROJECT_ID: ID project tempat Anda ingin menghasilkan log
- JSON_KEY_FILE: nama file kunci pribadi akun layanan Anda. Hapus atau jadikan baris ini sebagai komentar untuk VM host agen yang dibuat di Compute Engine.

Mengumpulkan metrik dan log

Untuk mengumpulkan metrik atau log, agen mandiri harus berjalan di VM host agen Anda. Hubungkan ke VM host agen Anda dan gunakan perintah berikut untuk memulai atau menghentikan agen:

Untuk memulai agen di VM host Anda, jalankan perintah berikut:
```
systemctl start bpagent
```
Untuk menghentikan agen di VM host Anda, jalankan perintah berikut:
```
systemctl stop bpagent
```

Mengonfigurasi cloud pribadi untuk penerusan syslog

VMware Engine terintegrasi dengan Cloud Logging dengan meneruskan pesan syslog dari vCenter dan NSX-T ke agen mandiri. Agen mandiri dikonfigurasi untuk mengurai log vCenter dan NSX-T agar dapat dibaca oleh Cloud Logging.

Untuk meneruskan pesan syslog dari VMware Engine, lakukan langkah berikut:

Untuk penerusan syslog vCenter, ikuti langkah-langkah di Pesan syslog vCenter Teruskan. Di kolom Server, masukkan alamat IP atau nama host VM host agen Anda. Agen mandiri menggunakan protokol komunikasi TCP dan memproses di port 5142. Agen mandiri harus berjalan agar konfigurasi syslog berhasil terhubung.
Untuk penerusan syslog NSX-T, ikuti langkah-langkah dalam Meneruskan pesan syslog NSX-T. Di kolom FQDN atau IP Address, masukkan alamat IP atau nama host VM host agen Anda. Agen mandiri menggunakan protokol komunikasi TCP dan memproses port 5142.

Meng-uninstal agen

Untuk menghapus agen dari VM, hubungkan ke VM agen dan jalankan perintah berikut di command line:

Hentikan dan nonaktifkan agen mandiri:

systemctl stop bpagent

systemctl disable bpagent

Jalankan perintah berikut untuk menghapus layanan agen mandiri:
```
rm /etc/systemd/system/bpagent.service
```
```
rm -rf /opt/bpagent
```
Update konfigurasi sistem berdasarkan perubahan layanan Anda dan hapus unit yang gagal:
```
systemctl daemon-reload
```
```
systemctl reset-failed
```

Dasbor Cloud Monitoring

Setelah mengaktifkan penerusan metrik, Anda dapat menginstal dasbor yang telah ditentukan untuk VMware Engine. Dasbor berikut memberikan informasi gabungan dari semua sumber yang Anda tentukan:

Dasbor ringkasan: Tampilan tingkat tinggi yang mencantumkan resource utama seperti pusat data, cluster, dan VM.
Dasbor pertentangan: Pemanfaatan resource untuk penyimpanan, CPU, memori, dan jaringan guna membantu Anda menemukan VM dan host teratas berdasarkan permintaan resource.
Dasbor performa virtual machine: Indikator performa instance virtual machine (VM) yang dapat difilter berdasarkan nama instance dan digunakan untuk membandingkan performa beberapa VM satu sama lain.

Untuk mengakses dasbor VMware Engine, lakukan hal berikut:

Di konsol Google Cloud, buka Monitoring > Dashboards.

Buka Dashboards
Di tab Sample Library, pilih kategori VMware.
Pilih dasbor yang diinginkan, lalu klik Impor.

Definisi untuk dasbor ini juga disimpan di GitHub. Untuk langkah-langkah menginstal atau melihat definisi sebagai dasbor kustom, lihat Menginstal contoh dasbor.

Pemberitahuan Cloud Monitoring

Anda dapat menggunakan metrik dari integrasi Anda untuk memicu pemberitahuan dan notifikasi berdasarkan nilai minimum dan insiden kustom. Misalnya, Anda dapat meminta Cloud Monitoring untuk mengirimkan notifikasi SMS ketika seseorang membuat VM baru di cloud pribadi Anda.

Untuk mengetahui detailnya, lihat Pengantar pemberitahuan.

Daftar metrik yang dikumpulkan

Setelah berhasil mengaktifkan penerusan metrik, Anda dapat melihat metrik di Cloud Monitoring Metrics Explorer. Jenis resource dan jenis metrik dari VMware Engine dimulai dengan awalan external.googleapis.com/vmware/vcenter. di Metrics Explorer.

Berikut adalah daftar lengkap metrik yang dikumpulkan untuk VMware Engine, dengan awalan yang dihilangkan:

Jenis resource dan metrik	Deskripsi
`cluster.cpu.available`	CPU yang tersedia dalam cluster, dalam megahertz
`cluster.memory.available`	Memori yang tersedia di cluster, dalam byte
`cluster.cpu.threads`	Jumlah thread CPU dalam cluster
`cluster.cpu.effective`	CPU yang efektif dalam cluster dari semua host yang berjalan. Host yang tidak responsif atau dalam mode pemeliharaan tidak dihitung.
`cluster.effective_hosts`	Jumlah host yang efektif di cluster. Host yang tidak responsif atau dalam mode pemeliharaan tidak dihitung.
`cluster.memory.effective`	Memori efektif dalam cluster dari semua host yang berjalan. Host yang tidak responsif atau dalam mode pemeliharaan tidak dihitung.
`cluster.hosts`	Jumlah host dalam cluster
`cluster.vsan.latency`	Latensi vSAN cluster, dalam mikrodetik
`cluster.vsan.throughput`	Throughput baca-tulis vSAN cluster, dalam byte
`cluster.vsan.iops`	IOPS vSAN cluster
`cluster.vsan.congestions`	Nilai kemacetan vSAN cluster
`cluster.vsan.oio`	I/O (oio) vSAN yang belum diproses dalam sebuah cluster
`datacenter.cpu.average_host_utilization`	Penggunaan host rata-rata dari pusat data, dalam persentase
`datacenter.clusters`	Jumlah klaster di sebuah pusat data
`datacenter.datastores`	Jumlah datastore di pusat data
`datacenter.hosts`	Jumlah host di pusat data
`datacenter.host_systems`	Jumlah sistem {i>host<i} di pusat data
`datacenter.hosts/powered_on`	Jumlah host yang diaktifkan di pusat data
`datacenter.hosts/powered_off`	Jumlah host yang dimatikan di pusat data
`datacenter.disk/space`	Total ruang disk di pusat data, dalam terabyte
`datastore.capacity_bytes`	Kapasitas datastore, dalam byte
`datastore.capacity_utilization`	Pemanfaatan kapasitas datastore, dalam persentase
`host_system.network.transmitted_packets`	Jumlah paket jaringan yang ditransmisikan oleh sistem host
`host_system.network.received_packets`	Jumlah paket jaringan yang diterima oleh sistem host
`host_system.dropped_packets`	Jumlah paket jaringan yang dihapus oleh sistem host
`host_system.network.adapters`	Jumlah adaptor jaringan sistem host
`host_system.memory.utilization`	Penggunaan memori sistem host, dalam persentase
`host_system.memory.utilization_ratio`	Rasio penggunaan memori sistem host
`host_system.memory.used`	Memori yang digunakan oleh sistem host, dalam megabyte
`host_system.disk.read`	Pembacaan disk sistem host, dalam kilobyte per detik
`host_system.disk_latency`	Latensi disk sistem host, dalam milidetik
`host_system.cpu.usage`	Penggunaan CPU sistem host, dalam persentase
`host_system.cpu.utilization_ratio`	Rasio penggunaan CPU sistem host
`host_system.cpu.capacity`	Kapasitas CPU sistem host, dalam megahertz
`host_system.cpu.reserved_capacity`	Kapasitas CPU yang dicadangkan untuk sistem host, dalam megahertz
`host_system.cpu.average_speed`	Kecepatan CPU rata-rata sistem host, dalam megahertz
`host_system.cpu.used`	CPU yang digunakan oleh sistem host, dalam megahertz
`host_system.vsan.throughput`	Throughput baca-tulis vSAN sistem host, dalam byte
`host_system.vsan.iops`	vSAN IOPS sistem host
`host_system.vsan.latency`	Latensi vSAN sistem host, dalam mikrodetik
`host_system.vsan.client_cache_hits`	Hit cache klien vSAN pada sistem host
`host_system.vsan.client_cache_hit_rate`	Tingkat penemuan cache klien vSAN dari sistem host, dalam persentase
`host_system.vsan.congestions`	Nilai kemacetan vSAN sistem host
`resource_pool.memory.swapped_bytes`	Memori swap vCenter, dalam megabyte
`resource_pool.memory.shared_bytes`	Memori bersama vCenter, dalam megabyte
`resource_pool.memory.private_bytes`	Memori pribadi vCenter, dalam megabyte
`resource_pool.memory.shares`	Jumlah berbagi memori vCenter
`resource_pool.memory.overhead_usage_bytes`	Penggunaan overhead memori vCenter, dalam megabyte
`resource_pool.memory.host_usage_bytes`	Penggunaan host memori vCenter, dalam megabyte
`resource_pool.memory.active_guest_usage_bytes`	Penggunaan tamu aktif memori vCenter, dalam megabyte
`resource_pool.memory.balloon_size`	Ukuran memori balon vCenter, dalam megabyte
`resource_pool.cpu.usage`	CPU yang digunakan oleh vCenter, dalam megahertz
`resource_pool.cpu.shares`	Jumlah CPU yang digunakan bersama di kumpulan resource, dalam megabyte
`vm.memory.ballooned`	Ukuran memori balon VM, dalam megabyte
`vm.network.throughput_bytes`	Throughput jaringan VM, dalam kilobyte per detik
`vm.memory.used_percent`	Memori yang digunakan oleh VM, sebagai persentase memori yang tersedia
`vm.memory.usage_bytes`	Memori yang digunakan oleh VM, dalam megabyte
`vm.disk.throughput_bytes`	Throughput baca-tulis disk VM, dalam kilobyte per detik
`vm.disk.used_percent`	Penggunaan disk VM, sebagai persentase penyimpanan yang tersedia
`vm.disk.usage_bytes`	Penggunaan disk VM, dalam byte
`vm.disk.free_bytes`	Kapasitas disk yang tersedia di VM, dalam byte
`vm.cpu.used_percent`	Penggunaan CPU VM, sebagai persentase CPU yang tersedia
`vm.cpu.usage`	Penggunaan CPU VM, dalam megahertz
`vm.cpu.ready_percent`	CPU VM yang siap tetapi tidak dapat dijalankan, dalam persentase
`vm.vsan.throughput`	Throughput baca-tulis vSAN VM, dalam byte
`vm.vsan.iops`	IOPS vSAN VM
`vm.vsan.latency`	Latensi vSAN VM, dalam mikrodetik
`vm.vsan.readCount`	Jumlah operasi baca vSAN VM
`vm.vsan.writeCount`	Jumlah operasi tulis vSAN VM
`vsphere.cpu.available`	CPU yang tersedia di berbagai cluster yang dikelola oleh vSphere, dalam gigahertz
`vsphere.memory.available`	Memori tersedia di seluruh cluster yang dikelola oleh vSphere, dalam gigabyte
`vsphere.clusters.total`	Jumlah cluster yang dikelola oleh vSphere
`vsphere.clusters`	Jumlah cluster yang dikelola oleh vSphere dengan kode warna status cluster (seperti hijau, abu-abu, merah, atau kuning)
`vsphere.cpu.cpus`	Jumlah total inti CPU sistem host yang dikelola oleh vSphere
`vsphere.datacenters`	Jumlah pusat data yang dikelola oleh vSphere
`vsphere.datastores.total`	Jumlah datastore di vSphere
`vsphere.datastores`	Jumlah datastore yang dikelola oleh vSphere dengan kode warna status datastore (seperti hijau, abu-abu, merah, atau kuning)
`vsphere.disk.space`	Total ruang disk yang terpasang dalam vSphere, dalam terabyte
`vsphere.host_systems`	Jumlah sistem host di vSphere
`vsphere.hosts`	Jumlah sistem host yang dikelola oleh vSphere dengan kode warna status sistem host (seperti hijau, abu-abu, merah, atau kuning)
`vsphere.network.adapters`	Jumlah adaptor jaringan di vSphere
`vsphere.hosts.powered_off`	Jumlah host yang dinonaktifkan di vSphere
`vsphere.hosts.powered_on`	Jumlah host yang diaktifkan di vSphere
`vsphere.virtual_machines.total`	Jumlah VM di seluruh cluster vSphere
`vsphere.virtual_machines`	Jumlah VM yang dikelola oleh vSphere dengan kode warna status VM (seperti hijau, abu-abu, merah, atau kuning)