Logging dan pemantauan

GKE di VMware mencakup beberapa opsi untuk logging dan pemantauan cluster, termasuk layanan terkelola berbasis cloud, alat open source, dan kompatibilitas yang divalidasi dengan solusi komersial pihak ketiga. Dokumen ini menjelaskan opsi ini dan memberikan beberapa panduan dasar tentang cara memilih solusi yang tepat untuk lingkungan Anda.

Opsi untuk GKE di VMware

Anda memiliki beberapa opsi logging dan pemantauan untuk GKE di VMware:

Cloud Logging dan Cloud Monitoring
Google Cloud Managed Service for Prometheus (Pratinjau)
Konfigurasi yang divalidasi dengan solusi pihak ketiga.

Cloud Logging dan Cloud Monitoring

Kemampuan observasi Google Cloud (sebelumnya bernama Stackdriver) adalah solusi kemampuan observasi bawaan untuk Google Cloud. Layanan ini menawarkan solusi logging yang terkelola sepenuhnya, pengumpulan metrik, pemantauan, dasbor, dan pemberitahuan. Cloud Monitoring memantau GKE di cluster VMware dengan cara yang sama seperti cluster GKE berbasis cloud.

Anda dapat mengonfigurasi agen dalam cluster untuk cakupan pemantauan dan logging, serta level metrik yang dikumpulkan:

Cakupan logging dan pemantauan dapat ditetapkan hanya untuk komponen sistem (default) atau untuk komponen sistem dan aplikasi
Tingkat metrik yang dikumpulkan dapat dikonfigurasi untuk kumpulan metrik yang dioptimalkan atau untuk metrik lengkap

Lihat Mengonfigurasi agen logging dan pemantauan untuk cluster Anthos di VMware dalam dokumen ini untuk mengetahui informasi selengkapnya.

Cloud Logging dan Cloud Monitoring menyediakan solusi ideal bagi pelanggan yang menginginkan satu solusi berbasis cloud yang mudah dikonfigurasi dan andal. Kami sangat merekomendasikan Logging dan Monitoring saat menjalankan workload hanya di GKE di VMware, atau workload di GKE dan GKE di VMware. Untuk aplikasi dengan komponen yang berjalan di GKE di VMware dan infrastruktur lokal tradisional, Anda dapat mempertimbangkan solusi lain untuk melihat aplikasi tersebut secara menyeluruh.

Untuk mengetahui detail tentang arsitektur, konfigurasi, dan data yang direplikasi ke project Google Cloud Anda secara default untuk GKE di VMware, lihat bagian Cara kerja logging dan pemantauan GKE di VMware.
Untuk mengetahui informasi selengkapnya tentang Cloud Logging, lihat dokumentasi Cloud Logging.
Untuk mengetahui informasi selengkapnya tentang Cloud Monitoring, baca dokumentasi Cloud Monitoring.

Solusi pihak ketiga

Google telah bekerja sama dengan beberapa penyedia solusi logging dan pemantauan pihak ketiga agar produk mereka berfungsi baik dengan GKE di VMware. Ini termasuk Datadog, Elastic, dan Splunk. Pihak ketiga tambahan yang divalidasi akan ditambahkan di masa mendatang.

Untuk mengetahui informasi selengkapnya tentang penggunaan solusi pihak ketiga dengan GKE di VMware, lihat artikel berikut:

Cara kerja logging dan pemantauan untuk GKE di VMware

Agen logging dan pemantauan diinstal dan diaktifkan di setiap cluster saat Anda membuat admin atau cluster pengguna baru. Agen mengumpulkan data tentang komponen sistem—cakupan yang dapat Anda konfigurasi.

Untuk melihat data yang dikumpulkan di konsol Google Cloud, Anda harus mengonfigurasi project Google Cloud yang menyimpan log dan metrik yang ingin Anda lihat.

Agen logging dan pemantauan di setiap cluster meliputi:

Agen metrik GKE (gke-metrics-agent). DaemonSet yang mengirimkan metrik ke Cloud Monitoring API.
Penerusan log (stackdriver-log-forwarder). DaemonSet Fluent Bit yang meneruskan log dari setiap mesin ke Cloud Logging. Forwarder log melakukan buffering entri log pada node secara lokal, lalu mengirimnya ulang hingga empat jam. Jika buffer sudah penuh atau jika penerusan log tidak dapat menjangkau Cloud Logging API selama lebih dari empat jam, log akan dihapus.
Agen metrik GKE global (gke-metrics-agent-global). Deployment yang mengirimkan metrik ke Cloud Monitoring API.
Agen metadata (stackdriver-metadata-agent). Deployment yang mengirimkan metadata untuk resource Kubernetes seperti pod, deployment, atau node ke Stackdriver Resource Metadata API; data ini digunakan untuk memperkaya kueri metrik dengan memungkinkan Anda membuat kueri berdasarkan nama deployment, nama node, atau bahkan nama layanan Kubernetes.
kube-state-metrics Deployment yang memproses server API dan membuat metrik tentang status objek.
node-exporter DaemonSet yang menghasilkan metrik hardware dan OS.

Anda dapat melihat semua agen Deployment dengan menjalankan perintah berikut:

  kubectl --kubeconfig CLUSTER_KUBECONFIG get deployments -l "managed-by=stackdriver" --all-namespaces

dengan CLUSTER_KUBECONFIG adalah jalur ke file kubeconfig Anda untuk cluster tersebut.

Output perintah ini akan mirip dengan berikut ini:

gke-metrics-agent-global                      1/1     Running   0   4h31m
stackdriver-metadata-agent-cluster-level      1/1     Running   0   4h31m

Anda dapat melihat semua agen DaemonSet dengan menjalankan perintah berikut:

  kubectl --kubeconfig CLUSTER_KUBECONFIG get daemonsets -l "managed-by=stackdriver" --all-namespaces

Output perintah ini akan mirip dengan berikut ini:

gke-metrics-agent                             1/1     Running   0   4h31m
stackdriver-log-forwarder                     1/1     Running   0   4h31m

Mengonfigurasi agen logging dan pemantauan untuk GKE di VMware

Agen yang diinstal dengan GKE di VMware mengumpulkan data tentang komponen sistem, sesuai dengan setelan dan konfigurasi Anda, untuk tujuan mengelola dan memecahkan masalah pada cluster Anda.

Hanya komponen sistem (cakupan default)

Setelah penginstalan, agen mengumpulkan log dan metrik, termasuk detail performa (misalnya, pemakaian CPU dan memori) dan metadata serupa, untuk komponen sistem yang disediakan Google. Ini mencakup semua beban kerja di cluster admin, dan untuk cluster pengguna, beban kerja dalam namespace kube-system, gke-system, gke-connect, istio-system, dan config-management-system. Anda dapat mengonfigurasi atau menonaktifkan agen seperti yang dijelaskan di bagian berikut.

Cakupan log dan metrik yang dikumpulkan dapat diperluas untuk menyertakan aplikasi. Untuk mengetahui petunjuk cara mengaktifkan logging dan pemantauan aplikasi, baca Mengaktifkan Logging dan Pemantauan untuk aplikasi pengguna.

Metrik yang dioptimalkan (metrik default)

Secara default, agen metrik yang berjalan di cluster mengumpulkan dan melaporkan serangkaian metrik container, kubelet, dan kube-state-metrics yang dioptimalkan ke Google Cloud Observability (sebelumnya bernama Stackdriver).

Perlu lebih sedikit resource untuk mengumpulkan rangkaian metrik yang dioptimalkan ini, sehingga meningkatkan performa dan skalabilitas secara keseluruhan. Hal ini sangat penting untuk metrik level container dan level kube, karena banyaknya objek yang harus dipantau.

Metrik penampung yang dikecualikan

Metrik penampung berikut dikecualikan dari metrik yang dioptimalkan:

container_cpu_cfs_periods_total
container_cpu_cfs_throttled_periods_total
container_cpu_load_average_10s
container_cpu_system_seconds_total
container_cpu_user_seconds_total
container_fs_io_current
container_fs_io_time_seconds_total
container_fs_io_time_weighted_seconds_total
container_fs_read_seconds_total
container_fs_reads_bytes_total
container_fs_reads_merged_total
container_fs_reads_total
container_fs_sector_reads_total
container_fs_sector_writes_total
container_fs_write_seconds_total
container_fs_writes_bytes_total
container_fs_writes_merged_total
container_fs_writes_total
container_last_seen
container_memory_cache
container_memory_failcnt
container_memory_mapped_file
container_memory_max_usage_bytes
container_memory_swap
container_network_receive_packets_dropped_total
container_network_receive_packets_total
container_network_transmit_packets_dropped_total
container_network_transmit_packets_total
container_start_time_seconds
container_spec_cpu_period
container_spec_cpu_quota
container_spec_cpu_shares
container_spec_memory_limit_bytes
container_spec_memory_reservation_limit_bytes
container_spec_memory_swap_limit_bytes
container_start_time_seconds
container_tasks_state

Rangkaian lengkap metrik GKE pada VMware didokumentasikan dalam metrik GKE Enterprise.

Metrik kubelet yang dikecualikan

Metrik kubelet berikut dikecualikan dari metrik yang dioptimalkan:

kubelet_runtime_operations_duration_seconds
kubelet_runtime_operations_errors
kubelet_runtime_operations_duration_seconds
kubelet_runtime_operations_latency_microseconds
kubelet_runtime_operations_latency_microseconds_count
kubelet_runtime_operations_latency_microseconds_sum
rest_client_request_duration_seconds
rest_client_request_latency_seconds

Rangkaian lengkap metrik GKE pada VMware didokumentasikan dalam metrik GKE Enterprise.

Metrik kube-state yang dikecualikan

Metrik metrik kube-state berikut dikecualikan dari metrik yang dioptimalkan:

kube_certificatesigningrequest_cert_length
kube_certificatesigningrequest_condition
kube_certificatesigningrequest_created
kube_certificatesigningrequest_labels
kube_configmap_annotations
kube_configmap_info
kube_configmap_labels
kube_configmap_metadata_resource_version
kube_daemonset_annotations
kube_daemonset_created
kube_daemonset_labels
kube_daemonset_metadata_generation
kube_daemonset_status_observed_generation
kube_deployment_annotations
kube_deployment_created
kube_deployment_labels
kube_deployment_spec_paused
kube_deployment_spec_strategy_rollingupdate_max_surge
kube_deployment_spec_strategy_rollingupdate_max_unavailable
kube_deployment_status_condition
kube_deployment_status_replicas_ready
kube_endpoint_annotations
kube_endpoint_created
kube_endpoint_info
kube_endpoint_labels
kube_endpoint_ports
kube_horizontalpodautoscaler_annotations
kube_horizontalpodautoscaler_info
kube_horizontalpodautoscaler_labels
kube_horizontalpodautoscaler_metadata_generation
kube_horizontalpodautoscaler_status_condition
kube_job_annotations
kube_job_complete
kube_job_created
kube_job_info
kube_job_labels
kube_job_owner
kube_job_spec_completions
kube_job_spec_parallelism
kube_job_status_completion_time
kube_job_status_start_time
kube_job_status_succeeded
kube_lease_owner
kube_lease_renew_time
kube_limitrange
kube_limitrange_created
kube_mutatingwebhookconfiguration_info
kube_namespace_labels
kube_networkpolicy_annotations
kube_networkpolicy_labels
kube_networkpolicy_spec_egress_rules
kube_networkpolicy_spec_ingress_rules
kube_node_annotations
kube_node_role
kube_persistentvolume_annotations
kube_persistentvolume_labels
kube_persistentvolumeclaim_access_mode
kube_persistentvolumeclaim_annotations
kube_persistentvolumeclaim_labels
kube_pod_annotations
kube_pod_completion_time
kube_pod_container_resource_limits
kube_pod_container_resource_requests
kube_pod_container_state_started
kube_pod_created
kube_pod_init_container_info
kube_pod_init_container_resource_limits
kube_pod_init_container_resource_requests
kube_pod_init_container_status_last_terminated_reason
kube_pod_init_container_status_ready
kube_pod_init_container_status_restarts_total
kube_pod_init_container_status_running
kube_pod_init_container_status_terminated
kube_pod_init_container_status_terminated_reason
kube_pod_init_container_status_waiting
kube_pod_init_container_status_waiting_reason
kube_pod_labels
kube_pod_owner
kube_pod_restart_policy
kube_pod_spec_volumes_persistentvolumeclaims_readonly
kube_pod_start_time
kube_poddisruptionbudget_annotations
kube_poddisruptionbudget_created
kube_poddisruptionbudget_labels
kube_poddisruptionbudget_status_expected_pods
kube_poddisruptionbudget_status_observed_generation
kube_poddisruptionbudget_status_pod_disruptions_allowed
kube_replicaset_annotations
kube_replicaset_created
kube_replicaset_labels
kube_replicaset_metadata_generation
kube_replicaset_owner
kube_replicaset_status_observed_generation
kube_resourcequota_created
kube_secret_annotations
kube_secret_info
kube_secret_labels
kube_secret_metadata_resource_version
kube_secret_type
kube_service_annotations
kube_service_created
kube_service_info
kube_service_labels
kube_service_spec_type
kube_statefulset_annotations
kube_statefulset_created
kube_statefulset_labels
kube_statefulset_status_current_revision
kube_statefulset_status_update_revision
kube_storageclass_annotations
kube_storageclass_created
kube_storageclass_info
kube_storageclass_labels
kube_validatingwebhookconfiguration_info
kube_validatingwebhookconfiguration_metadata_resource_version
kube_volumeattachment_created
kube_volumeattachment_info
kube_volumeattachment_labels
kube_volumeattachment_spec_source_persistentvolume
kube_volumeattachment_status_attached
kube_volumeattachment_status_attachment_metadata

Rangkaian lengkap metrik GKE pada VMware didokumentasikan dalam metrik GKE Enterprise.

Untuk menonaktifkan metrik metrik kube-state yang dioptimalkan (tidak direkomendasikan), tetapkan kolom optimizedMetrics ke false di resource kustom Stackdriver Anda. Untuk mengetahui informasi lebih lanjut mengenai cara mengubah resource kustom Stackdriver, lihat Mengonfigurasi resource komponen Stackdriver. Semua metrik GKE pada VMware, termasuk yang dikecualikan secara default, dijelaskan dalam metrik GKE Enterprise.

Mengaktifkan dan menonaktifkan Stackdriver

Anda dapat mengaktifkan atau menonaktifkan agen logging dan pemantauan sepenuhnya dengan mengaktifkan atau menonaktifkan resource kustom Stackdriver. Fitur ini ada dalam Pratinjau.

Sebelum menonaktifkan agen logging dan pemantauan, lihat halaman dukungan untuk mengetahui detail tentang pengaruhnya terhadap SLA Dukungan Google Cloud.

Agen logging dan pemantauan mengambil data yang disimpan secara lokal, sesuai dengan konfigurasi penyimpanan dan retensi Anda. Data tersebut direplikasi ke project Google Cloud yang ditentukan saat penginstalan menggunakan akun layanan yang diberi otorisasi untuk menulis data ke project tersebut. Anda dapat menonaktifkan agen ini kapan saja, seperti dijelaskan sebelumnya.

Anda juga dapat mengelola dan menghapus data yang telah dikirim oleh agen logging dan pemantauan ke Cloud Logging dan Cloud Monitoring. Untuk mengetahui informasi selengkapnya, lihat dokumentasi Cloud Monitoring.

Persyaratan konfigurasi untuk logging dan pemantauan

Untuk melihat data Cloud Logging dan Cloud Monitoring, Anda harus mengonfigurasi project Google Cloud yang menyimpan log dan metrik yang ingin Anda lihat. Project Google Cloud ini disebut project pemantauan logging.

Aktifkan API berikut dalam project pemantauan logging Anda:
Berikan peran IAM berikut ke akun layanan pemantauan logging pada project pemantauan logging Anda.
- logging.logWriter
- monitoring.metricWriter
- stackdriver.resourceMetadata.writer
- monitoring.dashboardEditor
- opsconfigmonitoring.resourceMetadata.writer

Harga

Log sistem dan metrik GKE Enterprise tidak dikenai biaya. Log bidang kontrol, metrik bidang kontrol, dan subset metrik status Kube yang dipilih diaktifkan secara default untuk cluster GKE di Google Cloud yang terdaftar pada saat pembuatan cluster di project yang mengaktifkan GKE Enterprise. Log bidang kontrol dikenakan biaya Cloud Logging, sementara metrik yang aktif secara default disertakan tanpa biaya tambahan.

Untuk mengetahui daftar log dan metrik GKE yang disertakan, lihat Log yang tersedia dan Metrik yang tersedia.

Dalam cluster GKE di VMware, log dan metrik sistem GKE Enterprise mencakup hal berikut:

Log dan metrik dari semua komponen dalam cluster admin
Log dan metrik dari komponen dalam namespace ini di cluster pengguna: kube-system, gke-system, gke-connect, knative-serving, istio-system, monitoring-system, config-management-system, gatekeeper-system, cnrm-system

Untuk mengetahui informasi selengkapnya, lihat Harga untuk Kemampuan Observasi Google Cloud.

Guna mempelajari kredit untuk metrik Cloud Logging, hubungi bagian penjualan untuk mengetahui harga.

Langkah selanjutnya

Menggunakan Logging dan Monitoring