Memantau Config Sync dengan Prometheus

Halaman ini menjelaskan cara mengirim metrik dari Config Sync ke Prometheus.

Halaman ini menjelaskan cara menggunakan Prometheus untuk melihat metrik Config Sync. Untuk mengetahui cara lain mengekspor metrik, lihat Memantau Config Sync dengan Cloud Monitoring atau Memantau Config Sync dengan pemantauan kustom.

Config Sync secara otomatis mengumpulkan dan mengekspor metrik ke Prometheus. Anda dapat mengonfigurasi Cloud Monitoring untuk mengambil metrik kustom dari Prometheus. Kemudian, Anda dapat melihat metrik kustom di Prometheus dan Monitoring. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Prometheus dalam dokumentasi GKE.

Menghilangkan metrik

Semua metrik Prometheus tersedia untuk scraping di port 8675. Sebelum dapat menghapus metrik, Anda perlu mengonfigurasi cluster untuk Prometheus dengan salah satu dari dua cara berikut. Memenuhi salah satu ketentuan berikut:

  • Ikuti dokumentasi Prometheus guna mengonfigurasi cluster Anda untuk scraping, atau

  • Gunakan Operator Prometheus bersama dengan manifes berikut, yang melakukan scraping semua metrik Config Sync setiap 10 detik.

    1. Buat direktori sementara untuk menyimpan file manifes.

      mkdir config-sync-monitor
cd config-sync-monitor

    2. Download manifes Operator Prometheus dari repositori repositori CoreOS, menggunakan perintah curl:

      curl -o bundle.yaml https://raw.githubusercontent.com/coreos/prometheus-operator/master/bundle.yaml

      Manifes ini dikonfigurasi untuk menggunakan namespace default, yang tidak direkomendasikan. Langkah berikutnya akan mengubah konfigurasi untuk menggunakan namespace yang disebut monitoring sebagai gantinya. Untuk menggunakan namespace yang berbeda, ganti nama saat Anda melihat monitoring di langkah lainnya.

    3. Buat file untuk memperbarui namespace ClusterRoleBinding pada paket di atas.

      # patch-crb.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: prometheus-operator
subjects:
- kind: ServiceAccount
  name: prometheus-operator
  namespace: monitoring # we are patching from default namespace

    4. Buat file kustomization.yaml yang menerapkan patch dan mengubah namespace untuk resource lain dalam manifes.

      # kustomization.yaml
resources:
- bundle.yaml

namespace: monitoring

patchesStrategicMerge:
- patch-crb.yaml

    5. Buat namespace monitoring jika belum ada. Anda dapat menggunakan nama yang berbeda untuk namespace. Namun, jika Anda melakukannya, ubah juga nilai namespace dalam manifes YAML dari langkah sebelumnya.

      kubectl create namespace monitoring

    6. Terapkan manifes Kustomize menggunakan perintah berikut:

      kubectl apply -k .

until kubectl get customresourcedefinitions servicemonitors.monitoring.coreos.com ; \
do date; sleep 1; echo ""; done

      Perintah kedua melakukan pemblokiran hingga CRD tersedia di cluster.

    7. Buat manifes untuk resource yang diperlukan untuk mengonfigurasi server Prometheus yang menyalin metrik dari Config Sync.

      # config-sync-monitoring.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: prometheus-config-sync
  namespace: monitoring
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus-config-sync
rules:
- apiGroups: [""]
  resources:
  - nodes
  - services
  - endpoints
  - pods
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources:
  - configmaps
  verbs: ["get"]
- nonResourceURLs: ["/metrics"]
  verbs: ["get"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: prometheus-config-sync
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: prometheus-config-sync
subjects:
- kind: ServiceAccount
  name: prometheus-config-sync
  namespace: monitoring
---
apiVersion: monitoring.coreos.com/v1
kind: Prometheus
metadata:
  name: config-sync
  namespace: monitoring
  labels:
    prometheus: config-sync
spec:
  replicas: 2
  serviceAccountName: prometheus-config-sync
  serviceMonitorSelector:
    matchLabels:
      prometheus: config-management
  alerting:
    alertmanagers:
    - namespace: default
      name: alertmanager
      port: web
  resources:
    requests:
      memory: 400Mi
---
apiVersion: v1
kind: Service
metadata:
  name: prometheus-config-sync
  namespace: monitoring
  labels:
    prometheus: config-sync
spec:
  type: NodePort
  ports:
  - name: web
    nodePort: 31900
    port: 9190
    protocol: TCP
    targetPort: web
  selector:
    prometheus: config-sync
--- 
---

    8. Terapkan manifes menggunakan perintah berikut:

      kubectl apply -f config-sync.yaml

until kubectl rollout status statefulset/prometheus-config-sync -n monitoring; \
do sleep 1; done

      Perintah kedua melakukan pemblokiran hingga Pod berjalan.

    9. Anda dapat memverifikasi penginstalan dengan meneruskan port web server Prometheus ke komputer lokal Anda.

      kubectl -n monitoring port-forward svc/prometheus-config-sync 9190

      Anda kini dapat mengakses UI web Prometheus di http://localhost:9190.

    10. Hapus direktori sementara.

      cd ..
rm -rf config-sync-monitor

Metrik Prometheus yang tersedia

Config Sync mengumpulkan metrik berikut dan menyediakannya untuk Prometheus. Kolom Label mencantumkan semua label yang berlaku untuk setiap metrik. Metrik tanpa label merepresentasikan satu pengukuran dari waktu ke waktu, sedangkan metrik dengan label merepresentasikan beberapa pengukuran, satu untuk setiap kombinasi nilai label.

Jika tabel ini menjadi tidak sinkron, Anda dapat memfilter metrik berdasarkan awalan di antarmuka pengguna Prometheus. Semua metrik dimulai dengan awalan config_sync_.

Nama Jenis Label Deskripsi
config_sync_api_duration_seconds_bucket Histogram status, operasi Distribusi latensi panggilan server API (didistribusikan ke dalam bucket berdasarkan durasi setiap siklus)
config_sync_api_duration_seconds_count Histogram status, operasi Distribusi latensi panggilan server API (mengabaikan durasi)
config_sync_api_duration_seconds_sum Histogram status, operasi Jumlah durasi semua panggilan server API
config_sync_apply_duration_seconds_bucket Histogram commit, status Distribusi latensi saat menerapkan resource yang dideklarasikan dari sumber tepercaya ke cluster (didistribusikan ke dalam bucket berdasarkan durasi setiap siklus)
config_sync_apply_duration_seconds_count Histogram commit, status Distribusi latensi saat menerapkan resource yang dideklarasikan dari sumber tepercaya ke cluster (mengabaikan durasi)
config_sync_apply_duration_seconds_sum Histogram commit, status Jumlah durasi semua latensi penerapan resource yang dideklarasikan dari sumber tepercaya ke cluster
config_sync_apply_operations_total Penghitung operasi, status, pengontrol Jumlah operasi yang telah dilakukan untuk menyinkronkan resource dari sumber tepercaya ke cluster
config_sync_cluster_scoped_resource_count Meteran grup resource Jumlah resource cakupan cluster di ResourceGroup
config_sync_crd_count Meteran grup resource Jumlah CRD di ResourceGroup
config_sync_declared_resources Meteran commit Jumlah resource yang dideklarasikan yang diuraikan dari Git
config_sync_internal_errors_total Penghitung sumber Jumlah error internal yang dipicu oleh Config Sync. Metrik mungkin tidak muncul jika tidak ada error internal yang terjadi
config_sync_kcc_resource_count Meteran grup resource Jumlah resource Config Connector di ResourceGroup
config_sync_last_apply_timestamp Meteran commit, status Stempel waktu operasi penerapan terbaru
config_sync_last_sync_timestamp Meteran commit, status Stempel waktu sinkronisasi terbaru dari Git
config_sync_parser_duration_seconds_bucket Histogram status, pemicu, sumber Distribusi latensi berbagai tahap yang terlibat dalam sinkronisasi dari sumber kebenaran ke cluster
config_sync_parser_duration_seconds_count Histogram status, pemicu, sumber Distribusi latensi berbagai tahap yang terlibat dalam sinkronisasi dari sumber kebenaran ke cluster (mengabaikan durasi)
config_sync_parser_duration_seconds_sum Histogram status, pemicu, sumber Jumlah latensi dari berbagai tahap yang terlibat dalam sinkronisasi dari sumber tepercaya ke cluster
config_sync_pipeline_error_observed Meteran nama, rekonsiliasi, komponen Status resource kustom RootSync dan RepoSync. Nilai 1 menunjukkan kegagalan
config_sync_ready_resource_count Meteran grup resource Jumlah total resource yang siap di ResourceGroup
config_sync_reconcile_duration_seconds_bucket Histogram status Distribusi latensi peristiwa rekonsiliasi yang ditangani oleh manajer rekonsiler (didistribusikan ke dalam bucket berdasarkan durasi setiap panggilan)
config_sync_reconcile_duration_seconds_count Histogram status Distribusi latensi peristiwa rekonsiliasi yang ditangani oleh manajer rekonsiler (mengabaikan durasi)
config_sync_reconcile_duration_seconds_sum Histogram status Jumlah durasi semua latensi peristiwa rekonsiliasi yang ditangani oleh manajer rekonsiler
config_sync_reconciler_errors Meteran komponen, {i>errorclass<i} Jumlah error yang terjadi saat menyinkronkan resource dari sumber tepercaya ke cluster
config_sync_remediate_duration_seconds_bucket Histogram status Distribusi latensi peristiwa rekonsiliasi remediator (didistribusikan ke dalam bucket berdasarkan durasi)
config_sync_remediate_duration_seconds_count Histogram status Distribusi latensi peristiwa rekonsiliasi remediator (mengabaikan durasi)
config_sync_remediate_duration_seconds_sum Histogram status Jumlah durasi semua latensi peristiwa rekonsiliasi remediator
config_sync_resource_count Meteran grup resource Jumlah resource yang dilacak oleh ResourceGroup
config_sync_resource_conflicts_total Penghitung commit Jumlah konflik resource yang diakibatkan oleh ketidakcocokan antara resource cluster dan resource yang di-cache. Metrik mungkin tidak muncul jika tidak ada konflik resource yang terjadi
config_sync_resource_fights_total Penghitung Jumlah resource yang terlalu sering disinkronkan. Metrik mungkin tidak muncul jika tidak ada pertarungan resource yang terjadi
config_sync_resource_group_total Meteran Jumlah CR ResourceGroup
config_sync_resource_ns_count Meteran grup resource Jumlah namespace yang digunakan oleh resource di ResourceGroup
config_sync_rg_reconcile_duration_seconds_bucket. Histogram Stallreason Distribusi waktu untuk merekonsiliasi CR ResourceGroup (didistribusikan ke dalam bucket berdasarkan durasi)
config_sync_rg_reconcile_duration_seconds_count Histogram Stallreason Distribusi waktu untuk merekonsiliasi CR ResourceGroup (mengabaikan durasi)
config_sync_rg_reconcile_duration_seconds_sum Histogram Stallreason Jumlah sepanjang waktu yang merekonsiliasi CR ResourceGroup
config_sync_kustomize_build_latency_bucket Histogram Distribusi latensi waktu eksekusi kustomize build (didistribusikan ke dalam bucket berdasarkan durasi setiap operasi)
config_sync_kustomize_build_latency_count Histogram Distribusi latensi waktu eksekusi kustomize build (mengabaikan durasi)
config_sync_kustomize_build_latency_sum Histogram Jumlah seluruh waktu eksekusi kustomize build
config_sync_kustomize_ordered_top_tier_metrics Meteran top_tier_field Penggunaan Resource, Generator, SecretGenerator, ConfigMapGenerator, Transformer, dan Validator
config_sync_kustomize_builtin_transformers Meteran k8s_builtin_transformer Penggunaan transformer bawaan yang terkait dengan metadata objek kubernetes
config_sync_kustomize_resource_count Meteran Jumlah resource yang dihasilkan oleh kustomize build
config_sync_kustomize_field_count Meteran field_name Frekuensi penggunaan kolom tertentu dalam file kustomisasi
config_sync_kustomize_patch_count Meteran patch_field Jumlah patch di kolom patches, patchesStrategicMerge, dan patchesJson6902
config_sync_kustomize_base_count Meteran base_source Jumlah pangkalan jarak jauh dan lokal
kustomize_deprecating_field_count Meteran deprecating_field Penggunaan kolom yang mungkin tidak digunakan lagi
kustomize_simplification_adoption_count Meteran simplification_field Penggunaan gambar, replika, dan penggantian transformator penyederhanaan
kustomize_helm_inflator_count Meteran helm_inflator Penggunaan helm secara kustomisasi, baik berdasarkan kolom bawaan atau fungsi kustom

Contoh prosedur proses debug untuk Prometheus

Contoh berikut mengilustrasikan beberapa pola penggunaan metrik Prometheus, kolom status objek, dan anotasi objek untuk mendeteksi dan mendiagnosis masalah yang terkait dengan Config Sync. Contoh-contoh ini menunjukkan cara memulai dengan pemantauan tingkat tinggi yang mendeteksi masalah, lalu secara bertahap menyaring penelusuran untuk melihat perincian dan mendiagnosis akar penyebab masalah.

Konfigurasi kueri berdasarkan status

Proses reconciler memberikan metrik tingkat tinggi yang memberikan insight berguna tentang gambaran keseluruhan tentang cara kerja Config Sync di cluster. Anda dapat melihat apakah terjadi error, dan bahkan dapat menyiapkan pemberitahuan untuk error tersebut.

config_sync_reconciler_errors

Mengkueri metrik dengan rekonsiler

Jika menggunakan Config Sync RootSync dan API RepoSync, Anda dapat memantau objek RootSync dan RepoSync. Objek RootSync dan RepoSync diinstrumentasi dengan metrik tingkat tinggi yang memberi Anda insight berguna tentang cara kerja Config Sync di cluster. Hampir semua metrik diberi tag dengan nama rekonsiler, sehingga Anda dapat melihat apakah terjadi error dan dapat menyiapkan pemberitahuan untuk metrik tersebut di Prometheus.

Lihat daftar lengkap label metrik yang tersedia untuk pemfilteran.

Di Prometheus, Anda dapat menggunakan filter berikut untuk RootSyncs atau RepoSyncs:

# Querying RootSync
config_sync_reconciler_errors{configsync_sync_name=ROOT_SYNC_NAME}

# Querying RepoSync
config_sync_reconciler_errors{configsync_sync_name=REPO_SYNC_NAME}

Operasi impor dan sinkronisasi kueri menurut status

Di Prometheus, Anda dapat menggunakan kueri berikut:

# Check for errors that occurred when sourcing configs.
config_sync_reconciler_errors{component="source"}

# Check for errors that occurred when syncing configs to the cluster.
config_sync_reconciler_errors{component="sync"}

Anda juga dapat memeriksa metrik untuk proses sumber dan sinkronisasi itu sendiri:

config_sync_parser_duration_seconds{status="error"}
config_sync_apply_duration_seconds{status="error"}
config_sync_remediate_duration_seconds{status="error"}

Memantau resource dengan Google Cloud Managed Service for Prometheus

Google Cloud Managed Service for Prometheus adalah solusi multi-cloud Google Cloud yang terkelola sepenuhnya untuk metrik Prometheus. Solusi ini mendukung dua mode pengumpulan data: pengumpulan terkelola (mode yang direkomendasikan) atau pengumpulan data yang di-deploy sendiri. Selesaikan langkah-langkah berikut untuk menyiapkan pemantauan Config Sync dengan Google Cloud Managed Service for Prometheus dalam mode koleksi terkelola.

  1. Aktifkan Managed Prometheus di cluster Anda dengan mengikuti petunjuk pada artikel Menyiapkan koleksi terkelola.

  2. Simpan manifes contoh berikut sebagai pod-monitoring-config-sync-monitoring.yaml. Manifes ini mengonfigurasi resource PodMonitoring untuk menyalin metrik Config Sync pada port 8675 Pod otel-collector-* pada namespace config-management-monitoring. Resource PodMonitoring menggunakan pemilih label Kubernetes untuk menemukan Pod otel-collector-*.

    apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: config-sync-monitoring
  namespace: config-management-monitoring
spec:
  selector:
    matchLabels:
      app: opentelemetry
      component: otel-collector
  endpoints:
  - port: 8675
    interval: 10s

  3. Terapkan manifes ke cluster: 

    kubectl apply -f pod-monitoring-config-sync-monitoring.yaml

  4. Pastikan data Prometheus Anda diekspor menggunakan halaman Cloud Monitoring Metrics Explorer di Konsol Google Cloud dengan mengikuti petunjuk tentang Google Cloud Managed Service for Prometheus data di Cloud Monitoring.