Halaman ini menunjukkan cara menyelesaikan masalah terkait metrik sistem di cluster Google Kubernetes Engine (GKE).
Jika Anda memerlukan bantuan tambahan, hubungi Cloud Customer Care.Metrik dari cluster Anda tidak muncul di Cloud Monitoring
Pastikan Anda telah mengaktifkan Monitoring API dan Logging API di project Anda. Anda juga harus mengonfirmasi bahwa Anda dapat melihat project di ringkasan Cloud Monitoring di konsol Google Cloud.
Jika masalah berlanjut, periksa kemungkinan penyebab berikut:
Sudahkah Anda mengaktifkan pemantauan di cluster?
Monitoring diaktifkan secara default untuk cluster yang dibuat dari Konsol Google Cloud dan dari Google Cloud CLI. Namun, Anda dapat memastikannya dengan mengklik detail cluster di Konsol Google Cloud dengan menjalankan perintah berikut:
gcloud container clusters describe CLUSTER_NAME
Output dari perintah ini harus menyertakan
SYSTEM_COMPONENTS
dalam daftarenableComponents
di bagianmonitoringConfig
, mirip dengan contoh berikut:monitoringConfig: componentConfig: enableComponents: - SYSTEM_COMPONENTS
Jika pemantauan tidak diaktifkan, jalankan perintah berikut untuk mengaktifkannya:
gcloud container clusters update CLUSTER_NAME --monitoring=SYSTEM
Sudah berapa lama sejak cluster Anda dibuat atau pemantauannya diaktifkan?
Diperlukan waktu hingga satu jam agar metrik cluster baru mulai muncul di Cloud Monitoring.
Apakah
heapster
ataugke-metrics-agent
(OpenTelemetry Collector) berjalan di cluster Anda di namespacekube-system
?Pod ini mungkin gagal menjadwalkan workload karena cluster Anda hampir kehabisan resource. Periksa apakah Heapster atau OpenTelemetry berjalan dengan menjalankan
kubectl get pods --namespace=kube-system
dan memeriksa Pod denganheapster
ataugke-metrics-agent
dalam namanya.Apakah panel kontrol cluster Anda dapat berkomunikasi dengan node?
Cloud Monitoring mengandalkan komunikasi tersebut. Anda dapat memeriksa apakah panel kontrol berkomunikasi dengan node dengan menjalankan perintah berikut:
kubectl logs POD_NAME
Jika perintah ini menampilkan error, penyebabnya masalahnya mungkin adalah tunnel SSH. Untuk mengetahui langkah-langkah pemecahan masalah, lihat Memecahkan masalah SSH.
Mengidentifikasi dan memperbaiki masalah izin untuk menulis metrik
GKE menggunakan akun layanan IAM yang dilampirkan ke node Anda untuk
menjalankan tugas sistem seperti logging dan pemantauan. Setidaknya, akun layanan node ini
harus memiliki
peran Akun Layanan Node Default Kubernetes Engine
(roles/container.defaultNodeServiceAccount
) di project Anda. Secara default, GKE menggunakan akun layanan default Compute Engine, yang dibuat secara otomatis di project Anda, sebagai akun layanan node.
Jika organisasi Anda menerapkan batasan kebijakan organisasi iam.automaticIamGrantsForDefaultServiceAccounts
, akun layanan Compute Engine default di project Anda mungkin tidak otomatis mendapatkan izin yang diperlukan untuk GKE.
Untuk mengidentifikasi masalah, periksa error
401
dalam beban kerja pemantauan sistem di cluster Anda:[[ $(kubectl logs -l k8s-app=gke-metrics-agent -n kube-system -c gke-metrics-agent | grep -cw "Received 401") -gt 0 ]] && echo "true" || echo "false"
Jika outputnya adalah
true
, berarti beban kerja sistem mengalami error 401, yang menunjukkan kurangnya izin. Jika outputnya adalahfalse
, lewati langkah-langkah lainnya dan coba prosedur pemecahan masalah yang berbeda.
Untuk memberikan peran roles/container.defaultNodeServiceAccount
ke akun layanan default Compute Engine, selesaikan langkah-langkah berikut:
console
- Buka halaman Sambutan:
- Di kolom Project number, klik Copy to clipboard.
- Buka halaman IAM:
- Klik Berikan akses.
- Di kolom Akun utama baru, tentukan nilai berikut:
GantiPROJECT_NUMBER-compute@developer.gserviceaccount.com
PROJECT_NUMBER
dengan nomor project yang Anda salin. - Di menu Select a role, pilih peran Kubernetes Engine Default Node Service Account.
- Klik Simpan.
gcloud
- Temukan nomor project Google Cloud Anda:
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"
Ganti
PROJECT_ID
dengan project ID Anda.Outputnya mirip dengan hal berikut ini:
12345678901
- Berikan peran
roles/container.defaultNodeServiceAccount
ke akun layanan default Compute Engine:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \ --role="roles/container.defaultNodeServiceAccount"
Ganti
PROJECT_NUMBER
dengan nomor project dari langkah sebelumnya.
Pastikan agen metrik memiliki memori yang memadai
Jika Anda telah mencoba langkah-langkah pemecahan masalah sebelumnya dan metrik masih tidak muncul, agen metrik mungkin tidak memiliki memori yang memadai.
Dalam sebagian besar kasus, alokasi resource default ke agen metrik GKE sudah memadai. Namun, jika DaemonSet mengalami error berulang kali, Anda dapat memeriksa alasan penghentian dengan petunjuk berikut:
Dapatkan nama Pod agen metrik GKE:
kubectl get pods -n kube-system -l component=gke-metrics-agent
Temukan Pod dengan status
CrashLoopBackOff
.Outputnya mirip dengan hal berikut ini:
NAME READY STATUS RESTARTS AGE gke-metrics-agent-5857x 0/1 CrashLoopBackOff 6 12m
Deskripsikan Pod yang memiliki status
CrashLoopBackOff
:kubectl describe pod POD_NAME -n kube-system
Ganti
POD_NAME
dengan nama Pod dari langkah sebelumnya.Jika alasan penghentian Pod adalah
OOMKilled
, agen memerlukan memori tambahan.Outputnya mirip dengan hal berikut ini:
containerStatuses: ... lastState: terminated: ... exitCode: 1 finishedAt: "2021-11-22T23:36:32Z" reason: OOMKilled startedAt: "2021-11-22T23:35:54Z"
Tambahkan label node ke node dengan agen metrik yang gagal. Anda dapat menggunakan label node persisten atau sementara. Sebaiknya coba tambahkan 20 MB tambahan. Jika agen terus mengalami error, Anda dapat menjalankan perintah ini lagi, dengan mengganti label node dengan label yang meminta jumlah memori tambahan yang lebih tinggi.
Untuk mengupdate node pool dengan label persisten, jalankan perintah berikut:
gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --node-labels=ADDITIONAL_MEMORY_NODE_LABEL \ --location=COMPUTE_LOCATION
Ganti kode berikut:
NODEPOOL_NAME
: nama node pool.CLUSTER_NAME
: nama cluster yang ada.ADDITIONAL_MEMORY_NODE_LABEL
: salah satu label node memori tambahan; gunakan salah satu nilai berikut:- Untuk menambahkan 10 MB:
cloud.google.com/gke-metrics-agent-scaling-level=10
- Untuk menambahkan 20 MB:
cloud.google.com/gke-metrics-agent-scaling-level=20
- Untuk menambahkan 50 MB:
cloud.google.com/gke-metrics-agent-scaling-level=50
- Untuk menambahkan 100 MB:
cloud.google.com/gke-metrics-agent-scaling-level=100
- Untuk menambahkan 200 MB:
cloud.google.com/gke-metrics-agent-scaling-level=200
- Untuk menambahkan 500 MB:
cloud.google.com/gke-metrics-agent-scaling-level=500
- Untuk menambahkan 10 MB:
COMPUTE_LOCATION
: Lokasi Compute Engine cluster.
Atau, Anda dapat menambahkan label node sementara yang tidak akan tetap ada setelah upgrade menggunakan perintah berikut:
kubectl label node/NODE_NAME \ ADDITIONAL_MEMORY_NODE_LABEL --overwrite
Ganti kode berikut:
NODE_NAME
: nama node agen metrik yang terpengaruh.ADDITIONAL_MEMORY_NODE_LABEL
: salah satu label node memori tambahan; gunakan salah satu nilai dari contoh sebelumnya.
Langkah selanjutnya
Jika Anda mengalami masalah yang berhubungan dengan agen Cloud Logging, silakan melihat dokumentasi pemecahan masalahnya.
- Jika Anda memerlukan bantuan tambahan, hubungi Cloud Customer Care.