Memecahkan masalah metrik sistem

Halaman ini menunjukkan cara menyelesaikan masalah terkait metrik sistem di cluster Google Kubernetes Engine (GKE).

Metrik dari cluster Anda tidak muncul di Cloud Monitoring

Pastikan Anda telah mengaktifkan Monitoring API dan Logging API di project Anda. Anda juga harus mengonfirmasi bahwa Anda dapat melihat project di ringkasan Cloud Monitoring di konsolGoogle Cloud .

Jika masalah berlanjut, periksa kemungkinan penyebab berikut:

  • Sudahkah Anda mengaktifkan pemantauan di cluster?

    Monitoring diaktifkan secara default untuk cluster yang dibuat dari konsol Google Cloud dan dari Google Cloud CLI. Namun, Anda dapat memastikannya dengan mengklik detail cluster di konsol Google Cloud atau menjalankan perintah berikut:

    gcloud container clusters describe CLUSTER_NAME

    Output dari perintah ini harus menyertakan SYSTEM_COMPONENTS dalam daftar enableComponents di bagian monitoringConfig, mirip dengan contoh berikut:

    monitoringConfig:
  componentConfig:
    enableComponents:
    - SYSTEM_COMPONENTS

    Jika pemantauan tidak diaktifkan, jalankan perintah berikut untuk mengaktifkannya:

    gcloud container clusters update CLUSTER_NAME --monitoring=SYSTEM

  • Sudah berapa lama sejak cluster Anda dibuat atau pemantauannya diaktifkan?

    Diperlukan waktu hingga satu jam agar metrik cluster baru mulai muncul di Cloud Monitoring.

  • Apakah heapster atau gke-metrics-agent (OpenTelemetry Collector) berjalan di cluster Anda di namespace kube-system?

    Pod ini mungkin gagal menjadwalkan workload karena cluster Anda hampir kehabisan resource. Periksa apakah Heapster atau OpenTelemetry sedang berjalan dengan menjalankan kubectl get pods --namespace=kube-system dan memeriksa Pod dengan heapster atau gke-metrics-agent dalam namanya.

  • Apakah bidang kontrol cluster Anda dapat berkomunikasi dengan node?

    Cloud Monitoring mengandalkan komunikasi tersebut. Anda dapat memeriksa apakah bidang kontrol berkomunikasi dengan node dengan menjalankan perintah berikut:

    kubectl logs POD_NAME

    Jika perintah ini menampilkan error, penyebabnya masalahnya mungkin adalah tunnel SSH. Untuk mengetahui langkah-langkah pemecahan masalah, lihat Memecahkan masalah SSH.

Mengidentifikasi dan memperbaiki masalah izin untuk menulis metrik

GKE menggunakan akun layanan IAM yang terlampir ke node Anda untuk menjalankan tugas sistem seperti logging dan pemantauan. Setidaknya, akun layanan node ini harus memiliki peran Kubernetes Engine Default Node Service Account (roles/container.defaultNodeServiceAccount) di project Anda. Secara default, GKE menggunakan akun layanan default Compute Engine, yang otomatis dibuat di project Anda, sebagai akun layanan node.

Jika organisasi Anda menerapkan batasan kebijakan organisasi iam.automaticIamGrantsForDefaultServiceAccounts, akun layanan Compute Engine default di project Anda mungkin tidak otomatis mendapatkan izin yang diperlukan untuk GKE.

  • Untuk mengidentifikasi masalah, periksa error 401 di beban kerja pemantauan sistem di cluster Anda:

    [[ $(kubectl logs -l k8s-app=gke-metrics-agent -n kube-system -c gke-metrics-agent | grep -cw "Received 401") -gt 0 ]] && echo "true" || echo "false"

    Jika outputnya adalah true, berarti beban kerja sistem mengalami error 401, yang menunjukkan kurangnya izin. Jika outputnya adalah false, lewati langkah-langkah lainnya dan coba prosedur pemecahan masalah yang berbeda.

Untuk memberikan peran roles/container.defaultNodeServiceAccount kepada akun layanan default Compute Engine, selesaikan langkah-langkah berikut:

console

  1. Buka halaman Selamat Datang:

    Buka Selamat Datang

  2. Di kolom Project number, klik Copy to clipboard.
  3. Buka halaman IAM:

    Buka IAM

  4. Klik Grant access.
  5. Di kolom Akun utama baru, tentukan nilai berikut: 
    PROJECT_NUMBER-compute@developer.gserviceaccount.com
     Ganti PROJECT_NUMBER dengan nomor project yang Anda salin.
  6. Di menu Select a role, pilih peran Kubernetes Engine Default Node Service Account.
  7. Klik Simpan.

gcloud

  1. Temukan Google Cloud nomor project Anda: 
    gcloud projects describe PROJECT_ID \
    --format="value(projectNumber)"

    Ganti PROJECT_ID dengan project ID Anda.

    Outputnya mirip dengan hal berikut ini:

    12345678901
  2. Berikan peran roles/container.defaultNodeServiceAccount ke akun layanan default Compute Engine: 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
    --role="roles/container.defaultNodeServiceAccount"

    Ganti PROJECT_NUMBER dengan nomor project dari langkah sebelumnya.

Konfirmasi bahwa agen metrik memiliki memori yang cukup

Jika Anda telah mencoba langkah-langkah pemecahan masalah sebelumnya dan metrik masih tidak muncul, agen metrik mungkin memiliki memori yang tidak mencukupi.

Dalam sebagian besar kasus, alokasi resource default untuk agen metrik GKE sudah cukup. Namun, jika DaemonSet sering mengalami error, Anda dapat memeriksa alasan penghentian dengan petunjuk berikut:

  1. Dapatkan nama Pod agen metrik GKE:

    kubectl get pods -n kube-system -l component=gke-metrics-agent

  2. Temukan Pod dengan status CrashLoopBackOff.

    Outputnya mirip dengan hal berikut ini:

    NAME                    READY STATUS           RESTARTS AGE
gke-metrics-agent-5857x 0/1   CrashLoopBackOff 6        12m

  3. Deskripsikan Pod yang memiliki status CrashLoopBackOff:

    kubectl describe pod POD_NAME -n kube-system

    Ganti POD_NAME dengan nama Pod dari langkah sebelumnya.

    Jika alasan penghentian Pod adalah OOMKilled, agen memerlukan memori tambahan.

    Outputnya mirip dengan hal berikut ini:

      containerStatuses:
  ...
  lastState:
    terminated:
      ...
      exitCode: 1
      finishedAt: "2021-11-22T23:36:32Z"
      reason: OOMKilled
      startedAt: "2021-11-22T23:35:54Z"

  4. Tambahkan label node ke node dengan agen metrik yang gagal. Anda dapat menggunakan label node persisten atau sementara. Sebaiknya coba tambahkan 20 MB lagi. Jika agen terus mengalami error, Anda dapat menjalankan perintah ini lagi, mengganti label node dengan label yang meminta jumlah memori tambahan yang lebih tinggi.

    Untuk memperbarui node pool dengan label persisten, jalankan perintah berikut:

    gcloud container node-pools update NODEPOOL_NAME \
    --cluster=CLUSTER_NAME \
    --node-labels=ADDITIONAL_MEMORY_NODE_LABEL \
    --location=COMPUTE_LOCATION

    Ganti kode berikut:

    • NODEPOOL_NAME: nama node pool.
    • CLUSTER_NAME: nama cluster yang ada.
    • ADDITIONAL_MEMORY_NODE_LABEL: salah satu label node memori tambahan; gunakan salah satu nilai berikut:
      • Untuk menambahkan 10 MB: cloud.google.com/gke-metrics-agent-scaling-level=10
      • Untuk menambahkan 20 MB: cloud.google.com/gke-metrics-agent-scaling-level=20
      • Untuk menambahkan 50 MB: cloud.google.com/gke-metrics-agent-scaling-level=50
      • Untuk menambahkan 100 MB: cloud.google.com/gke-metrics-agent-scaling-level=100
      • Untuk menambahkan 200 MB: cloud.google.com/gke-metrics-agent-scaling-level=200
      • Untuk menambahkan 500 MB: cloud.google.com/gke-metrics-agent-scaling-level=500
    • COMPUTE_LOCATION: lokasi Compute Engine cluster.

    Atau, Anda dapat menambahkan label node sementara yang tidak akan tetap ada setelah upgrade menggunakan perintah berikut:

    kubectl label node/NODE_NAME \
ADDITIONAL_MEMORY_NODE_LABEL --overwrite

    Ganti kode berikut:

    • NODE_NAME: nama node agen metrik yang terpengaruh.
    • ADDITIONAL_MEMORY_NODE_LABEL: salah satu label node memori tambahan; gunakan salah satu nilai dari contoh sebelumnya.

Langkah berikutnya