Memecahkan masalah metrik sistem


Halaman ini menunjukkan cara menyelesaikan masalah terkait metrik sistem di cluster Google Kubernetes Engine (GKE).

Jika Anda memerlukan bantuan tambahan, hubungi Cloud Customer Care.

Metrik dari cluster Anda tidak muncul di Cloud Monitoring

Pastikan Anda telah mengaktifkan Monitoring API dan Logging API di project Anda. Anda juga harus mengonfirmasi bahwa Anda dapat melihat project di ringkasan Cloud Monitoring di konsol Google Cloud.

Jika masalah berlanjut, periksa kemungkinan penyebab berikut:

  • Sudahkah Anda mengaktifkan pemantauan di cluster?

    Monitoring diaktifkan secara default untuk cluster yang dibuat dari Konsol Google Cloud dan dari Google Cloud CLI. Namun, Anda dapat memastikannya dengan mengklik detail cluster di Konsol Google Cloud dengan menjalankan perintah berikut:

    gcloud container clusters describe CLUSTER_NAME
    

    Output dari perintah ini harus menyertakan SYSTEM_COMPONENTS dalam daftar enableComponents di bagian monitoringConfig, mirip dengan contoh berikut:

    monitoringConfig:
      componentConfig:
        enableComponents:
        - SYSTEM_COMPONENTS
    

    Jika pemantauan tidak diaktifkan, jalankan perintah berikut untuk mengaktifkannya:

    gcloud container clusters update CLUSTER_NAME --monitoring=SYSTEM
    
  • Sudah berapa lama sejak cluster Anda dibuat atau pemantauannya diaktifkan?

    Diperlukan waktu hingga satu jam agar metrik cluster baru mulai muncul di Cloud Monitoring.

  • Apakah heapster atau gke-metrics-agent (OpenTelemetry Collector) berjalan di cluster Anda di namespace kube-system?

    Pod ini mungkin gagal menjadwalkan workload karena cluster Anda hampir kehabisan resource. Periksa apakah Heapster atau OpenTelemetry berjalan dengan menjalankan kubectl get pods --namespace=kube-system dan memeriksa Pod dengan heapster atau gke-metrics-agent dalam namanya.

  • Apakah panel kontrol cluster Anda dapat berkomunikasi dengan node?

    Cloud Monitoring mengandalkan komunikasi tersebut. Anda dapat memeriksa apakah panel kontrol berkomunikasi dengan node dengan menjalankan perintah berikut:

    kubectl logs POD_NAME
    

    Jika perintah ini menampilkan error, penyebabnya masalahnya mungkin adalah tunnel SSH. Untuk mengetahui langkah-langkah pemecahan masalah, lihat Memecahkan masalah SSH.

Mengidentifikasi dan memperbaiki masalah izin untuk menulis metrik

GKE menggunakan akun layanan IAM yang dilampirkan ke node Anda untuk menjalankan tugas sistem seperti logging dan pemantauan. Setidaknya, akun layanan node ini harus memiliki peran Akun Layanan Node Default Kubernetes Engine (roles/container.defaultNodeServiceAccount) di project Anda. Secara default, GKE menggunakan akun layanan default Compute Engine, yang dibuat secara otomatis di project Anda, sebagai akun layanan node.

Jika organisasi Anda menerapkan batasan kebijakan organisasi iam.automaticIamGrantsForDefaultServiceAccounts, akun layanan Compute Engine default di project Anda mungkin tidak otomatis mendapatkan izin yang diperlukan untuk GKE.

  • Untuk mengidentifikasi masalah, periksa error 401 dalam beban kerja pemantauan sistem di cluster Anda:

    [[ $(kubectl logs -l k8s-app=gke-metrics-agent -n kube-system -c gke-metrics-agent | grep -cw "Received 401") -gt 0 ]] && echo "true" || echo "false"
    

    Jika outputnya adalah true, berarti beban kerja sistem mengalami error 401, yang menunjukkan kurangnya izin. Jika outputnya adalah false, lewati langkah-langkah lainnya dan coba prosedur pemecahan masalah yang berbeda.

Untuk memberikan peran roles/container.defaultNodeServiceAccount ke akun layanan default Compute Engine, selesaikan langkah-langkah berikut:

console

  1. Buka halaman Sambutan:

    Buka Selamat Datang

  2. Di kolom Project number, klik Copy to clipboard.
  3. Buka halaman IAM:

    Buka IAM

  4. Klik Berikan akses.
  5. Di kolom Akun utama baru, tentukan nilai berikut:
    PROJECT_NUMBER-compute@developer.gserviceaccount.com
    Ganti PROJECT_NUMBER dengan nomor project yang Anda salin.
  6. Di menu Select a role, pilih peran Kubernetes Engine Default Node Service Account.
  7. Klik Simpan.

gcloud

  1. Temukan nomor project Google Cloud Anda:
    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"

    Ganti PROJECT_ID dengan project ID Anda.

    Outputnya mirip dengan hal berikut ini:

    12345678901
    
  2. Berikan peran roles/container.defaultNodeServiceAccount ke akun layanan default Compute Engine:
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
        --role="roles/container.defaultNodeServiceAccount"

    Ganti PROJECT_NUMBER dengan nomor project dari langkah sebelumnya.

Pastikan agen metrik memiliki memori yang memadai

Jika Anda telah mencoba langkah-langkah pemecahan masalah sebelumnya dan metrik masih tidak muncul, agen metrik mungkin tidak memiliki memori yang memadai.

Dalam sebagian besar kasus, alokasi resource default ke agen metrik GKE sudah memadai. Namun, jika DaemonSet mengalami error berulang kali, Anda dapat memeriksa alasan penghentian dengan petunjuk berikut:

  1. Dapatkan nama Pod agen metrik GKE:

    kubectl get pods -n kube-system -l component=gke-metrics-agent
    
  2. Temukan Pod dengan status CrashLoopBackOff.

    Outputnya mirip dengan hal berikut ini:

    NAME                    READY STATUS           RESTARTS AGE
    gke-metrics-agent-5857x 0/1   CrashLoopBackOff 6        12m
    
  3. Deskripsikan Pod yang memiliki status CrashLoopBackOff:

    kubectl describe pod POD_NAME -n kube-system
    

    Ganti POD_NAME dengan nama Pod dari langkah sebelumnya.

    Jika alasan penghentian Pod adalah OOMKilled, agen memerlukan memori tambahan.

    Outputnya mirip dengan hal berikut ini:

      containerStatuses:
      ...
      lastState:
        terminated:
          ...
          exitCode: 1
          finishedAt: "2021-11-22T23:36:32Z"
          reason: OOMKilled
          startedAt: "2021-11-22T23:35:54Z"
    
  4. Tambahkan label node ke node dengan agen metrik yang gagal. Anda dapat menggunakan label node persisten atau sementara. Sebaiknya coba tambahkan 20 MB tambahan. Jika agen terus mengalami error, Anda dapat menjalankan perintah ini lagi, dengan mengganti label node dengan label yang meminta jumlah memori tambahan yang lebih tinggi.

    Untuk mengupdate node pool dengan label persisten, jalankan perintah berikut:

    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --node-labels=ADDITIONAL_MEMORY_NODE_LABEL \
        --location=COMPUTE_LOCATION
    

    Ganti kode berikut:

    • NODEPOOL_NAME: nama node pool.
    • CLUSTER_NAME: nama cluster yang ada.
    • ADDITIONAL_MEMORY_NODE_LABEL: salah satu label node memori tambahan; gunakan salah satu nilai berikut:
      • Untuk menambahkan 10 MB: cloud.google.com/gke-metrics-agent-scaling-level=10
      • Untuk menambahkan 20 MB: cloud.google.com/gke-metrics-agent-scaling-level=20
      • Untuk menambahkan 50 MB: cloud.google.com/gke-metrics-agent-scaling-level=50
      • Untuk menambahkan 100 MB: cloud.google.com/gke-metrics-agent-scaling-level=100
      • Untuk menambahkan 200 MB: cloud.google.com/gke-metrics-agent-scaling-level=200
      • Untuk menambahkan 500 MB: cloud.google.com/gke-metrics-agent-scaling-level=500
    • COMPUTE_LOCATION: Lokasi Compute Engine cluster.

    Atau, Anda dapat menambahkan label node sementara yang tidak akan tetap ada setelah upgrade menggunakan perintah berikut:

    kubectl label node/NODE_NAME \
    ADDITIONAL_MEMORY_NODE_LABEL --overwrite
    

    Ganti kode berikut:

    • NODE_NAME: nama node agen metrik yang terpengaruh.
    • ADDITIONAL_MEMORY_NODE_LABEL: salah satu label node memori tambahan; gunakan salah satu nilai dari contoh sebelumnya.

Langkah selanjutnya