Memecahkan masalah pengelola pengontrol Kubernetes

Halaman ini menunjukkan cara menyelesaikan masalah dengan pengelola pengontrol Kubernetes (kube-controller-manager) untuk Google Distributed Cloud.

Jika Anda memerlukan bantuan tambahan, hubungi Cloud Customer Care.

Pemilihan pemimpin gagal

Error ini mungkin diamati di cluster regional atau bidang kontrol yang direplikasi saat kube-controller-manager (KCM) dimulai ulang secara tidak terduga. Mulai ulang ini mungkin melibatkan penghentian itu sendiri atau dimulai ulang oleh kubelet. Log KCM mungkin menyertakan pesan leaderelection lost.

Skenario ini dapat terjadi saat pemimpin memeriksa apakah masih aktif memimpin sebagai bagian dari health check KCM.

Jika pemimpin tidak lagi memimpin atau pemeriksaan sewa gagal, health check akan melaporkan bahwa node tidak responsif, dan pemimpin akan dimulai ulang.

Status pemilihan pemimpin dapat diambil dengan mendapatkan resource Lease dari grup coordination.k8s.io:

  1. Untuk melihat semua sewa, jalankan perintah kubectl berikut:

    kubectl -n kube-system get lease
    
  2. Untuk memeriksa status sewa tertentu, seperti lease/kube-controller-manager, gunakan perintah kubectl describe berikut:

    kubectl -n kube-system describe lease/kube-controller-manager
    

    Di bagian Events, periksa peristiwa LeaderElection. Tinjau siapa yang mengambil kepemimpinan dan kapan hal itu terjadi. Contoh output berikut menunjukkan bahwa saat node pertama dimatikan secara manual, node kedua akan langsung mengambil alih kepemimpinan:

    Events:
      Type    Reason          Age    From                     Message
      ----    ------          ----   ----                     -------
      Normal  LeaderElection  26m    kube-controller-manager  control-plane_056a86ec-84c5-48b8-b58d-86f3fde2ecdd became leader
      Normal  LeaderElection  5m20s  kube-controller-manager  control-plane2_b0475d49-7010-4f03-8a9d-34f82ed60cd4 became leader
    

    Anda juga dapat mengamati proses kehilangan dan mendapatkan kepemimpinan dengan menggunakan metrik kubernetes.io/anthos/leader_election_master_status yang dikelompokkan menurut name.

Proses pemilihan pemimpin hanya terjadi jika pemimpin saat ini gagal. Anda dapat mengonfirmasi kegagalan dengan melihat metrik kubernetes.io/anthos/container/uptime dan kubernetes.io/anthos/container/restart_count yang difilter berdasarkan container_name dari kube-controller-manager.

Jika Anda mengalami masalah proses pemilihan pemimpin yang berulang kali berjalan atau gagal, tinjau pertimbangan perbaikan berikut:

  • Jika KCM dimulai ulang setiap beberapa menit atau kurang, periksa log KCM untuk menemukan permintaan yang gagal ke server API. Permintaan yang gagal menunjukkan masalah konektivitas antara komponen atau bagian layanan yang kelebihan beban.
  • Jika pengelola pengontrol gagal berkomunikasi dengan server API terlalu lama, perpanjangan akan gagal dan instance KCM akan kehilangan kepemimpinannya, meskipun koneksi dipulihkan nanti.
  • Jika bidang kontrol direplikasi, pemimpin baru akan mengambil alih dengan lancar tanpa periode nonaktif. Anda tidak perlu melakukan tindakan apa pun. Bidang kontrol cluster multi-cloud atau regional selalu direplikasi. Jangan mencoba menonaktifkan pemilihan leader untuk bidang kontrol yang direplikasi. Anda tidak dapat mengaktifkan kembali pemilihan pemimpin tanpa periode nonaktif.

Langkah berikutnya

Jika Anda memerlukan bantuan tambahan, hubungi Cloud Customer Care.