Memecahkan masalah server Kubernetes API

Halaman ini menunjukkan cara menyelesaikan masalah pada server Kubernetes API (kube-apiserver) untuk Google Distributed Cloud Virtual for VMware.

Jika Anda memerlukan bantuan lainnya, hubungi Cloud Customer Care.

Waktu tunggu webhook dan panggilan webhook gagal

Error ini dapat dilihat dalam beberapa cara yang berbeda. Jika Anda mengalami salah satu gejala berikut, mungkin panggilan webhook akan gagal:

  • Koneksi ditolak: Jika kube-apiserver melaporkan error waktu tunggu habis untuk memanggil webhook, error berikut akan dilaporkan di log:

    failed calling webhook "server.system.private.gdc.goog":
failed to call webhook: Post "https://root-admin-webhook.gpc-system.svc:443/mutate-system-private-gdc-goog-v1alpha1-server?timeout=10s":
dial tcp 10.202.1.18:443: connect: connection refused

  • Batas waktu konteks terlampaui: Anda mungkin juga melihat error berikut yang dilaporkan di log:

    failed calling webhook "namespaces.hnc.x-k8s.io": failed to call webhook: Post
"https://hnc-webhook-service.hnc-system.svc:443/validate-v1-namespace?timeout=10s\":
context deadline exceeded"

Jika Anda merasa mengalami waktu tunggu webhook atau panggilan webhook gagal, gunakan salah satu metode berikut untuk mengonfirmasi masalah tersebut:

  • Periksa log server API untuk melihat apakah ada masalah jaringan.

    • Periksa log untuk menemukan error terkait jaringan seperti TLS handshake error.
    • Periksa apakah IP/Port cocok dengan server API yang dikonfigurasi untuk merespons.

  • Pantau latensi webhook dengan mengikuti langkah-langkah berikut:

    1. Di konsol, buka halaman Cloud Monitoring.

      Buka halaman Cloud Monitoring

    2. Pilih Metrics Explorer.

    3. Pilih metrik apiserver_admission_webhook_admission_duration_seconds.

Untuk mengatasi masalah ini, tinjau saran berikut:

  • Aturan firewall tambahan mungkin diperlukan untuk webhook. Untuk mengetahui informasi selengkapnya, lihat cara menambahkan aturan firewall untuk kasus penggunaan tertentu.

  • Jika webhook memerlukan waktu lebih lama untuk diselesaikan, Anda dapat mengonfigurasi nilai waktu tunggu kustom. Latensi webhook ditambahkan ke latensi permintaan API, sehingga harus dievaluasi secepat mungkin.

  • Jika error webhook memblokir ketersediaan cluster atau webhook tidak berbahaya untuk dihapus dan mengurangi situasi, periksa apakah dapat menetapkan failurePolicy ke Ignore untuk sementara atau menghapus webhook yang melanggar.

Kegagalan panggilan atau latensi server API

Error ini dapat dilihat dalam beberapa cara:

  • Error resolusi nama eksternal: Klien eksternal mungkin menampilkan error yang berisi lookup dalam pesan, seperti:

    dial tcp: lookup kubernetes.example.com on 127.0.0.1:53: no such host

    Error ini tidak berlaku untuk klien yang berjalan di dalam cluster. IP Layanan Kubernetes dimasukkan, sehingga tidak diperlukan resolusi.

  • Error jaringan: Klien mungkin mencetak error jaringan umum saat mencoba menghubungi server API, seperti contoh berikut:

    dial tcp 10.96.0.1:443: connect: no route to host
dial tcp 10.96.0.1:443: connect: connection refused
dial tcp 10.96.0.1:443: connect: i/o timeout

  • Latensi tinggi terhubung ke server API: Koneksi ke server API mungkin berhasil, tetapi waktu tunggu permintaan pada sisi klien telah habis. Dalam skenario ini, klien biasanya mencetak pesan error yang berisi context deadline exceeded.

Jika koneksi ke server API gagal sepenuhnya, cobalah koneksi dalam lingkungan yang sama tempat klien melaporkan error. Container ephemeral Kubernetes dapat digunakan untuk memasukkan container proses debug ke namespace yang ada sebagai berikut:

  1. Dari tempat klien yang bermasalah berjalan, gunakan kubectl untuk melakukan permintaan dengan panjang yang tinggi. Misalnya, permintaan GET ke /healthz biasanya tidak memerlukan autentikasi:

    kubectl get -v999 --raw /healthz

  2. Jika permintaan gagal atau kubectl tidak tersedia, Anda bisa mendapatkan URL dari output dan melakukan permintaan secara manual dengan curl. Misalnya, jika host layanan yang diperoleh dari output sebelumnya adalah https://192.0.2.1:36917/, Anda dapat mengirim permintaan serupa sebagai berikut:

    # Replace "--ca-cert /path/to/ca.pem" to "--insecure" if you are accessing
# a local cluster and you trust the connection cannot be tampered.
# The output is always "ok" and thus contains no sensentive information.

curl -v --cacert /path/to/ca.pem https://192.0.2.1:36917/healthz

    Output dari perintah ini biasanya menunjukkan penyebab utama koneksi yang gagal.

    Jika koneksi berhasil, tetapi lambat atau waktunya habis, hal ini menunjukkan server API yang kelebihan muatan. Untuk mengonfirmasi, di konsol, lihat API Server Request Rate dan metrik latensi permintaan di Cloud Kubernetes > Anthos > Cluster > K8s Control Plane.

Untuk mengatasi kegagalan koneksi atau masalah latensi ini, tinjau opsi perbaikan berikut:

  • Jika terjadi error jaringan dalam cluster, mungkin ada masalah dengan plugin Container Network Interface (CNI). Masalah ini biasanya bersifat sementara dan teratasi dengan sendirinya setelah pembuatan ulang Pod atau penjadwalan ulang.

  • Jika error jaringan berasal dari luar cluster, periksa apakah klien dikonfigurasi dengan benar untuk mengakses cluster, atau buat konfigurasi klien lagi. Jika koneksi melalui proxy atau gateway, periksa apakah koneksi lain yang melalui mekanisme yang sama berfungsi.

  • Jika server API kelebihan beban, biasanya itu berarti banyak klien yang mengakses server API secara bersamaan. Satu klien tidak dapat membebani server API karena throttling dan fitur Priority and Fairness. Tinjau beban kerja untuk area berikut:

    • Berfungsi di level Pod. Lebih umum terjadi kesalahan yang membuat dan melupakan Pod daripada resource dengan level lebih tinggi.
    • Sesuaikan jumlah replika melalui penghitungan yang salah.
    • Webhook yang melakukan loop kembali permintaan ke dirinya sendiri atau memperkuat beban dengan membuat lebih banyak permintaan daripada yang ditangani.

Langkah selanjutnya

Jika Anda memerlukan bantuan lainnya, hubungi Cloud Customer Care.