Halaman ini menunjukkan cara menyelesaikan masalah terkait penjadwal Kubernetes (kube-scheduler
) untuk Google Distributed Cloud.
Kubernetes selalu menjadwalkan Pod ke kumpulan node yang sama
Error ini mungkin diamati dengan beberapa cara:
Penggunaan cluster yang tidak seimbang. Anda dapat memeriksa penggunaan cluster untuk setiap Node dengan perintah
kubectl top nodes
. Contoh output yang dilebih-lebihkan berikut menunjukkan penggunaan yang jelas pada Node tertentu:NAME CPU(cores) CPU% MEMORY(bytes) MEMORY% XXX.gke.internal 222m 101% 3237Mi 61% YYY.gke.internal 91m 0% 2217Mi 0% ZZZ.gke.internal 512m 0% 8214Mi 0%
Terlalu banyak permintaan. Jika Anda menjadwalkan banyak Pod sekaligus ke Node yang sama dan Pod tersebut membuat permintaan HTTP, Node mungkin dibatasi kecepatannya. Error umum yang ditampilkan oleh server dalam skenario ini adalah
429 Too Many Requests
.Layanan tidak tersedia. Server web, misalnya, yang dihosting di Node dengan beban tinggi mungkin merespons semua permintaan dengan error
503 Service Unavailable
hingga bebannya lebih ringan.
Untuk memeriksa apakah Anda memiliki Pod yang selalu dijadwalkan ke node yang sama, gunakan langkah-langkah berikut:
Jalankan perintah
kubectl
berikut untuk melihat status Pod:kubectl get pods -o wide -n default
Untuk melihat distribusi Pod di seluruh Node, periksa kolom
NODE
dalam output. Dalam contoh output berikut, semua Pod dijadwalkan di Node yang sama:NAME READY STATUS RESTARTS AGE IP NODE nginx-deployment-84c6674589-cxp55 1/1 Running 0 55s 10.20.152.138 10.128.224.44 nginx-deployment-84c6674589-hzmnn 1/1 Running 0 55s 10.20.155.70 10.128.226.44 nginx-deployment-84c6674589-vq4l2 1/1 Running 0 55s 10.20.225.7 10.128.226.44
Pod memiliki sejumlah fitur yang memungkinkan Anda menyesuaikan perilaku
penjadwalannya. Fitur ini mencakup batasan penyebaran topologi dan aturan anti-afinitas. Anda dapat menggunakan salah satu, atau kombinasi, fitur ini. Persyaratan
yang Anda tentukan digabungkan dengan kube-scheduler
.
Log penjadwal tidak diambil pada tingkat perincian logging default. Jika Anda memerlukan log penjadwal untuk pemecahan masalah, lakukan langkah-langkah berikut untuk mengambil log penjadwal:
Tingkatkan tingkat panjang logging:
Edit Deployment
kube-scheduler
:kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG edit deployment kube-scheduler \ -n USER_CLUSTER_NAMESPACE
Tambahkan tanda
--v=5
di bagianspec.containers.command
:containers: - command: - kube-scheduler - --profiling=false - --kubeconfig=/etc/kubernetes/scheduler.conf - --leader-elect=true - --v=5
Setelah selesai memecahkan masalah, reset tingkat keverbosity kembali ke tingkat default:
Edit Deployment
kube-scheduler
:kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG edit deployment kube-scheduler \ -n USER_CLUSTER_NAMESPACE
Tetapkan tingkat kejelasan kembali ke nilai default:
containers: - command: - kube-scheduler - --profiling=false - --kubeconfig=/etc/kubernetes/scheduler.conf - --leader-elect=true
Batasan penyebaran topologi
Batasan penyebaran topologi
dapat digunakan untuk mendistribusikan Pod secara merata di antara Node sesuai dengan zones
,
regions
, node
, atau topologi kustom lainnya.
Contoh manifes berikut menunjukkan Deployment yang menyebarkan replika secara merata di antara semua Node yang dapat dijadwalkan menggunakan batasan penyebaran topologi:
apiVersion: apps/v1
kind: Deployment
metadata:
name: topology-spread-deployment
labels:
app: myapp
spec:
replicas: 30
selector:
matchLabels:
app: myapp
template:
metadata:
labels:
app: myapp
spec:
topologySpreadConstraints:
- maxSkew: 1 # Default. Spreads evenly. Maximum difference in scheduled Pods per Node.
topologyKey: kubernetes.io/hostname
whenUnsatisfiable: DoNotSchedule # Default. Alternatively can be ScheduleAnyway
labelSelector:
matchLabels:
app: myapp
matchLabelKeys: # beta in 1.27
- pod-template-hash
containers:
# pause is a lightweight container that simply sleeps
- name: pause
image: registry.k8s.io/pause:3.2
Pertimbangan berikut berlaku saat menggunakan batasan penyebaran topologi:
labels.app: myapp
Pod cocok denganlabelSelector
batasan.topologyKey
menentukankubernetes.io/hostname
. Label ini otomatis dilampirkan ke semua Node dan diisi dengan nama host Node.matchLabelKeys
mencegah peluncuran Deployment baru mempertimbangkan Pod dari revisi lama saat menghitung tempat untuk menjadwalkan Pod. Labelpod-template-hash
diisi secara otomatis oleh Deployment.
Anti-afinitas Pod
Anti-afinitas Pod memungkinkan Anda menentukan batasan untuk Pod yang dapat ditempatkan bersama di Node yang sama.
Contoh manifes berikut menunjukkan Deployment yang menggunakan anti-afinitas untuk membatasi replika menjadi satu Pod per Node:
apiVersion: apps/v1
kind: Deployment
metadata:
name: pod-affinity-deployment
labels:
app: myapp
spec:
replicas: 30
selector:
matchLabels:
app: myapp
template:
metadata:
name: with-pod-affinity
labels:
app: myapp
spec:
affinity:
podAntiAffinity:
# requiredDuringSchedulingIgnoredDuringExecution
# prevents Pod from being scheduled on a Node if it
# does not meet criteria.
# Alternatively can use 'preferred' with a weight
# rather than 'required'.
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- myapp
# Your nodes might be configured with other keys
# to use as `topologyKey`. `kubernetes.io/region`
# and `kubernetes.io/zone` are common.
topologyKey: kubernetes.io/hostname
containers:
# pause is a lightweight container that simply sleeps
- name: pause
image: registry.k8s.io/pause:3.2
Contoh Deployment ini menentukan replika 30
, tetapi hanya diperluas ke sebanyak mungkin Node yang tersedia di cluster Anda.
Pertimbangan berikut berlaku saat menggunakan anti-afinitas Pod:
labels.app: myapp
Pod cocok denganlabelSelector
batasan.topologyKey
menentukankubernetes.io/hostname
. Label ini otomatis dilampirkan ke semua Node dan diisi dengan nama host Node. Anda dapat memilih untuk menggunakan label lain jika cluster Anda mendukungnya, sepertiregion
atauzone
.
Image container pra-pull
Jika tidak ada batasan lain, secara default kube-scheduler
lebih memilih untuk
menjadwalkan Pod di Node yang sudah memiliki image container yang didownload ke
node tersebut. Perilaku ini mungkin menarik di cluster yang lebih kecil tanpa konfigurasi
penjadwalan lain yang memungkinkan Anda mendownload image di
setiap Node. Namun, mengandalkan konsep ini harus dilihat sebagai upaya terakhir. Solusi
yang lebih baik adalah menggunakan nodeSelector
, batasan penyebaran topologi, atau
afinitas / anti-afinitas. Untuk mengetahui informasi selengkapnya, lihat
Menetapkan Pod ke Node.
Jika ingin memastikan image container ditarik sebelumnya ke semua Node, Anda
dapat menggunakan DaemonSet
seperti contoh berikut:
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: prepulled-images
spec:
selector:
matchLabels:
name: prepulled-images
template:
metadata:
labels:
name: prepulled-images
spec:
initContainers:
- name: prepulled-image
image: IMAGE
# Use a command the terminates immediately
command: ["sh", "-c", "'true'"]
containers:
# pause is a lightweight container that simply sleeps
- name: pause
image: registry.k8s.io/pause:3.2
Setelah Pod menjadi Running
di semua Node, deploy ulang Pod Anda untuk melihat apakah
penampung sekarang didistribusikan secara merata di seluruh Node.