Questa pagina spiega i limiti e le quote di Cluster Anthos on bare metal 1.11 per progetti, cluster e nodi di Google Cloud.
Limiti
Tieni presente i seguenti limiti e consigli per i tuoi cluster.
Numero massimo di pod per cluster
Ti consigliamo di limitare il numero di pod per cluster a un massimo di 15.000. Ad esempio, se il cluster ha 200 nodi, devi limitare il numero di pod per nodo a 75 o meno. Analogamente, se vuoi eseguire 110 pod per nodo, devi limitare il numero di nodi nel cluster a 136 o meno. La seguente tabella fornisce esempi di configurazioni che sono e non sono consigliate.
| Pod per nodo | Nodi per cluster | Pod per cluster | Risultato |
|---|---|---|---|
| 110 | 200 | 22.000 | Troppi pod, opzione non consigliata |
| 110 | 136 | 14.960 | Entro i limiti |
| 100 | 150 | 15.000 | Entro i limiti |
| 75 | 200 | 15.000 | Entro i limiti |
Il numero massimo di pod per suggerimento di cluster ha la precedenza sui suggerimenti per pod per nodo e nodi per cluster nelle sezioni seguenti.
Numero massimo di nodi per cluster
Testiamo i cluster Anthos su Bare Metal per eseguire carichi di lavoro con un massimo di 500 nodi. Tuttavia, per garantire prestazioni e affidabilità ottimali, consigliamo di non superare i 200 nodi per cluster durante l'esecuzione dei carichi di lavoro in produzione.
| Tipo di cluster | Numero minimo di nodi | Numero massimo consigliato di nodi | Numero massimo assoluto di nodi |
|---|---|---|---|
| Utente, autonomo o ibrido | 1 | 200 | 500 |
Per i cluster a nodo singolo, devi rimuovere l'incompatibilità node-role.kubernetes.io/master:NoSchedule per eseguire carichi di lavoro sul nodo.
Per i dettagli, consulta
Incompatibilità e tolleranze Kubernetes.
Numero massimo di pod per nodo
Cluster Anthos su Bare Metal supporta la configurazione di pod massimi per nodo nell'impostazione nodeConfig.PodDensity.MaxPodsPerNode del file di configurazione del cluster. La seguente tabella mostra i valori minimo e massimo supportati per MaxPodsPerNode, che includono i pod che eseguono servizi aggiuntivi:
| Tipo di cluster | Valore minimo consentito | Valore massimo consigliato | Valore massimo consentito |
|---|---|---|---|
| Tutti i cluster ad alta disponibilità e i cluster utente non ad alta disponibilità | 32 | 110 | 250 |
| Tutti gli altri cluster non ad alta disponibilità | 64 | 110 | 250 |
Numero massimo di endpoint
Su RHEL e CentOS, esiste una limitazione a livello di cluster di 100.000 endpoint.
Questo numero indica la somma di tutti i pod a cui si fa riferimento in un servizio Kubernetes.
Se due servizi fanno riferimento allo stesso insieme di pod, questa situazione viene conteggiata come due insiemi di endpoint separati. L'implementazione nftable sottostante su RHEL e Centos causa questa limitazione; non è una limitazione intrinseca dei cluster Anthos su Bare Metal.
Mitigazione
Per RHEL e CentOS, non ci sono mitigazioni. Per i sistemi Ubuntu e Debian, ti consigliamo di passare dalla versione predefinita iptables alla versione precedente iptables sui cluster su larga scala.
Limite eBPF per Dataplane V2
Il numero massimo di voci nella BPF lbmap per Dataplane V2 è 65.536. Gli aumenti nelle seguenti aree possono causare l'aumento del numero totale di voci:
- Numero di servizi
- Numero di porte per servizio
- Numero di backend per servizio
Ti consigliamo di monitorare il numero effettivo di voci utilizzate dal cluster per assicurarti di non superare il limite. Usa questo comando per ottenere le voci attuali:
kubectl get po -n kube-system -l k8s-app=cilium | cut -d " " -f1 | grep anetd | head -n1 | \
xargs -I % kubectl -n kube-system exec % -- cilium bpf lb list | wc -l
Ti consigliamo inoltre di utilizzare la tua pipeline di monitoraggio per raccogliere le metriche dal DaemonSet anetd. Monitora le seguenti condizioni per identificare quando il numero di voci causa problemi:
cilium_bpf_map_ops_total{map_name="lb4_services_v2",operation="update",outcome="fail" } > 0
cilium_bpf_map_ops_total{map_name="lb4_backends_v2",operation="update",outcome="fail" } > 0
Limite di porta dei servizi LoadBalancer e NodePort
Il limite di porte per i servizi LoadBalancer e NodePort è 2768. L'intervallo di porte predefinito è 30000-32767. Se superi il limite, non potrai creare nuovi servizi LoadBalancer o NodePort e non potrai aggiungere nuove porte nodo per i servizi esistenti.
Utilizza il comando seguente per controllare il numero di porte attualmente assegnate:
kubectl get svc -A | grep : | tr -s ' ' | cut -d ' ' -f6 | tr ',' '\n' | wc -l
Limiti di connessione dei nodi del bilanciatore del carico in bundle
Il numero di connessioni consentite per ogni nodo utilizzato per il bilanciamento del carico in bundle (MetalLB) è 28.000. L'intervallo di porte temporaneo predefinito per queste connessioni è 32768-60999. Se superi il limite di connessioni, le richieste al servizio LoadBalancer potrebbero non riuscire.
Se hai bisogno di esporre un servizio di bilanciamento del carico in grado di gestire un numero considerevole di connessioni (ad esempio per Ingress), ti consigliamo di prendere in considerazione un metodo di bilanciamento del carico alternativo per evitare questa limitazione con MetalLB.
Quote cluster
Puoi registrare un massimo di 15 cluster per impostazione predefinita. Per registrare altri cluster in GKE Hub, puoi inviare una richiesta per aumentare la quota nella console Google Cloud:
Non hai trovato quello che stavi cercando? Fai clic su Invia feedback e facci sapere cosa manca.