Riparazione automatica dei nodi e controllo di integrità

In GKE su VMware, sono abilitati per impostazione predefinita il controllo di integrità periodico e la riparazione automatica dei nodi.

La funzionalità di riparazione automatica dei nodi rileva e ripara continuamente i nodi non integri in un cluster.

I controlli di integrità periodici vengono eseguiti ogni 15 minuti. I controlli sono gli stessi di quelli eseguiti da gkectl diagnose cluster. I risultati vengono visualizzati sotto forma di log ed eventi sugli oggetti cluster nel cluster di amministrazione.

Assicurati che i cluster di amministrazione e utente dispongano di un indirizzo IP aggiuntivo per la riparazione automatica dei nodi.

Condizioni dei nodi non integri

Le seguenti condizioni indicano che un nodo non è integro:

  • La condizione del nodo NotReady è true per circa 10 minuti.

  • Lo stato della macchina è Unavailable per circa 10 minuti dopo la creazione.

  • Lo stato della macchina non è Available per circa 30 minuti dopo la creazione della VM.

  • Nessun oggetto nodo (nodeRef è nil) corrisponde a una macchina in stato Available per circa 10 minuti.

  • La condizione del nodo DiskPressure è true per circa 30 minuti.

Strategia di riparazione dei nodi

GKE su VMware avvia una riparazione su un nodo se quest'ultimo soddisfa almeno una delle condizioni nell'elenco precedente.

La riparazione svuota il nodo non integro e crea una nuova VM. Se lo svuotamento del nodo non riesce per un'ora, la riparazione forza lo svuotamento e scollega in modo sicuro i dischi gestiti di Kubernetes collegati.

Se nello stesso MachineDeployment sono presenti più nodi non integri, la riparazione viene eseguita solo su uno di questi nodi alla volta.

Il numero di riparazioni all'ora per un pool di nodi è limitato al massimo di:

  • Tre
  • Il 10% del numero di nodi nel pool di nodi

Abilitazione della riparazione dei nodi e del controllo di integrità per un nuovo cluster

Nel file di configurazione del cluster di admin o utente, imposta autoRepair.enabled su true:

autoRepair:
  enabled: true

Continua con i passaggi per creare il cluster di admin o utente.

Abilitazione della riparazione dei nodi e del controllo di integrità per un cluster utente esistente

Nel file di configurazione del cluster utente, imposta autoRepair.enabled su true:

Aggiorna il cluster:

gkectl update cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG --config USER_CLUSTER_CONFIG

Sostituisci quanto segue:

  • ADMIN_CLUSTER_KUBECONFIG: il percorso del file kubeconfig del cluster di amministrazione

  • USER_CLUSTER_CONFIG: il percorso del file di configurazione del cluster utente

Abilitazione della riparazione dei nodi e del controllo di integrità per un cluster di amministrazione esistente

Nel file di configurazione del cluster di amministrazione, imposta autoRepair.enabled su true:

Aggiorna il cluster:

gkectl update admin --kubeconfig ADMIN_CLUSTER_KUBECONFIG --config ADMIN_CLUSTER_CONFIG

Sostituisci ADMIN_CLUSTER_CONFIG con il percorso del file di configurazione del cluster di amministrazione.

Visualizzazione dei log da un controllo di integrità

Elenca tutti i pod di controllo di integrità nel cluster di amministrazione:

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get pods --all-namespaces | grep cluster-health-controller

L'output è simile a questo:

kube-system       cluster-health-controller-6c7df455cf-zlfh7   2/2   Running
my-user-cluster   cluster-health-controller-5d5545bb75-rtz7c   2/2   Running

Per visualizzare i log di un determinato controllo di integrità, recupera i log per il container cluster-health-controller in uno dei pod. Ad esempio, per ottenere i log per my-user-cluster mostrati nell'output precedente:

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG --namespace my-user-cluster logs \
    cluster-health-controller-5d5545bb75-rtz7c cluster-health-controller

Visualizzazione degli eventi da un controllo di integrità

Elenca tutti gli oggetti del cluster nel cluster di amministrazione:

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get clusters --all-namespaces

L'output è simile a questo:

default            gke-admin-ldxh7   2d15h
my-user-cluster    my-user-cluster   2d12h

Per visualizzare gli eventi per un determinato cluster, esegui kubectl describe cluster con il flag --show-events. Ad esempio, per vedere gli eventi per my-user-cluster mostrati nell'output precedente:

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG --namespace my-user-cluster \
    describe --show-events cluster my-user-cluster

Output di esempio:

Events:
  Type     Reason             Age   From                                 Message
  ----     ------             ----  ----                                 -------
  Warning  ValidationFailure  17s   cluster-health-periodics-controller  validator for Pod returned with status: FAILURE, reason: 1 pod error(s).

Disabilitazione della riparazione dei nodi e del controllo di integrità per un cluster utente

Nel file di configurazione del cluster utente, imposta autoRepair.enabled su false:

Aggiorna il cluster:

gkectl update cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG --config USER_CLUSTER_CONFIG

Disabilitazione della riparazione dei nodi e del controllo di integrità per un cluster di amministrazione

Nel file di configurazione del cluster di amministrazione, imposta autoRepair.enabled su false:

Aggiorna il cluster:

gkectl update admin --kubeconfig ADMIN_CLUSTER_KUBECONFIG --config ADMIN_CLUSTER_CONFIG

Debug della riparazione automatica dei nodi

Puoi esaminare i problemi relativi alla riparazione automatica dei nodi descrivendo gli oggetti Macchina e Nodo nel cluster di amministrazione. Ecco un esempio:

Elenca gli oggetti macchina:

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG  get machines

Output di esempio:

default     gke-admin-master-wcbrj
default     gke-admin-node-7458969ff8-5cg8d
default     gke-admin-node-7458969ff8-svqj7
default     xxxxxx-user-cluster-41-25j8d-567f9c848f-fwjqt

Descrivi uno degli oggetti macchina:

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG describe machine gke-admin-master-wcbrj

Cerca gli eventi di cluster-health-controller nell'output.

Analogamente, puoi elencare e descrivere gli oggetti dei nodi. Ad esempio:

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get nodes
...
kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG describe node gke-admin-master-wcbrj

Riparazione manuale dei nodi

Nodo del piano di controllo amministrativo

Il nodo del piano di controllo amministrativo ha un comando di riparazione dedicato, perché la normale riparazione manuale non funziona.

Utilizzare gkectl repair admin-master per riparare il nodo del piano di controllo di amministrazione.

Nodo del piano di controllo del cluster utente V2 del piano di controllo

I nodi del piano di controllo del cluster utente Controlplane V2 sono gestiti in modo diverso rispetto agli altri nodi.

Analogamente ai cluster utente kubeception, gli oggetti macchina del piano di controllo dei cluster utente Controlplane V2 si trovano nel cluster di amministrazione. La riparazione automatica dei nodi è coperta dalla riparazione automatica dei nodi del cluster di amministrazione.

Nel caso in cui si verifichino problemi con i nodi che non sono coperti dalla logica di riparazione automatica dei nodi del cluster di amministrazione o se non hai abilitato la riparazione automatica dei nodi del cluster di amministrazione, puoi eseguire una riparazione manuale. Il nodo viene eliminato e ricreato.

  1. Ottieni il nome dell'oggetto macchina corrispondente al nodo:

    kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG -n USER_CLUSTER_NAME get machines

    Sostituisci quanto segue:

    • ADMIN_CLUSTER_KUBECONFIG: il percorso del file kubeconfig di amministrazione.
    • USER_CLUSTER_NAME: nome del cluster utente di destinazione.

  2. Aggiungi l'annotazione repair all'oggetto Macchina:

    kubectl annotate --kubeconfig ADMIN_CLUSTER_KUBECONFIG -n USER_CLUSTER_NAME machine MACHINE_NAME onprem.cluster.gke.io/repair-machine=true

    Sostituisci MACHINE_NAME con il nome dell'oggetto Macchina.

  3. Elimina l'oggetto Machine:

    kubectl delete --kubeconfig ADMIN_CLUSTER_KUBECONFIG -n USER_CLUSTER_NAME machine MACHINE_NAME

Ricrea il nodo uno alla volta per un piano di controllo ad alta disponibilità, altrimenti potrebbe arrestarsi in modo imprevisto.

Altri nodi

Nel caso in cui si verifichino problemi dei nodi che non sono coperti dalla logica di riparazione automatica o se non hai abilitato la riparazione automatica, puoi eseguire una riparazione manuale. Il nodo viene eliminato e ricreato.

Ottieni il nome dell'oggetto macchina corrispondente al nodo:

kubectl --kubeconfig CLUSTER_KUBECONFIG get machines

Sostituisci CLUSTER_KUBECONFIG con il percorso del file kubeconfig del cluster di amministrazione o del cluster utente.

Aggiungi l'annotazione repair all'oggetto Macchina:

kubectl annotate --kubeconfig CLUSTER_KUBECONFIG machine MACHINE_NAME onprem.cluster.gke.io/repair-machine=true

Sostituisci MACHINE_NAME con il nome dell'oggetto macchina.

Elimina l'oggetto Machine:

kubectl delete --kubeconfig CLUSTER_KUBECONFIG machine MACHINE_NAME