Diagnostica dei problemi relativi ai cluster

In questa pagina viene spiegato come utilizzare l'interfaccia a riga di comando (CLI) di gkectl per diagnosticare i problemi nei tuoi cluster GKE On-Prem.

Panoramica

Lo strumento gkectl prevede due comandi per la risoluzione dei problemi relativi ai cluster: gkectl diagnose cluster e gkectl diagnose snapshot. I comandi funzionano sia con i cluster amministratore sia con i cluster utente.

gkectl diagnose cluster

Esegue controlli di integrità sul cluster GKE On-Prem e segnala gli errori. Esegue controlli di integrità sui seguenti componenti:

• Oggetti cluster
• Oggetti macchina e nodi cluster corrispondenti
• Pod negli spazi dei nomi kube-system e gke-system
• Piano di controllo utente se il cluster di destinazione è un cluster utente
• Volumi permanenti vSphere nel cluster

gkectl diagnose snapshot

Comprimi lo stato, le configurazioni e i log di un cluster in un file tarball. In particolare, la configurazione predefinita del comando acquisisce le seguenti informazioni sul tuo cluster:

• Versione di Kubernetes
• Stato delle risorse Kubernetes negli spazi dei nomi kube-system e gke-system: cluster, machine, nodes, Services, Endpoints, ConfigMap, ReplicaSets, CronJobs, Pods e i proprietari di tali pod, inclusi Deployment, DaemonSets e StatefulSet
• Lo stato del piano di controllo utente se il cluster di destinazione è un cluster utente (il piano di controllo del cluster utente viene eseguito nel cluster di amministrazione)
• Dettagli su ogni configurazione dei nodi, inclusi indirizzi IP, regole iptables, punti di montaggio, file system, connessioni di rete e processi in esecuzione.
• Log dal comando gkectl diagnose snapshot.
• Facoltativamente, il file di configurazione GKE On-Prem utilizzato per installare ed eseguire l'upgrade dei cluster.

Le credenziali, incluse le credenziali vSphere e F5, vengono rimosse prima della creazione del tarball.

Diagnostica dei cluster

Puoi eseguire gke diagnose cluster per cercare problemi comuni con il cluster.

Nota: il flag --kubeconfig deve sempre puntare al file kubeconfig del cluster di amministrazione. gkectl diagnose restituisce un errore se fornisci il kubeconfig del cluster utente.

Diagnostica di un cluster di amministrazione

Puoi diagnosticare un cluster di amministrazione passando il suo nome o passando solo alla sua kubeconfig.

Utilizzo del cluster di amministrazione kubeconfig

L'utilizzo del kubeconfig del cluster di amministrazione fa sì che gkectl scelga automaticamente il cluster di amministrazione:

gkectl diagnose cluster --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG]

Utilizzo del nome del cluster di amministrazione

Per ottenere il nome del cluster di amministrazione, esegui il comando seguente:

kubectl get cluster --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG]

Quindi, passa il nome del cluster di amministrazione a gkectl diagnose cluster:

gkectl diagnose cluster --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--cluster-name=[ADMIN_CLUSTER_NAME]

Se il tuo cluster di amministrazione funziona correttamente, gkectl diagnose cluster restituisce il seguente output:

Diagnosing admin cluster "[ADMIN_CLUSTER_NAME]"...
Checking cluster object...PASS
Checking machine objects...PASS
Checking kube-system pods...PASS
Checking storage...PASS
Cluster is healthy.

Diagnostica di un cluster utente

Per diagnosticare un cluster, ottieni prima il nome del cluster utente:

kubectl get cluster --kubeconfig=[USER_CLUSTER_KUBECONFIG]

Quindi, passa a kubeconfig del cluster di amministrazione e al nome del cluster utente:

gkectl diagnose cluster --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
  --cluster-name=[USER_CLUSTER_NAME]

Nota: gkectl diagnose restituisce un errore se fornisci il kubeconfig del cluster utente.

Se il tuo cluster utente funziona correttamente, gkectl diagnose cluster restituisce il seguente output:

Diagnosing user cluster "[USER_CLUSTER_NAME]"...
Checking cluster object...PASS
Checking control plane pods...PASS
Checking machine objects...PASS
Checking other kube-system pods...PASS
Checking storage...PASS
Cluster is healthy.

Acquisizione dello stato del cluster

Se gkectl diagnose cluster rileva errori, devi acquisire lo stato del cluster e fornire le informazioni a Google. Puoi farlo utilizzando il comando gkectl diagnose snapshot.

gkectl diagnose snapshot ha un flag facoltativo, --seed-config. Oltre alla raccolta delle informazioni sul cluster, questo flag raccoglie il file di configurazione GKE On-Prem utilizzato per creare o eseguire l'upgrade del cluster.

Nota: il flag --kubeconfig deve sempre puntare al file kubeconfig del cluster di amministrazione. gkectl diagnose restituisce un errore se fornisci il kubeconfig del cluster utente.

Acquisizione dello stato del cluster di amministrazione

Per acquisire lo stato di un cluster di amministrazione, esegui il comando seguente, dove --seed-config è facoltativo:

gkectl diagnose snapshot --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] [--seed-config]

L'output include un elenco di file e il nome di un file tarball:

Taking snapshot of admin cluster "[ADMIN_CLUSTER_NAME]"...
   Using default snapshot configuration...
   Setting up "[ADMIN_CLUSTER_NAME]" ssh key file...DONE
   Taking snapshots...
       commands/kubectl_get_pods_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_kube-system
       commands/kubectl_get_deployments_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_kube-system
       commands/kubectl_get_daemonsets_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_kube-system
       ...
       nodes/[ADMIN_CLUSTER_NODE]/commands/journalctl_-u_kubelet
       nodes/[ADMIN_CLUSTER_NODE]/files/var/log/startup.log
       ...
   Snapshot succeeded. Output saved in [TARBALL_FILE_NAME].tar.gz.

Per estrarre il file tarball in una directory, esegui il comando seguente:

tar -zxf [TARBALL_FILE_NAME] --directory [EXTRACTION_DIRECTORY_NAME]

Per controllare l'elenco dei file prodotti dallo snapshot, esegui i comandi seguenti:

cd [EXTRACTION_DIRECTORY_NAME]/[EXTRACTED_SNAPSHOT_DIRECTORY]
ls kubectlCommands
ls nodes/[NODE_NAME]/commands
ls nodes/[NODE_NAME]/files

Per visualizzare i dettagli di un'operazione specifica, apri uno dei file.

Specifica la chiave SSH per il cluster di amministrazione

Quando ricevi uno snapshot del cluster di amministrazione, gkectl trova automaticamente la chiave SSH privata per il cluster di amministrazione. Puoi anche specificare esplicitamente la chiave utilizzando il parametro --admin-ssh-key-path.

Segui le istruzioni sull'utilizzo di SSH per connetterti a un nodo del cluster per scaricare le chiavi SSH.

Nel comando gkectl diagnose snapshot, imposta --admin-ssh-key-path sul percorso del file della chiave decodificato:

gkectl diagnose snapshot --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--admin-ssh-key-path=[PATH_TO_DECODED_KEY]

Acquisizione dello stato del cluster utente

Per acquisire lo stato di un cluster utente, esegui il comando seguente:

gkectl diagnose snapshot --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--cluster-name=[USER_CLUSTER_NAME]

L'output include un elenco di file e il nome di un file tarball:

Taking snapshot of user cluster "[USER_CLUSTER_NAME]"...
Using default snapshot configuration...
Setting up "[USER_CLUSTER_NAME]" ssh key file...DONE
    commands/kubectl_get_pods_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_user
    commands/kubectl_get_deployments_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_user
    commands/kubectl_get_daemonsets_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_user
    ...
    commands/kubectl_get_pods_-o_yaml_--kubeconfig_.tmp.user-kubeconfig-851213064_--namespace_kube-system
    commands/kubectl_get_deployments_-o_yaml_--kubeconfig_.tmp.user-kubeconfig-851213064_--namespace_kube-system
    commands/kubectl_get_daemonsets_-o_yaml_--kubeconfig_.tmp.user-kubeconfig-851213064_--namespace_kube-system
    ...
    nodes/[USER_CLUSTER_NODE]/commands/journalctl_-u_kubelet
    nodes/[USER_CLUSTER_NODE]/files/var/log/startup.log
    ...
Snapshot succeeded. Output saved in [FILENAME].tar.gz.

Scenari snapshot

Il comando gkectl diagnose snapshot supporta quattro scenari. Per specificare uno scenario, utilizziamo il flag --scenario. Il seguente elenco mostra i possibili valori:

• system: (impostazione predefinita) raccogli uno snapshot per gli spazi dei nomi di sistema: kube-system e gke-system.

• system-with-logs: raccogli un'istantanea system con i log.

• all: raccogli uno snapshot per tutti gli spazi dei nomi.

• all-with-logs: raccogli un'istantanea all con i log.

Puoi utilizzare ognuno dei quattro scenari con un cluster di amministrazione o un cluster utente, poiché sono disponibili otto possibili permutazioni. I seguenti esempi mostrano alcune delle possibilità.

Per creare uno snapshot del cluster di amministrazione utilizzando lo scenario system:

gkectl diagnose snapshot \
--kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--scenario=system

Per creare uno snapshot di un cluster utente utilizzando lo scenario system-with-logs:

gkectl diagnose snapshot \
--kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--user-cluster=[USER_CLUSTER_NAME] \
--scenario=system-with-logs

Per creare uno snapshot di un cluster utente utilizzando lo scenario all:

gkectl diagnose snapshot \
--kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--cluster-name=[USER_CLUSTER_NAME] \
--scenario=all

Per creare uno snapshot del cluster di amministrazione utilizzando lo scenario all-with-logs:

gkectl diagnose snapshot \
--kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--scenario=all-with-logs

Esecuzione di un'esecuzione di prova per uno snapshot

Puoi utilizzare il flag --dry-run per mostrare le azioni da intraprendere e la configurazione della istantanea.

Per eseguire una prova sul cluster di amministrazione, inserisci il seguente comando:

gkectl diagnose snapshot --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--cluster-name=[ADMIN_CLUSTER_NAME] \
--dry-run

Per eseguire una prova su un cluster utente, inserisci il seguente comando:

gkectl diagnose snapshot --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--cluster-name=[USER_CLUSTER_NAME] \
--dry-run

usando una configurazione di snapshot.

Se i quattro scenari non soddisfano le tue esigenze, puoi creare un'istantanea personalizzata passando in un file di configurazione dello snapshot utilizzando il flag --snapshot-config:

gkectl diagnose snapshot --kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--cluster-name=[USER_CLUSTER_NAME] \
--snapshot-config=[SNAPSHOT_CONFIG_FILE]

Generazione di una configurazione snapshot

Puoi generare una configurazione dello snapshot per un determinato scenario passando nei flag --scenario e --dry-run. Ad esempio, per visualizzare la configurazione dello snapshot per lo scenario predefinito (system) di un cluster utente, inserisci il seguente comando:

gkectl diagnose snapshot \
--kubeconfig=[ADMIN_CLUSTER_KUBECONFIG] \
--cluster-name=[USER_CLUSTER_NAME] \
--scenario=system
--dry-run

L'output è simile al seguente:

numOfParallelThreads: 10
excludeWords:
- password
kubectlCommands:
- commands:
  - kubectl get clusters -o wide
  - kubectl get machines -o wide
  - kubectl get clusters -o yaml
  - kubectl get machines -o yaml
  - kubectl describe clusters
  - kubectl describe machines
  namespaces:
  - default
- commands:
  - kubectl version
  - kubectl cluster-info
  - kubectl get nodes -o wide
  - kubectl get nodes -o yaml
  - kubectl describe nodes
  namespaces: []
- commands:
  - kubectl get pods -o wide
  - kubectl get deployments -o wide
  - kubectl get daemonsets -o wide
  - kubectl get statefulsets -o wide
  - kubectl get replicasets -o wide
  - kubectl get services -o wide
  - kubectl get jobs -o wide
  - kubectl get cronjobs -o wide
  - kubectl get endpoints -o wide
  - kubectl get configmaps -o wide
  - kubectl get pods -o yaml
  - kubectl get deployments -o yaml
  - kubectl get daemonsets -o yaml
  - kubectl get statefulsets -o yaml
  - kubectl get replicasets -o yaml
  - kubectl get services -o yaml
  - kubectl get jobs -o yaml
  - kubectl get cronjobs -o yaml
  - kubectl get endpoints -o yaml
  - kubectl get configmaps -o yaml
  - kubectl describe pods
  - kubectl describe deployments
  - kubectl describe daemonsets
  - kubectl describe statefulsets
  - kubectl describe replicasets
  - kubectl describe services
  - kubectl describe jobs
  - kubectl describe cronjobs
  - kubectl describe endpoints
  - kubectl describe configmaps
  namespaces:
  - kube-system
  - gke-system
  - gke-connect.*
prometheusRequests: []
nodeCommands:
- nodes: []
  commands:
  - uptime
  - df --all --inodes
  - ip addr
  - sudo iptables-save --counters
  - mount
  - ip route list table all
  - top -bn1
  - sudo docker ps -a
  - ps -edF
  - ps -eo pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup
  - sudo conntrack --count
nodeFiles:
- nodes: []
  files:
  - /proc/sys/fs/file-nr
  - /proc/sys/net/nf_conntrack_max

• numOfParallelThreads: numero di thread paralleli utilizzati per acquisire gli snapshot.
• excludeWords: elenco di parole da escludere dallo snapshot (senza distinzione tra maiuscole e minuscole). Le righe che contengono queste parole vengono rimosse dai risultati degli snapshot. "password" è sempre esclusa, indipendentemente dal fatto che tu la specifichi o meno.
• kubectlCommands: elenco di comandi kubectl da eseguire. I risultati vengono salvati. I comandi vengono eseguiti sugli spazi dei nomi corrispondenti. Per i comandi kubectl logs, tutti i pod e i container negli spazi dei nomi corrispondenti vengono aggiunti automaticamente. Le espressioni regolari sono supportate per la specifica degli spazi dei nomi. Se non specifichi uno spazio dei nomi, viene utilizzato lo spazio dei nomi default.
• nodeCommands: elenco di comandi da eseguire sui nodi corrispondenti. I risultati vengono salvati. Se i nodi non sono specificati, vengono presi in considerazione tutti i nodi nel cluster di destinazione.
• nodeFiles: elenco dei file da raccogliere dai nodi corrispondenti. I file vengono salvati. Se i nodi non sono specificati, vengono presi in considerazione tutti i nodi nel cluster di destinazione.
• prometheusRequests: elenco di richieste di Prometheus. I risultati vengono salvati.