Esecuzione dei controlli preflight

Questo documento fornisce informazioni sui controlli preflight.

Rivedi le regole firewall

Dalla versione 1.29 in poi, i controlli preflight lato server sono abilitati per impostazione predefinita quando crei, aggiorni ed esegui l'upgrade dei cluster. I controlli preflight lato server richiedono regole firewall aggiuntive. In Regole firewall per i cluster di amministrazione, cerca "Controlli preflight" e assicurati che tutte le regole firewall richieste siano configurate.

gkectl check-config in esecuzione

Se prevedi di creare cluster utilizzando gkectl, esegui gkectl create-config per generare un file di configurazione GKE on VMware. Il file di configurazione gestisce l'installazione: fornisci informazioni sul tuo ambiente vSphere, sulla rete e sul bilanciatore del carico, nonché sull'aspetto desiderato dei cluster. Puoi generare un file di configurazione prima o dopo aver creato una workstation di amministrazione. Alcuni controlli devono essere eseguiti dalla workstation di amministrazione.

Dopo aver modificato il file per soddisfare le esigenze del tuo ambiente e dei tuoi cluster, puoi utilizzarlo per creare i tuoi cluster nell'ambiente on-prem.

Prima di creare i cluster utilizzando gkectl, esegui gkectl check-config per convalidare il file di configurazione con diversi controlli preflight. Se il comando restituisce messaggi FAILURE, risolvi i problemi e convalida nuovamente il file. Se una determinata convalida di funzionalità restituisce messaggi WARNING, devi risolvere i problemi sottostanti prima di poter utilizzare la funzionalità.

Avviso: gkectl check-config deve essere utilizzato solo prima della creazione del cluster. L'esecuzione su un cluster già esistente genererà messaggi FAILURE imprevisti.

Avviso: alcuni campi del file di configurazione sono stati deprecati. Se esegui gkectl check-config su un file con un campo obsoleto, il comando potrebbe non riuscire. Per un esempio, consulta questa nota di rilascio.

Modalità di controllo preflight e possibilità di ignorare le convalide

gkectl check-config dispone di una modalità predefinita e una modalità veloce:

• In modalità predefinita, il comando convalida in modo completo ogni campo. Inoltre, la modalità predefinita crea macchine virtuali (VM) vSphere temporanee nell'ambito delle convalide, che possono richiedere più tempo.

• In modalità veloce, il comando ignora i controlli che creano VM di test ed esegue solo i controlli rapidi. Abiliti la modalità veloce passando il flag --fast.

Puoi saltare convalide specifiche passando in altri flag, descritti in gkectl check-config --help.

Traffico tra la workstation di amministrazione e le VM di test

In modalità predefinita, il controllo preflight crea VM di test per il cluster. Ogni VM di test esegue un server HTTP in ascolto sulla porta 443 e sulle porte del nodo specificate nel file di configurazione.

Alle VM di test vengono assegnati diversi indirizzi IP. Se il file di configurazione indica che i nodi del cluster riceveranno gli indirizzi IP da un server DHCP, il controllo preflight utilizza un server DHCP per assegnare gli indirizzi IP alle VM di test. Se il file di configurazione indica che ai nodi del cluster verranno assegnati indirizzi IP statici, il controllo preflight assegna gli indirizzi IP statici specificati nei file dei blocchi IP alle VM di test.

Il controllo preflight, in esecuzione sulla workstation di amministrazione, invia richieste HTTP alle VM di test utilizzando i vari indirizzi IP assegnati alle VM. Le richieste vengono inviate alla porta 443 e alle porte del nodo specificate nel file di configurazione.

Quando devo eseguire i controlli preflight?

Come best practice, conviene eseguire i controlli preflight in anticipo e prima di tentare di creare i cluster. L'esecuzione anticipata dei controlli preflight può aiutarti a confermare di aver configurato correttamente l'ambiente vSphere e la rete.

Se utilizzi GKE su VMware versione 1.2.0-gke.6, esegui gkectl check-config due volte:

1. Esegui gkectl check-config --fast.

2. Esegui gkectl prepare.

3. Esegui di nuovo gkectl check-config, senza il flag --fast.

Il motivo di questa doppia esecuzione è che gkectl prepare carica il modello di VM per l'immagine del sistema operativo del nodo cluster nel tuo ambiente vSphere. Il modello di VM deve essere attivo prima di eseguire l'insieme completo delle convalide.

In GKE on VMware versione 1.2.1 e successive, il comando check-config stesso carica il modello di VM, quindi puoi eseguire l'insieme completo di convalide prima di eseguire gkectl prepare:

1. Esegui gkectl check-config, senza il flag --fast.

2. Esegui gkectl prepare.

I controlli preflight convalidano i valori che hai fornito al file. Non è necessario compilare ogni campo del file di configurazione per eseguire controlli preflight sul file; puoi invece convalidare il file in modo iterativo man mano che completi i campi. Ad esempio, se volevi solo convalidare la configurazione di vCenter, puoi compilare solo i campi vcenter ed eseguire i controlli su questi campi.

Tieni presente che la configurazione di GKE on VMware diventa immutabile dopo la creazione dei cluster. L'esecuzione dei controlli preflight ti consente di scoprire e risolvere i problemi della configurazione prima di creare i cluster.

Preservazione della VM di test per il debug

A partire da GKE su VMware versione 1.2.1, il comando gkectl check-config ha un flag --cleanup.

Quando gkectl check-config esegue un set completo di convalide, crea una VM di test e una chiave SSH associata. Se vuoi conservare la VM di test e la chiave SSH a scopo di debug, imposta --cleanup su false.

Il valore predefinito di --cleanup è true.

Elenco dei controlli preflight

I controlli preflight convalidano ogni campo del file di configurazione. Ecco i controlli attuali:

Categoria	Descrizione
File di configurazione	In genere verifica che ogni campo e ogni specifica abbia il formato e i valori previsti. Azione saltata con --skip-validation-config flag. Salta la convalida del campo proxy con il flag --skip-validation-proxy.
Internet	Convalida l'accesso a internet per i domini richiesti. Convalida la configurazione del proxy in base a dove viene eseguito gkectl. Azione saltata con il flag --skip-validation-internet.
Immagine sistema operativo	Convalida l'esistenza delle immagini del sistema operativo. Azione saltata con il flag --skip-validation-os-images.
Versione del sistema operativo Windows	Convalida la versione del sistema operativo Windows. Verifica che la versione Windows sia supportata durante la creazione di workstation di amministrazione con lo strumento a riga di comando gkeadm. Tieni presente che, sebbene lo strumento gkeadm sia disponibile per Windows 10, Windows Server 2019 e Linux, non è previsto alcun controllo preflight per Linux. Questa convalida inizia dalla versione 1.4.1.
Versione cluster	Verifica che la versione del cluster di amministrazione, la versione del cluster utente e la versione di gkectl corrispondano per la creazione e l'upgrade. Azione saltata con il flag --skip-validation-cluster-version.
Integrità del cluster	Verifica che il cluster di amministrazione o il cluster utente sia integro prima dell'upgrade: Cluster di amministrazione: il controllo include servizio Kubernetes, stato dei componenti, DaemonSet, deployment, macchine e pod. Cluster utente: il controllo include servizio Kubernetes, endpoint API del cluster, oggetti StatefulSet, deployment, deployment di macchine, macchine e pod. Azione saltata con il flag --skip-validation-cluster-health.
In entrata	Controlla se il cluster utente ha un oggetto Istio Gateway prima dell'upgrade.
IP riservato	Verifica che sia disponibile un numero sufficiente di indirizzi IP per la creazione e l'upgrade. Azione saltata con il flag --skip-validation-reserved-ips.
Google Cloud	ID progetto [*].projectid Convalida gli ID progetto forniti nei vari campi della configurazione. Se manca l'ID progetto, la convalida viene saltata. Registra account di servizio registerserviceaccountkeypath Convalida che l'account di servizio disponga dei ruoli IAM richiesti. Convalida l'abilitazione delle API richieste. Connetti account di servizio agentserviceaccountkeypath Convalida che l'account di servizio disponga dei ruoli IAM richiesti. Convalida l'abilitazione delle API richieste. Account di servizio Google Cloud Observability stackdriver.serviceaccountkeypath Convalida che l'account di servizio disponga dei ruoli IAM richiesti. Convalida l'abilitazione delle API richieste. Azione saltata con il flag --skip-validation-gcp.
Accedi per accedere a gcr.io/gke-on-prem-release	Convalida l'accesso al registro delle immagini container di GKE on VMware ospitato in Container Registry. Ignorato dal flag --skip-validation-docker.
Registro Docker	privateregistryconfig Se configurato, convalida l'accesso al Docker Registry. Azione saltata con il flag --skip-validation-docker.
vCenter	Controlla che tutti i campi vcenter siano presenti e anche quanto segue: Credenziali vcenter.credentials.[*] Convalida l'autenticazione in vCenter Server utilizzando le credenziali utente fornite. Versione vSphere Verifica che le versioni di vCenter ed ESXi siano supportate. Data center vcenter.datacenter Convalida l'esistenza del data center vSphere. Datastore vcenter.datastore Convalida l'esistenza del datastore vSphere. Disco dati vcenter.datadisk Convalida che il disco della macchina virtuale vSphere (VMDK) non esiste già in vSphere. Pool di risorse vcenter.resourcepool Convalida l'esistenza del pool di risorse vSphere. Rete vcenter.network Convalida l'esistenza della rete vSphere. Azione saltata con il flag --skip-validation-infra.
Archiviazione	Driver CSI vSphere Verifica che il driver CSI vSphere sia abilitato in presenza di oggetti PersistentVolume intree o CSI vSphere. Ciò significa che nel file di configurazione del cluster utente storage.vSphereCSIDisabled non è impostato su true. Parametri StorageClass Verifica che l'oggetto StorageClass non contenga nessuno dei seguenti parametri non supportati: guastostolleranze host provisioning forzato prenotazione della cache dischi prenotazione dello spazio degli oggetti IOPSlimit formatodisco Se il cluster ha StorageClass con uno dei parametri precedenti, potrebbe significare che devi eseguire la migrazione dei volumi. Per maggiori informazioni, consulta Considerazioni sulla migrazione di volumi vSphere In-Tree e la sezione sui problemi noti sugli upgrade della versione 1.15. Annotazioni in PersistentVolume e PersistentVolumeClaim in vSphere creati in modo statico Prima dell'upgrade, controlla le annotazioni negli oggetti PersistentVolume in-tree di vSphere e negli oggetti PersistentVolumeClaim di vSphere: Gli oggetti PersistentVolume in-tree vSphere creati in modo statico hanno l'annotazione pv.kubernetes.io/provisioned-by: kubernetes.io/vsphere-volume Gli oggetti vSphere PersistentVolumesClaim creati in modo statico hanno l'annotazione volume.beta.kubernetes.io/storage-provisioner: kubernetes.io/vsphere-volume e volume.kubernetes.io/storage-provisioner: kubernetes.io/vsphere-volume Se il cluster dispone di oggetti PersistentVolume in-tree vSphere o PersistentVolumeClaim di vSphere senza queste annotazioni, devi annotare gli oggetti PersistentVolume e PersistentVolumeClaim prima di continuare. Consulta Considerazioni sulla migrazione di volumi vSphere In-Tree.
Carico di lavoro CSI	Verifica che il cluster possa eseguire correttamente un carico di lavoro che utilizza un PersistentVolume con provisioning dinamico creato mediante il driver CSI vSphere. Questo controllo viene eseguito durante l'upgrade e solo se sono presenti volumi vSphere in-tree e nessun volume CSI vSphere. Questo controllo: Controlla che non siano rimaste risorse rimanenti dalle esecuzioni precedenti della convalida. Trova o crea un oggetto StorageClass con il campo provisioner impostato sul campo provisioner impostato su "csi.vsfer.vmware.com". Nei cluster utente seleziona il valore CSI StorageClass standard-rwo. Nei cluster di amministrazione trova un oggetto StorageClass con il campo del provisioner impostato su csi.vsphere.vmware.com. Se nel cluster non esiste un oggetto StorageClass di questo tipo, il test crea temporaneamente un nuovo oggetto StorageClass CSI e lo utilizza nel controllo. Crea un oggetto PersistentVolumeClaim nello spazio dei nomi predefinito utilizzando il valore di StorageClass trovato o creato nel passaggio precedente e attende che l'oggetto PersistentVolume creato dinamicamente sia nella fase Bound. Crea un job writer nello spazio dei nomi predefinito montando il PersistentVolume creato in precedenza. Un pod dello scrittore viene pianificato e, all'avvio, scrive una stringa in un file nel file system montato. Abbattere il job dello scrittore e il pod associato. Crea un job del lettore nello spazio dei nomi predefinito montando il PersistentVolume creato in precedenza. Un pod del lettore viene pianificato e, all'avvio, legge il file scritto dal pod dello writer, assicurandosi che i dati scritti dal pod dello writer vengano letti correttamente. Distrugge il job del lettore e il pod associato. Elimina l'oggetto PersistentVolumeClaim, di conseguenza viene eliminato anche il PersistentVolume. Elimina StorageClass se è stato creato durante il test.
Host per gruppi anti-affinità	Verifica che il numero di host vCenter fisici sia almeno tre se antiAffinityGroups è abilitato. Per disabilitare antiAffinityGroups per un cluster, consulta antiAffinityGroups.enabled e questa nota di rilascio. Azione saltata con il flag --skip-validation-infra.
Bilanciatore del carico	Convalida la configurazione del bilanciamento del carico: Se la modalità di bilanciamento del carico è integrata (lbmode: Integrated), verifica che tutti i campi bigip siano presenti nelle specifiche admincluster e usercluster. Se la modalità di bilanciamento del carico è manuale (lbmode: Manual), verifica che tutti i campi manuallbspec siano presenti nelle specifiche admincluster e usercluster. Bilanciamento del carico integrato bigip.credentials.[*] Convalida le credenziali BIG-IP di F5. bigip.partition Convalida l'esistenza della partizione fornita. Ruolo utente BIG-IP F5 Verifica che l'utente BIG-IP F5 fornito abbia il ruolo Amministratore o Amministratore risorse. bigip.vips.[*] Convalida i VIP forniti. Azione saltata con i flag --fast o --skip-validation-load-balancer. Bilanciamento del carico manuale Configurazione della rete Convalida VIP, IP dei nodi e così via. Ignorata con i flag --fast o --skip-validation-load-balancer. [*].manuallbspec.[*] Convalida le porte del nodo fornite. Azione saltata con il flag --skip-validation-load-balancer.
Networking	Verifica che gli intervalli CIDR, i VIP e gli IP statici forniti (se configurati) siano disponibili. Controlla che gli indirizzi IP non si sovrappongano. Azione saltata con il flag --skip-validation-net-config.
DNS	Convalida la disponibilità del server DNS fornito. Azione saltata con il flag --skip-validation-dns.
NTP	Convalida la disponibilità del server NTP (Network Time Protocol) fornito. Azione saltata con il flag --skip-validation-tod.
VIP	Invia un ping ai VIP forniti. Questo controllo ha esito positivo se il ping non va a buon fine, indicando che il VIP previsto non è già stato utilizzato. Azione saltata con il flag --skip-validation-vips.
IP dei nodi	Invia un ping agli indirizzi IP del nodo forniti. Questo controllo ha esito positivo se il ping non va a buon fine, indicando che l'IP del nodo previsto non è già stato eseguito. Azione saltata con il flag --skip-validation-node-ips.

Risultati del controllo preflight

I controlli preflight possono restituire i seguenti risultati:

SUCCESS

Il campo e il relativo valore hanno superato il controllo.

FAILURE

Il campo e/o il relativo valore non hanno superato il controllo. Se un controllo restituisce un messaggio FAILURE, risolvi i problemi e convalida di nuovo il file.

IGNORATO

Il controllo è stato ignorato, probabilmente perché il controllo non è pertinente alla tua configurazione. Ad esempio, se utilizzi un server DHCP, i controlli dei DNS e degli IP dei nodi, relativi solo a una configurazione IP statico, vengono ignorati.

Se passi un flag che salta una convalida, il controllo ignorato non restituisce un risultato IGNORATO; piuttosto, la convalida non viene eseguita e non viene visualizzata nell'output comando.

SCONOSCIUTO

Lo skip ha restituito un codice diverso da zero. Puoi considerare i risultati UNKNOWN come controlli non superati. UNKNOWN di solito indica che il controllo non è riuscito a eseguire alcuni pacchetti di sistema, ad esempio non è stato possibile eseguire nslookup o non è stato possibile eseguire gcloud.

Disponibile a breve

I seguenti controlli preflight verranno aggiunti in una release futura:

• Server NTP

Esecuzione dei controlli preflight

Puoi eseguire i controlli preflight con il comando seguente:

gkectl check-config --config [CONFIG]

dove [CONFIG] è il percorso del tuo file di configurazione GKE on VMware

Esecuzione in modalità veloce

Se preferisci, puoi eseguire i controlli preflight in "modalità veloce", ignorando le convalide che creano VM di test temporanee, come le convalide degli IP dei nodi e del VIP con bilanciamento del carico. Per farlo, inserisci --fast:

gkectl check-config --config [CONFIG] --fast

Ignorare convalide specifiche

Puoi passare i flag per ignorare in modo granulare convalide specifiche, come DNS, proxy e networking. Ogni flag di abbandono ha il prefisso --skip-[VALIDATION].

Per saperne di più sui flag di abbandono disponibili, esegui questo comando. Se vuoi, consulta il riferimento gkectl check-config:

gkectl check-config --help

Ad esempio, per saltare le convalide del bilanciatore del carico:

gkectl check-config --config my-config.yaml --skip-validation-load-balancer 

Annullamento dei controlli preflight in corso...

Se hai iniziato a eseguire i controlli preflight e vuoi annullare l'operazione, premi due volte Ctrl + C. Se un controllo preflight ha creato una VM di test, l'annullamento dovrebbe anche eseguire automaticamente la pulizia della VM.

Pulizia di una VM di test

Se rimane una VM di test dopo il completamento dei controlli preflight, puoi eliminare la VM da vCenter. Una VM di test ha un nome simile al seguente:

check-config-[dhcp|static]-[random number]

Per eliminare la VM:

1. Fai clic con il tasto destro del mouse sulla VM e fai clic su Spegni > Spegni

2. Quando la VM è stata spenta, fai di nuovo clic con il pulsante destro del mouse sulla VM e fai clic su Elimina dal disco.

Esempio

Di seguito è riportato un esempio dell'output del comando. In questo esempio, la configurazione convalidata utilizza la modalità di bilanciamento del carico integrata e IP statici senza un Docker Registry esterno:

- Validation Category: Config Check
    - [SUCCESS] Config

- Validation Category: Internet Access
    - [SUCCESS] Internet access to required domains

- Validation Category: GCP
    - [SUCCESS] GCP Service
    - [SUCCESS] GCP Service Account

- Validation Category: Docker Registry
    - [SUCCESS] gcr.io/gke-on-prem-release access

- Validation Category: vCenter
    - [SUCCESS] Credentials
    - [SUCCESS] Version
    - [SUCCESS] Datacenter
    - [SUCCESS] Datastore
    - [SUCCESS] Data Disk
    - [SUCCESS] Resource Pool
    - [SUCCESS] Network
    - [SUCCESS] VSphere CSI Driver

- Validation Category: F5 BIG-IP
    - [SUCCESS] Admin Cluster F5 (credentials, partition and user role)
    - [SUCCESS] User Cluster F5 (credentials, partition and user role)

- Validation Category: Network Configuration
    - [SUCCESS] CIDR, VIP and static IP (availability and overlapping)

- Validation Category: DNS
    - [SUCCESS] DNS (availability)

- Validation Category: VIPs
    - [SUCCESS] ping (availability)

- Validation Category: Node IPs
    - [SUCCESS] ping (availability)

Now running slow validation checks. ...

Reusing VM template "gke-on-prem-osimage-xxx" that already exists in vSphere.
Creating test VMs with admin cluster configuration...  DONE
Waiting to get IP addresses from test VMs...  DONE
Waiting for test VMs to become ready...  DONE

Reusing VM template "gke-on-prem-osimage-xxx" that already exists in vSphere.
Creating test VMs with user cluster configuration...  DONE
Waiting to get IP addresses from test VMs...  DONE
Waiting for test VMs to become ready...  DONE

- Validation Category: F5 BIG-IP
    - [SUCCESS] Admin Cluster VIP and NodeIP
    - [SUCCESS] Admin Cluster F5 Access
    - [SUCCESS] User Cluster VIP and NodeIP
    - [SUCCESS] User Cluster F5 Access

- Validation Category: Internet Access
    - [SUCCESS] Internet access to required domains

- Validation Category: vCenter on test VMs
    - [SUCCESS] Test VM: VCenter Access and Permission

- Validation Category: DNS on test VMs
    - [SUCCESS] Test VM: DNS Availability

- Validation Category: TOD on test VMs
    - [SUCCESS] Test VM: TOD Availability

- Validation Category: Docker Registry
    - [SUCCESS] gcr.io/gke-on-prem-release access

Deleting test VMs with admin cluster configuration...  DONE
Deleting test VMs with user cluster configuration...  DONE

Problemi noti

• Per la versione 1.3.0-gke.16:

  Devi eseguire i controlli di convalida rapida, gkectl check-config --fast, per i controlli preflight se si verificano entrambe le seguenti condizioni:

  1. Hai configurato GKE on VMware per l'utilizzo di un proxy.

  2. Hai installato uno dei seguenti bundle:

     • Il bundle /var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16.tgz dalla pagina Download.
     • Il bundle /var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16.tgz dalla workstation di amministrazione.

  Puoi eseguire il set completo di convalida solo se hai installato il bundle completo. Ad esempio: /var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16-full.tgz

• Per la versione 1.2.0-gke.6:

  Se utilizzi pool di risorse nidificati o il pool di risorse predefinito, gkectl check-config non riesce quando tenti di eseguire un set completo di convalide. Tuttavia, puoi eseguire un insieme più ridotto di convalide passando il flag --fast.

  gkectl check-config --config [CONFIG] --fast

Passaggi successivi

• Installazione utilizzando indirizzi IP statici
• Installazione tramite server DHCP