Aggiorna i cluster

Dopo aver creato un cluster, puoi modificare alcuni aspetti della sua configurazione. Ad esempio, puoi:

• Aggiungi, rimuovi o sostituisci i nodi.
• Aggiungi o rimuovi annotazioni dal cluster.
• Modifica i valori dei campi mutabili nelle risorse del cluster e del pool di nodi.
• Modificare altre risorse personalizzate.

Puoi utilizzare bmctl o Google Cloud CLI per eseguire aggiornamenti a un cluster. Se hai creato un cluster amministrativo o utente utilizzando Terraform, puoi utilizzare Terraform per aggiornarlo. Tieni presente quanto segue:

• Molti aspetti della configurazione del cluster sono immutabili e non possono essere aggiornati dopo la creazione del cluster. Per un elenco completo dei campi mutabili e immutabili, consulta il riferimento per i campi di configurazione del cluster. Il riferimento del campo è una tabella ordinabile. Fai clic sulle intestazioni di colonna per modificare l'ordinamento. Fai clic sul nome di un campo per visualizzarne la descrizione.

• La gcloud CLI e Terraform supportano solo l'aggiornamento dei cluster di amministrazione e utente. Devi utilizzare bmctl per aggiornare altri tipi di cluster.

• L'interfaccia a riga di comando gcloud e Terraform supportano solo le modifiche alle risorse del cluster e del pool di nodi. Devi utilizzare kubectl o bmctl per aggiornare altre risorse personalizzate che influiscono sul cluster.

Come aggiornare i cluster

In genere, per aggiornare un cluster devi eseguire la seguente sequenza di azioni:

bmctl

1. Modifica i valori dei campi applicabili nel file di configurazione del cluster, che per impostazione predefinita si trova qui:
   bmctl-workspace/CLUSTER-NAME/CLUSTER-NAME.yaml

2. Aggiorna il cluster eseguendo il comando bmctl update:

   bmctl update cluster -c CLUSTER_NAME --kubeconfig=KUBECONFIG
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster da aggiornare.
   • KUBECONFIG: per i cluster di amministrazione, ibridi o autonomi, inserisci il percorso del file kubeconfig del cluster. Per un cluster dell'utente, inserisci il percorso del file kubeconfig del cluster di amministrazione.

Non utilizzare bmctl update e kubectl apply -f in modo intercambiabile quando modifichi il file di configurazione del cluster. Quando questi comandi vengono utilizzati in modo intercambiabile, i contenuti inseriti dall'intestazione della specifica del cluster potrebbero essere rimossi involontariamente. Ad esempio, puoi utilizzare bmctl update per aggiornare il file di configurazione del cluster per configurare un mirror del registry. Il cluster viene quindi completato con spec.nodeConfig.registryMirrors dopo la riconciliazione.

Se poi tenti di apportare modifiche al cluster utilizzando la configurazione del cluster con il comando kubectl apply -f, il valore spec.nodeConfig.registryMirrors compilato dal riconciliatore sul cluster viene rimosso. Questo comportamento si verifica perché la configurazione non esiste nella specifica di configurazione del cluster, ma esiste nel cluster.

Interfaccia a riga di comando gcloud

1. Specifica solo i flag per la configurazione che vuoi modificare.

2. Esegui il comando di aggiornamento applicabile:

   • Cluster di amministrazione: gcloud container bare-metal admin-clusters update

   • Cluster di utenti: gcloud container bare-metal clusters update.

   • Pool di nodi in un cluster utente: gcloud container bare-metal node-pools update

Terraform

1. Modifica i valori dei campi applicabili nel file di configurazione Terraform utilizzato per creare il cluster o il pool di nodi. Consulta la documentazione di riferimento di Terraform per descrizioni dettagliate dei campi:

   • google_gkeonprem_bare_metal_admin_cluster

   • google_gkeonprem_bare_metal_cluster

   • google_gkeonprem_bare_metal_node_pool

2. Aggiorna la configurazione eseguendo il comando terraform apply.

Le sezioni seguenti descrivono alcuni esempi comuni per aggiornare un cluster esistente.

Aggiungere o rimuovere nodi in un cluster

Un pool di nodi è un gruppo di nodi all'interno di un cluster che hanno la stessa configurazione. Tieni presente che un nodo appartiene sempre a un pool di nodi. Per aggiungere un nuovo nodo a un cluster, devi aggiungerlo a un determinato pool di nodi. La rimozione di un nodo da un pool di nodi equivale alla rimozione del nodo dal cluster.

In Google Distributed Cloud sono disponibili tre tipi di pool di nodi: piano di controllo, bilanciatore del carico e pool di nodi worker. Le sezioni seguenti descrivono come aggiungere o rimuovere nodi da ogni tipo di pool di nodi.

bmctl

Aggiungi o rimuovi un nodo da un pool di nodi aggiungendo o rimuovendo l'indirizzo IP del nodo in una sezione specifica del file di configurazione del cluster. Il seguente elenco mostra quale sezione modificare per un determinato pool di nodi:

• Pool di nodi worker: aggiungi o rimuovi l'indirizzo IP del nodo nella sezione spec.nodes della specifica NodePool.
• Pool di nodi del control plane: aggiungi o rimuovi l'indirizzo IP del nodo nella sezione spec.controlPlane.nodePoolSpec.nodes della specifica Cluster.
• Pool di nodi del bilanciatore del carico: aggiungi o rimuovi l'indirizzo IP del nodo nella sezione spec.loadBalancer.nodePoolSpec.nodes della specifica Cluster.

Esempio: rimuovi un nodo worker

Ecco un file di configurazione del cluster di esempio che mostra le specifiche di due nodi worker:

---
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: nodepool1
  namespace: cluster-cluster1
spec:
  clusterName: cluster1
  nodes:
  - address: 192.0.2.1
  - address: 192.0.2.2

Per rimuovere un nodo:

1. (Facoltativo) Se il nodo da rimuovere esegue pod critici, innanzitutto imposta il nodo in modalità di manutenzione.

   Puoi monitorare il processo di svuotamento dei nodi per i nodi worker visualizzando i campi status.nodesDrained e status.nodesDraining nella risorsa NodePool.

2. Modifica il file di configurazione del cluster per eliminare la voce dell'indirizzo IP per il node.

3. Aggiorna il cluster:

   bmctl update cluster1 \
       --kubeconfig=ADMIN_KUBECONFIG
   

Interfaccia a riga di comando gcloud

Utilizza un comando update per aggiungere o rimuovere nodi. Il comando update che utilizzi e il flag in cui specifichi l'indirizzo IP dipendono dal tipo di pool di nodi che vuoi aggiornare:

• Pool di nodi worker: esegui gcloud container bare-metal node-pools update e specifica l'indirizzo IP nel flag --node-configs 'node-ip=IP_ADDRESS'.

• Pool di nodi del control plane in un cluster di amministrazione: esegui gcloud container bare-metal admin-clusters update e specifica l'indirizzo IP nel flag --control-plane-node-configs 'node-ip=IP_ADDRESS'.

• Pool di nodi del control plane in un cluster utente: esegui gcloud container bare-metal clusters update e specifica l'indirizzo IP nel flag --control-plane-node-configs 'node-ip=IP_ADDRESS'.

• Pool di nodi del bilanciatore del carico: esegui gcloud container bare-metal clusters update e specifica l'indirizzo IP nel flag --metal-lb-load-balancer-node-configs 'node-ip=IP_ADDRESS' o
  --bgp-load-balancer-node-configs 'node-ip=IP_ADDRESS'

Il flag in cui specifichi l'indirizzo IP accetta un solo node-ip. Devi includere il flag per ogni indirizzo IP nel pool di nodi.

I comandi update sostituiscono tutti gli indirizzi IP con quelli da te specificati. Per aggiungere un nodo, includi gli indirizzi IP dei nodi esistenti e l'indirizzo IP del nuovo nodo nel comando update. Analogamente, rimuovi i nodi includendo solo gli indirizzi IP di quelli che vuoi conservare.

Esempio: rimuovi un nodo worker

Questa sezione mostra come rimuovere un nodo worker da un pool di nodi utilizzando dati di esempio. Nei passaggi che seguono sono inclusi anche altri comandi gcloud CLI che potresti trovare utili.

1. (Facoltativo) Se il nodo da rimuovere esegue pod critici, innanzitutto imposta il nodo in modalità di manutenzione.

   Puoi monitorare il processo di svuotamento dei nodi per i nodi worker visualizzando i campi status.nodesDrained e status.nodesDraining nella risorsa NodePool.

2. Esegui il comando list per elencare tutti i pool di nodi nel cluster:

   gcloud container bare-metal node-pools list \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1
   

   L'output è simile al seguente:

   NAME         LOCATION     STATE
   node-pool-1  us-central1  RUNNING
   node-pool-2  asia-east1   RUNNING
   

3. Esegui il comando describe per elencare tutti gli indirizzi IP nel pool di nodi:

   gcloud container bare-metal node-pools describe node-pool-1 \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1
   

   L'output di esempio seguente è troncato per una migliore leggibilità:

   annotations:
     ...
     baremetal.cluster.gke.io/version: 1.31
   ...
   name: projects/example-project-12345/locations/us-central1/bareMetalClusters/abm-user-cluster1/bareMetalNodePools/node-pool-1
   nodePoolConfig:
     nodeConfigs:
     - nodeIp: 192.0.2.1
     - nodeIp: 192.0.2.2
     operatingSystem: LINUX
   state: RUNNING
   ...
   

   Tieni presente quanto segue nell'output di esempio:

   • Il campo name contiene il nome completo del pool di nodi. Quando specifichi il nome del pool di nodi in un comando, puoi specificare il nome completo o il nome del pool di nodi, ad esempio node-pool-1, insieme ai flag --cluster, --project e --location.

   • La sezione nodeConfigs contiene due campi nodeIp con gli indirizzi IP dei nodi.

4. Esegui il seguente comando per rimuovere il nodo con l'indirizzo IP 192.0.2.1:

   gcloud container bare-metal node-pools update node-pool-1 \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1 \
       --node-configs='node-ip=192.0.2.2'
   

   Il comando update sostituisce tutti gli indirizzi IP con quelli da te specificati. Poiché 192.0.2.1 non è incluso, il nodo viene rimosso.

   L'output del comando è simile al seguente:

   Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9] to complete
   

   Nell'output di esempio, la stringa operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9 è il OPERATION_ID dell'operazione a lunga esecuzione. Puoi scoprire lo stato dell'operazione eseguendo il seguente comando in un'altra finestra del terminale:

   gcloud container bare-metal operations describe operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9 \
       --project= example-project-12345 \
       --location=us-central1
   

   Puoi eseguire di nuovo il comando di tanto in tanto per controllare lo stato.

Se la rimozione del nodo non va a buon fine, puoi forzarne la rimozione dal cluster. Per maggiori dettagli, vedi Ripristinare un nodo non riuscito in Google Distributed Cloud.

Sostituire i nodi del control plane HA

bmctl

Puoi utilizzare bmctl per sostituire i nodi del control plane ad alta disponibilità (HA) in tutti i tipi di cluster.

Per sostituire un nodo in un cluster, svolgi i seguenti passaggi:

1. Rimuovi l'indirizzo IP del nodo dal file di configurazione del cluster.
2. Aggiorna il cluster.
3. Controlla lo stato dei nodi nel cluster.
4. Aggiungi l'indirizzo IP di un nuovo nodo allo stesso file di configurazione del cluster.
5. Aggiorna il cluster.

Esempio: sostituisci un nodo del piano di controllo HA

Ecco un file di configurazione del cluster di esempio che mostra tre nodi del piano di controllo in un cluster utente:

---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: user-cluster
namespace: cluster-user-cluster
spec:
  controlPlane:
  nodePoolSpec:
    nodes:
    - address: 192.0.2.11
    - address: 192.0.2.12
    - address: 192.0.2.13

Per sostituire l'ultimo nodo elencato nella sezione spec.controlPlane.nodePoolSpec.nodes, svolgi i seguenti passaggi:

1. Rimuovi il nodo eliminando la relativa voce dell'indirizzo IP nel file di configurazione del cluster. Dopo aver apportato questa modifica, il file di configurazione del cluster dovrebbe avere il seguente aspetto:

   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: Cluster
   metadata:
   name: user-cluster
   namespace: cluster-user-cluster
   spec:
     controlPlane:
     nodePoolSpec:
       nodes:
       - address: 192.0.2.11
       - address: 192.0.2.12
   

2. Aggiorna il cluster eseguendo il seguente comando:

   bmctl update cluster -c CLUSTER_NAME \
     --kubeconfig=KUBECONFIG
   

   Apporta le seguenti modifiche:

   • Sostituisci CLUSTER_NAME con il nome del cluster da aggiornare.
   • Se il cluster è autonomo (ad esempio un cluster di amministrazione o autonomo), sostituisci KUBECONFIG con il percorso del file kubeconfig del cluster. Se il cluster è un cluster utente, come in questo esempio, sostituisci KUBECONFIG con il percorso del file kubeconfig del cluster di amministrazione.

3. Dopo l'esecuzione corretta del comando bmctl update, è necessario un po' di tempo per completare i job machine-preflight e machine-init. Puoi visualizzare lo stato dei nodi e dei rispettivi pool di nodi eseguendo i comandi descritti nella sezione Verificare gli aggiornamenti di questo documento. Quando il pool di nodi e i nodi sono in stato di attesa, puoi procedere al passaggio successivo.

4. Aggiungi un nuovo nodo del control plane al pool di nodi aggiungendo l'indirizzo IP del nuovo nodo del control plane alla sezione spec.controlPlane.nodePoolSpec.nodes del file di configurazione del cluster. Dopo aver apportato questa modifica, il file di configurazione del cluster dovrebbe avere il seguente aspetto:

   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: Cluster
   metadata:
   name: user-cluster
   namespace: cluster-user-cluster
   spec:
     controlPlane:
     nodePoolSpec:
       nodes:
       - address: 192.0.2.11
       - address: 192.0.2.12
       - address: 192.0.2.14
   

5. Aggiorna il cluster eseguendo il seguente comando:

   bmctl update cluster -c CLUSTER_NAME \
     --kubeconfig=KUBECONFIG
   

Interfaccia a riga di comando gcloud

Puoi utilizzare l'interfaccia alla gcloud CLI per sostituire i nodi del control plane ad alta disponibilità (HA) nei cluster di amministrazione e utente.

Per sostituire un nodo in un cluster, svolgi i seguenti passaggi:

1. Rimuovi l'indirizzo IP del nodo eseguendo il comando update applicabile:

   • Cluster di utenti: gcloud container bare-metal clusters update
   • Cluster di amministrazione: gcloud container bare-metal admin-clusters update

2. Controlla lo stato della rimozione del nodo nel cluster eseguendo gcloud container bare-metal operations describe OPERATION_ID.

3. Aggiungi l'indirizzo IP del nuovo nodo eseguendo il comando update applicabile.

Esempio: sostituisci un nodo del piano di controllo HA

Questa sezione mostra come sostituire un control plane da un cluster utilizzando dati di esempio. Nei passaggi che seguono sono inclusi anche altri comandi gcloud CLI che potresti trovare utili.

1. Esegui il comando list per elencare tutti i cluster di utenti in un progettoGoogle Cloud :

   gcloud container bare-metal clusters list \
       --project=example-project-12345 \
       --location=-
   

   Se imposti --location=-, vengono elencati tutti i cluster in tutte le regioni. Se devi restringere l'ambito dell'elenco, imposta --location su una regione specifica.

   L'output è simile al seguente:

   NAME                 LOCATION      VERSION   ADMIN_CLUSTER        STATE
   abm-user-cluster1a   us-central1   1.31      abm-admin-cluster1   RUNNING
   abm-user-cluster1b   europe-west1  1.31      abm-admin-cluster1   RUNNING
   

2. Esegui il comando describe sul cluster:

   gcloud container bare-metal clusters describe abm-user-cluster1  \
       --project=example-project-12345 \
       --location=us-central1
   

   L'output di esempio è troncato per una migliore leggibilità:

   ...
   controlPlane:
     controlPlaneNodePoolConfig:
       nodePoolConfig:
         nodeConfigs:
         - nodeIp: 192.0.2.11
         - nodeIp: 192.0.2.12
         - nodeIp: 192.0.2.13
         operatingSystem: LINUX
   ...
   name: projects/example-project-1234567/locations/us-central1/bareMetalClusters/abm-user-cluster1a
   ...
   

   Tieni presente quanto segue nell'output di esempio:

   • Il campo name contiene il nome completo del cluster. Quando specifichi il nome del cluster in un comando, puoi specificare il nome completo o il nome del cluster, ad esempio abm-user-cluster1a, insieme a --project e --location flags.

   • La sezione nodeConfigs contiene tre campi nodeIp con gli indirizzi IP dei nodi del piano di controllo.

3. Rimuovi il nodo con l'indirizzo IP 192.0.2.13:

   gcloud container bare-metal cluster update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --control-plane-node-configs 'node-ip=192.0.2.11'
       --control-plane-node-configs 'node-ip=192.0.2.12'
   

   L'output del comando è simile al seguente:

   Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1956154681749-6078d9def4030-76686d6e-9fcb1d7] to complete
   

   Nell'output di esempio, la stringa operation-1956154681749-6078d9def4030-76686d6e-9fcb1de7 è il OPERATION_ID dell'operazione a lunga esecuzione. Puoi scoprire lo stato dell'operazione eseguendo il seguente comando in un'altra finestra del terminale:

   gcloud container bare-metal operations describe operation-1956154681749-6078d9def4030-76686d6e-9fcb1de7 \
       --project= example-project-12345 \
       --location=us-central1
   

   Puoi eseguire di nuovo il comando di tanto in tanto per controllare lo stato.

4. Aggiungi il nuovo nodo con l'indirizzo IP 192.0.2.14:

   gcloud container bare-metal cluster update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --control-plane-node-configs 'node-ip=192.0.2.11'
       --control-plane-node-configs 'node-ip=192.0.2.12'
       --control-plane-node-configs 'node-ip=192.0.2.14'
   

Verificare gli aggiornamenti

kubectl

Puoi visualizzare lo stato dei nodi e dei rispettivi pool di nodi con il comando kubectl get.

Ad esempio, il seguente comando mostra lo stato dei pool di nodi nello spazio dei nomi del cluster cluster-my-cluster:

kubectl -n cluster-my-cluster get nodepools.baremetal.cluster.gke.io

Il sistema restituisce risultati simili ai seguenti:

NAME                    READY   RECONCILING   STALLED   UNDERMAINTENANCE   UNKNOWN
cluster-my-cluster      3       0             0         0                  0
cluster-my-cluster-lb   2       0             0         0                  0
np1                     3       0             0         0                  0

Reconciling=1 indica che il passaggio di riconciliazione è ancora in corso. Devi aspettare che lo stato cambi in Reconciling=0.

Puoi anche controllare lo stato dei nodi di un cluster eseguendo il seguente comando:

kubectl get nodes --kubeconfig=KUBECONFIG

Interfaccia a riga di comando gcloud

Come descritto in precedenza, dopo aver eseguito un comando update, puoi controllare lo stato dell'operazione utilizzando gcloud container bare-metal operations describe OPERATIONS_ID. L'output del comando fornisce lo stato dei nodi, ad esempio:

  ...
  metrics:
  - intValue: '1'
    metric: NODES_RECONCILING
  - intValue: '2'
    metric: NODES_HEALTHY
  - intValue: '0'
    metric: NODES_FAILED
  - intValue: '0'
    metric: NODES_IN_MAINTENANCE
  - intValue: '3'
    metric: NODES_TOTAL
  stage: HEALTH_CHECK
...

Indipendentemente dallo strumento che utilizzi per aggiornare un pool di nodi, puoi ottenere lo stato corrente di un pool di nodi eseguendo il comando describe applicabile come mostrato in precedenza.

Per saperne di più su come diagnosticare i cluster, consulta Creare snapshot per la diagnosi dei cluster.

Pool di indirizzi del bilanciatore del carico

bmctl

La sezione addressPools contiene i campi per specificare i pool di bilanciamento del carico per i bilanciatori del carico MetalLB e BGP (Border Gateway Protocol). Puoi aggiungere altri pool di indirizzi per il bilanciamento del carico in qualsiasi momento, ma non puoi rimuovere i pool di indirizzi esistenti. A partire dalla versione 1.16.0 di Google Distributed Cloud, puoi modificare i valori di addressPools.avoidBuggyIPs e addressPools.manualAssign in qualsiasi momento.

addressPools:
- name: pool1
  addresses:
  - 198.51.100.0-198.51.100.4
  - 198.51.100.240/28
- name: pool2
  addresses:
  - 198.51.100.224/28

Interfaccia a riga di comando gcloud

Puoi aggiungere altri pool di indirizzi di bilanciamento del carico in qualsiasi momento per i bilanciatori del carico in bundle, ma non puoi rimuovere i pool di indirizzi esistenti. Il flag che specifichi in gcloud container bare-metal clusters update per aggiungere un pool di indirizzi dipende dal tipo di bilanciatore del carico in bundle:

• MetalLB (livello 2): utilizza il flag --metal-lb-address-pools.
• Border Gateway Protocol (BGP): utilizza il flag --bgp-address-pools.

Il valore dei flag ha il seguente formato:

'pool=NAME,avoid-buggy-ips=True|False,manual-assign=True|False,addresses=IP_ADDRESS_RANGE_1;IP_ADDRESS_RANGE_2;...' \

Il valore ha segmenti che iniziano con le parole chiave pool, avoid-buggy-ip, manual-assign e addresses. Separa ogni segmento con una virgola.

• pool: un nome scelto da te per il pool.

• avoid-buggy-ips: se imposti questo valore su True, il controller di gestione degli indirizzi IP (IPAM) non assegnerà indirizzi IP che terminano con .0 o .255 ai servizi. In questo modo si evita il problema dei dispositivi consumer con bug che eliminano erroneamente il traffico inviato a questi indirizzi IP speciali. Se non specificato, il valore predefinito è False. A partire dalla versione 1.16.0 di Google Distributed Cloud, puoi modificare questo valore in un pool di indirizzi esistente.

• manual-assign: se non vuoi che il controller IPAM assegni automaticamente gli indirizzi IP di questo pool ai servizi, imposta questo valore su True. Uno sviluppatore può quindi creare un servizio di tipo LoadBalancer e specificare manualmente uno degli indirizzi del pool. Se non specificato, manual-assign viene impostato su False. A partire dalla versione 1.16.0 di Google Distributed Cloud, puoi modificare questo valore in un pool di indirizzi esistente.

• Nell'elenco di addresses: ogni indirizzo deve essere un intervallo in formato CIDR o con trattini. Per specificare un singolo indirizzo IP in un pool (ad esempio per il VIP di ingresso), utilizza /32 in notazione CIDR (ad esempio 192.0.2.1/32).

Tieni presente le seguenti regole di sintassi:

• Racchiudi l'intero valore tra virgolette singole.
• Gli spazi vuoti non sono consentiti.
• Separa ogni intervallo di indirizzi IP con un punto e virgola.

Puoi specificare più di un'istanza del flag, come mostrato nel seguente esempio:

--metal-lb-address-pools='pool=pool2,avoid-buggy-ips=False,manual-assign=True,addresses=198.51.100.0/30;198.51.100.64-198.51.100.72'
--metal-lb-address-pools='pool=pool3,avoid-buggy-ips=True,manual-assign=True,addresses=203.0.113.0/28'

Per ulteriori informazioni sui pool di indirizzi del bilanciatore del carico, consulta loadBalancer.addressPools in Configura il bilanciamento del carico in bundle.

Evitare l'eliminazione involontaria del cluster

bmctl

Se aggiungi l'annotazione baremetal.cluster.gke.io/prevent-deletion: "true" al file di configurazione del cluster, non puoi eliminare il cluster. Ad esempio, l'esecuzione di kubectl delete cluster o bmctl reset cluster genera un errore.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: ci-10c3c6f4d9c698e
  namespace: cluster-ci-10c3c6f4d9c698e
  annotations:
    baremetal.cluster.gke.io/prevent-deletion: "true"
spec:
  clusterNetwork:

Interfaccia a riga di comando gcloud

Se specifichi il flag --add-annotations con il valore baremetal.cluster.gke.io/prevent-deletion="true", non puoi eliminare il cluster. Ad esempio:

1. Aggiungi l'annotazione per evitare l'eliminazione accidentale del cluster:

   gcloud container bare-metal clusters update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --add-annotations=baremetal.cluster.gke.io/prevent-deletion="true"
   

2. Prova a eliminare il cluster utente:

   gcloud container bare-metal clusters delete abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --force \
       --allow-missing
   

   La risposta del comando è simile alla seguente:

   ERROR: (gcloud.container.bare-metal.clusters.delete) INVALID_ARGUMENT:
   invalid request: admission webhook "vcluster.kb.io" denied the request:
   annotations[baremetal.cluster.gke.io/prevent-deletion]: Invalid value:
   "true": Annotation "baremetal.cluster.gke.io/prevent-deletion" should be
   removed in order to delete this cluster
   

   Per rimuovere l'annotazione, specifica --remove-annotations=baremetal.cluster.gke.io/prevent-deletion="true" nel comando update.

Ignorare i controlli preflight

Questa funzionalità è disponibile solo con bmctl update.

Il valore predefinito del campo bypassPreflightCheck è false. Se imposti questo campo su true nel file di configurazione del cluster, i controlli preflight interni vengono ignorati quando applichi le risorse ai cluster esistenti.

  apiVersion: baremetal.cluster.gke.io/v1
  kind: Cluster
  metadata:
    name: cluster1
    namespace: cluster-cluster1
    annotations:
      baremetal.cluster.gke.io/private-mode: "true"
  spec:
    bypassPreflightCheck: true

Aggiungere o rimuovere amministratori del cluster

bmctl

Puoi aggiungere o rimuovere un account utente o di servizio come amministratore del cluster per un cluster di utenti specificando gli indirizzi email nella sezione clusterSecurity.authorization.clusterAdmin.gcpAccounts del file di configurazione del cluster. Agli account viene concesso il ruolo cluster-admin, che permette di avere l'accesso completo al cluster.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  clusterSecurity:
    authorization:
      clusterAdmin:
        gcpAccounts:
        - [e-mail]
        - [e-mail]
        - [e-mail]

Quando aggiorni un cluster di utenti per aggiungere un account, assicurati di includere tutti gli account nell'elenco (sia esistenti che nuovi), perché bmctl update sovrascrive l'elenco con quanto specificato nel file di configurazione. Per rimuovere un account, rimuovilo dal file di configurazione del cluster ed esegui bmctl update.

Interfaccia a riga di comando gcloud

Puoi aggiungere o rimuovere un account utente o di servizio come amministratore del cluster specificando un indirizzo email nel flag --admin-users. Il flag accetta un solo indirizzo email. Per aggiungere più utenti, specifica un account in ogni indicatore, ad esempio:

gcloud container bare-metal clusters update abm-user-cluster1a \
    --project=example-project-12345 \
    --location=us-central1 \
    --admin-users=[e-mail] \
    --admin-users=[e-mail]
    --admin-users=[e-mail]

Il comando update sovrascrive l'intero elenco di concessioni. Specifica tutti gli utenti esistenti e nuovi che vuoi che siano amministratori del cluster.

Impostare un utente di accesso

Puoi specificare un nome utente non principale che vuoi utilizzare per l'accesso alle funzionalità sudo senza password alle macchine dei nodi del cluster. La tua chiave SSH, sshPrivateKeyPath, deve funzionare per l'utente specificato. Le operazioni di creazione e aggiornamento del cluster verificano che sia possibile accedere alle macchine dei nodi con l'utente e la chiave SSH specificati.

bmctl

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
  annotations:
    baremetal.cluster.gke.io/private-mode: "true"
spec:
  nodeAccess:
    loginUser: abm

Interfaccia a riga di comando gcloud

Specifica l'utente che vuoi utilizzare per accedere alle macchine dei nodi nel --login-user flag, ad esempio:

gcloud container bare-metal clusters update abm-user-cluster1a \
    --project=example-project-12345 \
    --location=us-central1 \
    --login-user=abm

Per attivare l'accesso sudo senza password per un utente, segui questi passaggi su ogni macchina del nodo del cluster:

1. Utilizza sudo visudo per aprire il file sudoers per la modifica:

   sudo visudo -f /etc/sudoers
   

   Il comando visudo blocca il file sudoers per impedire le modifiche simultanee e convalida la sintassi del file al momento del salvataggio.

2. Per l'utente di accesso, aggiungi una voce al file sudoers come la seguente:

   USERNAME ALL=(ALL) NOPASSWD: ALL
   

3. Chiudi e salva il file.

4. Per eseguire comandi con i privilegi dell'utente che ha eseguito l'accesso, esegui il seguente comando:

   su - USERNAME
   

5. Per verificare che non sia richiesta una password per l'utente di accesso per eseguire i comandi sudo, esegui il seguente comando sudo:

   sudo ip a
   

Networking avanzato

Le funzionalità di networking avanzate vengono configurate in varie risorse personalizzate dopo la creazione del cluster. Per utilizzare le risorse personalizzate e le funzionalità di rete correlate, devi attivare la rete avanzata quando crei il cluster.

bmctl

Imposta clusterNetwork.advancedNetworking su true nella configurazione del cluster quando lo crei:

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  clusterNetwork:
    ...
    advancedNetworking: true
    ...

Interfaccia a riga di comando gcloud

Includi il flag --enable-advanced-networking nel comando gcloud container bare-metal clusters create quando crei il cluster.

Dopo aver creato il cluster con la rete avanzata abilitata, puoi configurare le risorse personalizzate descritte in questa sezione utilizzando kubectl apply.

Nota: il comando gcloud container bare-metal clusters update non supporta la configurazione di queste risorse personalizzate.

NetworkGatewayGroup

La risorsa personalizzata NetworkGatewayGroup viene utilizzata per fornire indirizzi IP dinamici per funzionalità di rete avanzate, come il gateway NAT in uscita o la funzionalità di bilanciamento del carico in bundle con BGP.

apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
  name: default
  namespace: cluster-bm
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.2.100

Bilanciamento del carico BGP

Configura il bilanciamento del carico BGP (Border Gateway Protocol) nella risorsa del cluster e in altre risorse personalizzate. I comandi gcloud container bare-metal clusters create e update supportano la configurazione di BGP nella risorsa del cluster, ma non nelle risorse personalizzate.

Quando configuri i bilanciatori del carico integrati con BGP, il bilanciamento del carico del piano dati utilizza, per impostazione predefinita, gli stessi peer esterni specificati per il peering del piano di controllo. In alternativa, puoi configurare il bilanciamento del carico del piano dati separatamente, utilizzando la risorsa personalizzata BGPLoadBalancer e la risorsa personalizzata BGPPeer. Per ulteriori informazioni, consulta Configurare bilanciatori del carico integrati con BGP.

BGPLoadBalancer

apiVersion: networking.gke.io/v1
kind: BGPLoadBalancer
metadata:
  name: default
  namespace: cluster-bm
spec:
  peerSelector:
    cluster.baremetal.gke.io/default-peer: "true"

BGPPeer

apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm
  labels:
    cluster.baremetal.gke.io/default-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

Aumentare la copertura della rete di servizi

Per creare più servizi rispetto al limite iniziale, puoi ridurre la maschera IPv4 CIDR del servizio per aumentare la rete di servizi del cluster. La riduzione della maschera (il valore dopo "/") comporta un intervallo di rete più ampio. Puoi solo aumentare l'intervallo del CIDR del servizio IPv4. L'intervallo di emittenti non può essere ridotto, il che significa che la maschera (il valore dopo "/") non può essere aumentata.

bmctl

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  ...
  clusterNetwork:
    services:
      cidrBlocks:
        - 192.0.2.0/14
  ...

Interfaccia a riga di comando gcloud

Per aumentare l'intervallo del CIDR del servizio IPv4 in un cluster di utenti, specifica il nuovo intervallo nel flag --island-mode-service-address-cidr-blocks.

gcloud container bare-metal clusters update cluster1 \
    --project=example-project-12345 \
    --location=us-central1 \
    --island-mode-service-address-cidr-blocks=192.0.2.0/14

Configura le impostazioni di pull delle immagini kubelet

Kubelet viene eseguito su ogni nodo del cluster. Kubelet è responsabile del monitoraggio dei container su un nodo e dell'accertamento della loro integrità. Se necessario, kubelet esegue query e recupera le immagini da Container Registry.

Aggiornare manualmente le configurazioni di kubelet e mantenerle sincronizzate su tutti i nodi del cluster può essere complicato. A peggiorare le cose, le modifiche manuali alla configurazione di kubelet sui nodi andranno perse durante l'upgrade del cluster.

Per semplificare e rendere permanenti gli aggiornamenti sincronizzati, Google Distributed Cloud consente di specificare alcune impostazioni di kubelet per ciascuno dei node pool del cluster: nodi del piano di controllo, nodi del bilanciatore del carico e nodi worker. Le impostazioni si applicano a tutti i nodi di un determinato pool e rimangono invariate durante gli upgrade del cluster. I campi per queste impostazioni sono mutabili, quindi puoi aggiornarli in qualsiasi momento, non solo durante la creazione del cluster.

bmctl

I seguenti campi supportati controllano le operazioni di pull di Container Registry per kubelet:

Avviso: l'impostazione di registryBurst o registryPullQPS su un valore negativo provoca errori di aggiornamento del job per la configurazione di kubelet. Per risolvere il problema, aggiorna questi campi con valori positivi o rimuovili dalla specifica. Se il job di aggiornamento viene lasciato in stato di errore per molto tempo, può occupare lo spazio sul disco della macchina con i file di backup della configurazione di kubelet. Puoi trovare questi file di backup in /var/lib/kubelet/config.yaml.bkup.*. Se questi file di backup occupano troppo spazio su disco, puoi rimuoverli.

• registryBurst (valore predefinito: 10)
• registryPullQPS (valore predefinito: 5)
• serializeImagePulls (valore predefinito: true)

Per ulteriori informazioni su ciascuno dei campi di configurazione di kubelet, consulta il riferimento per i campi di configurazione del cluster.

Puoi specificare questi campi nelle sezioni kubeletConfig della specifica del cluster e della specifica del pool di nodi per i seguenti pool di nodi:

• Specifiche del cluster:
• Nodi del control plane spec.controlPlane.nodePoolSpec.kubeletConfig
• Nodi del bilanciatore del carico spec.loadBalancer.nodePoolSpec.kubeletConfig
• Specifica NodePool:
• Nodi worker spec.kubeletConfig

L'esempio seguente mostra i campi aggiunti con i relativi valori predefiniti nel file di configurazione del cluster. Tieni presente che l'annotazione preview.baremetal.cluster.gke.io/custom-kubelet: "enable" è obbligatoria.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
  annotations:
    preview.baremetal.cluster.gke.io/custom-kubelet: "enable"
spec:
  ...
  controlPlane:
    nodePoolSpec:
      kubeletConfig:
        registryBurst: 10
        registryPullQPS: 5
        serializeImagePulls: true
  ...
  loadBalancer:
    nodePoolSpec:
      kubeletConfig:
        registryBurst: 10
        registryPullQPS: 5
        serializeImagePulls: true
  ...
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: node-pool-new
  namespace: cluster-cluster1
spec:
  clusterName: cluster1
  ...
  kubeletConfig:
    registryBurst: 10
    registryPullQPS: 5
    serializeImagePulls: true

In ogni caso, l'impostazione si applica a tutti i nodi del pool.

Interfaccia a riga di comando gcloud

I seguenti flag controllano le operazioni di pull di Container Registry per kubelet:

• Nodi del control plane

  • --control-plane-registry-burst
  • --control-plane-registry-pull-qps
  • --disable-control-plane-serialize-image-pulls
  • --enable-control-plane-serialize-image-pulls

• Nodi del bilanciatore del carico

  • --bgp-load-balancer-registry-burst
  • --bgp-load-balancer-registry-pull-qps
  • --disable-bgp-load-balancer-serialize-image-pulls
  • --enable-bgp-load-balancer-serialize-image-pulls
  • --metal-lb-load-balancer-registry-burst
  • --metal-lb-load-balancer-registry-pull-qps
  • --disable-metal-lb-load-balancer-serialize-image-pull
  • --enable-metal-lb-load-balancer-serialize-image-pulls

• Nodi worker

  • --registry-burst
  • --registry-pull-qps
  • --disable-serialize-image-pulls
  • --enable-serialize-image-pulls

Avviso: l'impostazione dei flag *-registryburst o *-registry-pull-qps su un valore negativo comporta errori di aggiornamento del job per la configurazione di kubelet. Per risolvere il problema, aggiorna questi campi con valori positivi. Se il job di aggiornamento viene lasciato in stato di errore per molto tempo, può occupare tutto lo spazio su disco della macchina con i file di backup della configurazione di kubelet. Puoi trovare questi file di backup in /var/lib/kubelet/config.yaml.bkup.*. Se questi file di backup occupano troppo spazio su disco, puoi rimuoverli.

Come utilizzarlo

Ecco alcune considerazioni per ottimizzare i tiri delle immagini:

• Poiché le immagini vengono estratte in serie per impostazione predefinita, un estrazione di immagini che richiede molto tempo può ritardare tutte le altre estrazioni di immagini pianificate su un nodo. I recuperi delle immagini in ritardo possono bloccare il processo di upgrade (in particolare quando è necessario eseguire il deployment di nuove immagini Google Distributed Cloud su un nodo). Se i ritardi di estrazione delle immagini ti riguardano, puoi disattivare l'estrazione serializzata delle immagini per consentire l'estrazione parallela delle immagini.

• Se riscontri errori di throttling del pull delle immagini, ad esempio pull QPS exceeded, ti consigliamo di aumentare *-registry-pull-qps e *-registry-burst per aumentare il throughput del pull delle immagini. Questi due campi regolano la frequenza di estrazione e le dimensioni della coda e possono contribuire a risolvere altri problemi correlati alla limitazione. I valori negativi non sono consentiti.

Documentazione di riferimento

bmctl

• Riferimento ai comandi bmctl

• Riferimento per i campi di configurazione del cluster

Interfaccia a riga di comando gcloud

• gcloud container bare-metal clusters

• gcloud container bare-metal node-pools

• gcloud container bare-metal admin-clusters

Terraform

• google_gkeonprem_bare_metal_cluster

• google_gkeonprem_bare_metal_node_pool

• google_gkeonprem_bare_metal_admin_cluster