Esegui il backup e ripristina un cluster di amministrazione

Questo documento mostra come eseguire il backup e ripristinare lo store etcd per un amministratore creato con Google Distributed Cloud (solo software) per VMware. Questo documento fornisce anche uno script che puoi utilizzare eseguire automaticamente il backup dell'archivio etcd di un cluster. Puoi anche effettuare backup e ripristino di un cluster di amministrazione mediante lo gkectlstrumento a riga di comando.

Puoi creare un file di backup per il ripristino da emergenze impreviste che potrebbero danneggiare i dati etcd del cluster. Archivia il file di backup in una posizione all'esterno del cluster e non dipende dal funzionamento del cluster.

Nota: l'utilizzo di uno strumento di backup di terze parti, come Veeam, per eseguire il backup di un amministratore non è supportato. Il backup del cluster con uno strumento di terze parti potrebbe a errori imprevisti nelle operazioni del cluster.

Limitazioni

La procedura di backup e ripristino descritta in questo documento prevede quanto segue: limitazioni:

• Questa procedura non esegue il backup dei dati specifici dell'applicazione.

• Questa procedura non esegue il backup degli oggetti PersistentVolume.

• I carichi di lavoro pianificati dopo la creazione di un backup non vengono ripristinati con questo backup.

• Non puoi ripristinare un cluster dopo un upgrade non riuscito.

• Questa procedura non è pensata per ripristinare un cluster eliminato.

Avviso :l'utilizzo di un file di backup per ripristinare i dati etcd è l'ultima risorsa. Me non consigliare il ripristino da un file di backup a meno che il cluster non sia completamente non funzionante. Contatta l'Assistenza Google per ricevere aiuto a decidere la linea d'azione migliore.

Per ulteriori informazioni sulle limitazioni, vedi Incompatibilità dell'infrastruttura.

Backup di un cluster di amministrazione

Nota: una nuova funzionalità in anteprima offre un modo più semplice per eseguire i backup. Vedi Eseguire il backup e ripristinare un cluster di amministrazione con gkectl. Valuta la possibilità di utilizzare questo metodo anziché quello descritto in questa sezione.

Un backup del cluster di amministrazione contiene quanto segue:

• Uno snapshot dell' etcd del cluster di amministrazione.
• I secret del piano di controllo amministratore, necessari per l'autenticazione nel di amministrazione e utente.

Completa i seguenti passaggi prima di creare un backup del cluster di amministrazione:

1. Trova l'indirizzo IP esterno del cluster di amministrazione, che viene utilizzato per accedere tramite SSH di controllo del cluster di amministrazione:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get nodes -n kube-system -o wide | grep master

   dove [ADMIN_CLUSTER_KUBECONFIG] è il campo kubeconfig del cluster di amministrazione .

2. Crea una chiave SSH denominata vsphere_tmp dalla chiave privata del cluster di amministrazione.

   Puoi trovare la chiave privata nei secret del cluster di amministrazione:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get secrets sshkeys -n kube-system -o yaml

   Nell'output comando puoi trovare la chiave privata nel vsphere_tmp .

   Copia la chiave privata in vsphere_tmp:

   echo "[PRIVATE_KEY]" | base64 -d > vsphere_tmp; chmod 600 vsphere_tmp

3. Verifica di poter accedere al piano di controllo amministratore utilizzando questa chiave privata:

   ssh -i vsphere_tmp ubuntu@[EXTERNAL_IP]
   

4. Esci dal contenitore:

   exit

Backup dell'archivio etcd di un cluster di amministrazione in corso...

Per eseguire il backup dell'archivio etcd del cluster di amministrazione:

1. Ottieni il nome del pod etcd:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get pods \
       -n kube-system -l component=etcd,tier=control-plane -ojsonpath='{$.items[*].metadata.name}{"\n"}'

2. Accedi alla shell nel container kube-etcd del pod:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG]  exec -it \
       -n kube-system [ADMIN_ETCD_POD] -- bin/sh

   dove [ADMIN_ETCD_POD] è il nome del pod etcd.

3. Dalla shell, utilizza etcdctl per creare un backup denominato snapshot.db nel directory locale:

   ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt \
       --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
       --key=/etc/kubernetes/pki/etcd/healthcheck-client.key snapshot save /tmp/snapshot.db
   

4. Esci dal contenitore:

   exit

5. Copia il backup dal container kube-etcd utilizzando kubectl cp:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] cp \
   kube-system/[ADMIN_ETCD_POD]:tmp/snapshot.db [RELATIVE_DIRECTORY]
   

   dove [RELATIVE_DIRECTORY] è un percorso in cui vuoi archiviare la copia di backup.

Backup dei secret di un cluster di amministrazione

Per eseguire il backup dei secret del piano di controllo amministratore:

1. Utilizza SSH per connetterti al nodo del piano di controllo amministratore:

   ssh -i vsphere_tmp ubuntu@EXTERNAL_IP
   

   Sostituisci EXTERNAL_IP con il nome del piano di controllo amministratore all'indirizzo IP esterno, annotato in precedenza.

2. Facoltativo ma vivamente consigliato: crea una directory di backup locale.

   Devi modificare i secret di backup autorizzazioni per copiarle nodo.

   mkdir backup

3. Copia a livello locale i secret nella directory di backup locale:

   sudo cp -r /etc/kubernetes/pki/* backup/

4. Modifica le autorizzazioni dei secret di backup:

   sudo chmod -R a+rX backup/

5. Esci dal nodo del piano di controllo amministratore:

   exit

6. Esegui scp per copiare la cartella di backup dal nodo del piano di controllo amministratore:

   sudo scp -r -i vsphere_tmp  ubuntu@EXTERNAL_IP:backup/ RELATIVE_DIRECTORY
   

   Sostituisci RELATIVE_DIRECTORY con un percorso in cui vuoi archiviare il backup.

Ripristino di un cluster di amministrazione

Nota: una nuova funzionalità in anteprima fornisce un modo più semplice per ripristinare un cluster di amministrazione. Vedi Eseguire il backup e ripristinare il cluster di amministrazione con gkectl.

La seguente procedura ricrea un cluster di amministrazione di cui è stato eseguito il backup e dei piani di controllo gestiti al momento della creazione dello snapshot etcd.

Nota: il cluster utente può comunque eseguire i carichi di lavoro anche se il controllo l'aereo è inattivo. Tuttavia, se un piano di controllo utente non è attivo, pianificare carichi di lavoro nuovi o aggiornati o gestire altri errori del cluster.

1. Esegui scp per copiare snapshot.db nel piano di controllo amministratore:

   sudo scp -i vsphere_tmp snapshot.db ubuntu@[EXTERNAL_IP]:

   dove [EXTERNAL_IP] è l'IP esterno del piano di controllo amministratore che hai raccolto in precedenza.

2. Accedi al piano di controllo amministratore tramite la shell:

   sudo ssh -i vsphere_tmp ubuntu@[EXTERNAL_IP]
   

3. Copia snapshot.db/ in /mnt:

   sudo cp snapshot.db /mnt/

4. Crea una directory temporanea, ad esempio backup:

   Nota: non è necessario eseguire questa operazione se è già presente una cartella di backup contenente i secret.

   mkdir backup

5. Esci dal piano di controllo amministratore:

   exit

6. Copia i certificati in backup/:

   sudo scp -r -i vsphere_tmp [BACKUP_CERT_FILE] ubuntu@[EXTERNAL_IP]:backup/

7. Accedi alla shell nel nodo del piano di controllo amministratore:

   ssh -i vsphere_tmp ubuntu@[EXTERNAL_IP]
   

   dove [EXTERNAL_IP] è l'IP esterno del piano di controllo amministratore che hai raccolto in precedenza.

8. Interrompi kube-etcd e kube-apiserver.

   sudo mv /etc/kubernetes/manifests/etcd.yaml /tmp/etcd.yaml

   sudo mv /etc/kubernetes/manifests/kube-apiserver.yaml /tmp/kube-apiserver.yaml

9. Copia i secret di backup in /etc/kubernetes/pki/:

   sudo cp -r backup/* /etc/kubernetes/pki/

10. Esegui etcdctl restore con Docker:

    sudo docker run --rm \
    -v '/mnt:/backup' \
    -v '/var/lib/etcd:/var/lib/etcd' --env ETCDCTL_API=3 'gcr.io/gke-on-prem-release/etcd-util:GKE_ON_PREM_VERSION' /bin/sh -c "etcdctl snapshot restore '/backup/snapshot.db'; rm -r /var/lib/etcd/*; mv /default.etcd/member/ /var/lib/etcd/"

11. Riavvia kube-etcd e kube-apiserver.

    sudo mv /tmp/etcd.yaml /etc/kubernetes/manifests/etcd.yaml

    sudo mv /tmp/kube-apiserver.yaml /etc/kubernetes/manifests/kube-apiserver.yaml

12. Verifica che kube-etcd e kube-apiserver siano iniziati.

    sudo crictl ps -a

    Nota: se lo stato di kube-etcd o kube-apiserver è uscito Segui questa pagina per risolvere i problemi di ripristino dell'amministratore.

13. Copia /etc/kubernetes/admin.conf in una cartella .kube in modo che sia accessibile dalla workstation di amministrazione:

    mkdir -p [HOME]/.kube

    sudo cp -i /etc/kubernetes/admin.conf [HOME]/.kube/config

    sudo chown $(id -u):$(id -g) $HOME/.kube/config

14. Esci dal piano di controllo amministratore:

    exit

15. Copia il file kubeconfig appena generato dal nodo amministratore:

    sudo scp -i vsphere_tmp ubuntu@[EXTERNAL_IP]:[HOME]/.kube/config kubeconfig

    sudo chown $(id -u):$(id -g) kubeconfig

    dove:

    • [EXTERNAL_IP] è l'indirizzo IP esterno del piano di controllo amministratore.
    • [HOME] è la home directory sul nodo di amministrazione.

    Ora puoi utilizzare questo nuovo file kubeconfig per accedere al cluster ripristinato.

Risoluzione dei problemi di ripristino di un cluster di amministrazione

Se si verifica un problema durante il ripristino del cluster di amministrazione, devi contattare l'Assistenza Google per risolvere il problema con il cluster di amministrazione.

Nel frattempo, puoi controllare i seguenti aspetti per risolvere il problema.

1. Trovare l'ID container etcd

   sudo crictl ps -a | grep [ADMIN_ETCD_POD]

   dove [ADMIN_ETCD_POD] è il nome del pod etcd.

2. Esamina i log del container etc

   sudo crictl logs [ETCD_CONTAINER_ID]

   dove [ETCD_CONTAINER_ID] è l'ID del container etcd.

3. Cerca i seguenti messaggi di log delle autorizzazioni negate, ad esempio

   etcdserver: create snapshot directory error:mkdir /var/lib/etcd/member/snap: permission denied

4. Se vengono rilevati messaggi di autorizzazione negata, aggiorna la proprietà di /opt/data/var/lib/etcd/

   sudo chown -R 2001:2001 /opt/data/var/lib/etcd/

5. Verifica che kube-etcd e kube-apiserver siano iniziati.

   sudo crictl ps

Backup automatico del cluster

Puoi utilizzare lo script qui fornito come esempio su come eseguire automaticamente il backup dei cluster. Tieni presente che il seguente script non è supportato e deve essere utilizzato solo come riferimento per scrivere uno script migliore, più efficace e completo. Prima del giorno esegui lo script, inserisci i valori per le cinque variabili all'inizio lo script:

• Imposta BACKUP_DIR sul percorso in cui vuoi archiviare l'amministratore e l'utente backup del cluster. Questo percorso non deve esistere.
• Imposta ADMIN_CLUSTER_KUBECONFIG sul percorso kubeconfig del cluster di amministrazione file
• Imposta USER_CLUSTER_NAMESPACE sul nome del cluster utente. Il nome del il cluster utente è uno spazio dei nomi nel cluster di amministrazione.
• Imposta EXTERNAL_IP sul VIP che hai prenotato per il piano di controllo amministratore completamente gestito di Google Cloud.
• Imposta SSH_PRIVATE_KEY sul percorso Chiave SSH.
• Se stai utilizzando una rete privata, imposta JUMP_IP sul salto di rete all'indirizzo IP del server.

#!/usr/bin/env bash
 
# Automates manual steps for taking backups of user and admin clusters.
# Fill in the variables below before running the script.
 
BACKUP_DIR=""                       # path to store user and admin cluster backups
ADMIN_CLUSTER_KUBECONFIG=""         # path to admin cluster kubeconfig
USER_CLUSTER_NAMESPACE=""           # user cluster namespace
EXTERNAL_IP=""                      # admin control plane node external ip - follow steps in documentation
SSH_PRIVATE_KEY=""                  # path to vsphere_tmp ssh private key - follow steps in documentation
JUMP_IP=""                          # network jump server IP - leave empty string if not using private network.
 
mkdir -p $BACKUP_DIR
mkdir $BACKUP_DIR/pki
 
# USER CLUSTER BACKUP
 
# Snapshot user cluster etcd
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} exec -it -n ${USER_CLUSTER_NAMESPACE} kube-etcd-0 -c kube-etcd -- /bin/sh -ec "export ETCDCTL_API=3; etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etcd.local.config/certificates/etcdCA.crt --cert=/etcd.local.config/certificates/etcd.crt --key=/etcd.local.config/certificates/etcd.key snapshot save /tmp/${USER_CLUSTER_NAMESPACE}_snapshot.db"
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} cp ${USER_CLUSTER_NAMESPACE}/kube-etcd-0:tmp/${USER_CLUSTER_NAMESPACE}_snapshot.db $BACKUP_DIR/user-cluster_${USER_CLUSTER_NAMESPACE}_snapshot.db 
 
# ADMIN CLUSTER BACKUP
 
# Set up ssh options
SSH_OPTS=(-oStrictHostKeyChecking=no -i ${SSH_PRIVATE_KEY})
if [ "${JUMP_IP}" != "" ]; then
    SSH_OPTS+=(-oProxyCommand="ssh -oStrictHostKeyChecking=no -i ${SSH_PRIVATE_KEY} -W %h:%p ubuntu@${JUMP_IP}")
fi
 
# Copy admin certs
ssh "${SSH_OPTS[@]}" ubuntu@${EXTERNAL_IP} 'sudo chmod -R a+rX /etc/kubernetes/pki/*'
scp -r "${SSH_OPTS[@]}" ubuntu@${EXTERNAL_IP}:/etc/kubernetes/pki/* ${BACKUP_DIR}/pki/
 
# Snapshot admin cluster etcd
admin_etcd=$(kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} get pods -n kube-system -l component=etcd,tier=control-plane -ojsonpath='{$.items[*].metadata.name}{"\n"}')
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} exec -it -n kube-system ${admin_etcd} -- /bin/sh -ec "export ETCDCTL_API=3; etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt --key=/etc/kubernetes/pki/etcd/healthcheck-client.key snapshot save /tmp/admin_snapshot.db"
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} cp -n kube-system ${admin_etcd}:tmp/admin_snapshot.db $BACKUP_DIR/admin-cluster_snapshot.db

Passaggi successivi

• Effettuare il backup e il ripristino di un cluster utente
• Scopri come diagnosticare i problemi dei cluster
• Scopri di più su agosto, una strumento open source per ripristinare singoli oggetti dai backup etcd.