Mencadangkan dan memulihkan cluster admin

Version 1.15 

• Versi terbaru
• Versi 1.16
• Versi sebelumnya (tidak didukung)

Dokumen ini menunjukkan cara mencadangkan dan memulihkan penyimpanan etcd untuk cluster admin. Dokumen ini juga menyediakan skrip yang dapat Anda gunakan untuk mencadangkan penyimpanan etcd cluster secara otomatis.

Anda dapat membuat file cadangan untuk pemulihan dari bencana yang diperkirakan yang dapat merusak data etcd cluster Anda. Simpan file cadangan di lokasi yang berada di luar cluster dan tidak bergantung pada operasi cluster.

Peringatan: Menggunakan file cadangan untuk memulihkan data etcd adalah upaya terakhir. Kami tidak merekomendasikan pemulihan dari file cadangan kecuali jika cluster benar-benar rusak. Hubungi dukungan Google untuk mendapatkan bantuan dalam memutuskan tindakan terbaik.

Batasan

• Prosedur ini tidak mencadangkan data khusus aplikasi.

• Prosedur ini tidak mencadangkan PersistentVolumes Anda.

• Beban kerja yang dijadwalkan setelah Anda membuat cadangan tidak dipulihkan dengan cadangan tersebut.

• Anda tidak dapat memulihkan cluster setelah upgrade gagal.

• Prosedur ini tidak dimaksudkan untuk memulihkan cluster yang telah dihapus.

Mencadangkan cluster admin

Catatan: Fitur pratinjau baru menyediakan cara yang lebih mudah untuk melakukan pencadangan. Lihat Mencadangkan dan memulihkan cluster admin dengan gkectl. Sebaiknya gunakan metode tersebut, bukan yang dijelaskan di bagian ini.

Cadangan cluster admin berisi hal berikut:

• Snapshot etcd cluster admin.
• Secret bidang kontrol admin, yang diperlukan untuk melakukan autentikasi ke cluster admin dan pengguna.

Selesaikan langkah-langkah berikut sebelum Anda membuat cadangan cluster admin:

1. Temukan alamat IP eksternal cluster admin, yang digunakan untuk SSH di bidang kontrol cluster admin:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get nodes -n kube-system -o wide | grep master

   dengan [ADMIN_CLUSTER_KUBECONFIG] adalah file kubeconfig cluster admin.

2. Buat kunci SSH yang disebut vsphere_tmp dari kunci pribadi cluster admin.

   Anda dapat menemukan kunci pribadi dari Secret cluster admin:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get secrets sshkeys -n kube-system -o yaml

   Dalam output perintah, Anda dapat menemukan kunci pribadi di kolom vsphere_tmp.

   Salin kunci pribadi ke vsphere_tmp:

   echo "[PRIVATE_KEY]" | base64 -d > vsphere_tmp; chmod 600 vsphere_tmp

3. Pastikan Anda dapat memasukkan ke bidang kontrol admin menggunakan kunci pribadi ini:

   ssh -i vsphere_tmp ubuntu@[EXTERNAL_IP]
   

4. Keluar dari container:

   exit

Mencadangkan penyimpanan etcd cluster admin

Untuk mencadangkan penyimpanan etcd cluster admin:

1. Dapatkan nama Pod etcd:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get pods \
       -n kube-system -l component=etcd,tier=control-plane -ojsonpath='{$.items[*].metadata.name}{"\n"}'

2. Lakukan {i>shell<i} ke dalam container kube-etcd Pod:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG]  exec -it \
       -n kube-system [ADMIN_ETCD_POD] -- bin/sh

   dengan [ADMIN_ETCD_POD] adalah nama Pod etcd.

3. Dari shell, gunakan etcdctl untuk membuat cadangan bernama snapshot.db di direktori lokal:

   ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt \
       --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
       --key=/etc/kubernetes/pki/etcd/healthcheck-client.key snapshot save /tmp/snapshot.db
   

4. Keluar dari container:

   exit

5. Salin cadangan dari container kube-etcd menggunakan kubectl cp:

   kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] cp \
   kube-system/[ADMIN_ETCD_POD]:tmp/snapshot.db [RELATIVE_DIRECTORY]
   

   dengan [RELATIVE_DIRECTORY] adalah jalur tempat Anda ingin menyimpan cadangan.

Mencadangkan Secret cluster admin

Untuk mencadangkan Secret bidang kontrol admin:

1. Gunakan SSH untuk terhubung ke node bidang kontrol admin:

   ssh -i vsphere_tmp ubuntu@EXTERNAL_IP
   

   Ganti EXTERNAL_IP dengan alamat IP eksternal bidang kontrol admin, yang telah Anda catat sebelumnya.

2. Opsional, tetapi sangat direkomendasikan: Buat direktori cadangan lokal.

   Anda perlu mengubah izin Rahasia pencadangan untuk menyalinnya dari node.

   mkdir backup

3. Salin Secret secara lokal ke direktori pencadangan lokal:

   sudo cp -r /etc/kubernetes/pki/* backup/

4. Ubah izin Secret cadangan:

   sudo chmod -R a+rX backup/

5. Keluar dari node bidang kontrol admin:

   exit

6. Jalankan scp untuk menyalin folder cadangan dari node bidang kontrol admin:

   sudo scp -r -i vsphere_tmp  ubuntu@EXTERNAL_IP:backup/ RELATIVE_DIRECTORY
   

   Ganti RELATIVE_DIRECTORY dengan jalur tempat Anda ingin menyimpan cadangan.

Memulihkan cluster admin

Catatan: Fitur pratinjau baru menyediakan cara yang lebih mudah untuk memulihkan cluster admin. Lihat Mencadangkan dan memulihkan cluster admin dengan gkectl.

Prosedur berikut membuat ulang cluster admin yang dicadangkan dan semua bidang kontrol pengguna yang dikelolanya saat snapshot etcd dibuat.

Catatan: Cluster pengguna masih dapat menjalankan beban kerja meskipun bidang kontrol pengguna tidak aktif. Namun, jika bidang kontrol pengguna tidak aktif, bidang tersebut tidak dapat menjadwalkan beban kerja baru atau yang diperbarui, atau menangani kegagalan cluster lainnya.

1. Jalankan scp untuk menyalin snapshot.db ke bidang kontrol admin:

   sudo scp -i vsphere_tmp snapshot.db ubuntu@[EXTERNAL_IP]:

   dengan [EXTERNAL_IP] adalah alamat IP eksternal bidang kontrol admin, yang telah Anda kumpulkan sebelumnya.

2. Masuk ke bidang kontrol admin:

   sudo ssh -i vsphere_tmp ubuntu@[EXTERNAL_IP]
   

3. Salin snapshot.db/ ke /mnt:

   sudo cp snapshot.db /mnt/

4. Buat direktori sementara, seperti backup:

   Catatan: Anda tidak perlu melakukan hal ini jika sudah ada folder cadangan yang berisi Secrets.

   mkdir backup

5. Keluar dari bidang kontrol admin:

   exit

6. Salin sertifikat ke backup/:

   sudo scp -r -i vsphere_tmp [BACKUP_CERT_FILE] ubuntu@[EXTERNAL_IP]:backup/

7. Masuk ke node bidang kontrol admin:

   ssh -i vsphere_tmp ubuntu@[EXTERNAL_IP]
   

   dengan [EXTERNAL_IP] adalah alamat IP eksternal bidang kontrol admin, yang telah Anda kumpulkan sebelumnya.

8. Hentikan kube-etcd dan kube-apiserver.

   sudo mv /etc/kubernetes/manifests/etcd.yaml /tmp/etcd.yaml

   sudo mv /etc/kubernetes/manifests/kube-apiserver.yaml /tmp/kube-apiserver.yaml

9. Salin Rahasia pencadangan ke /etc/kubernetes/pki/:

   sudo cp -r backup/* /etc/kubernetes/pki/

10. Jalankan etcdctl restore dengan Docker:

    sudo docker run --rm \
    -v '/mnt:/backup' \
    -v '/var/lib/etcd:/var/lib/etcd' --env ETCDCTL_API=3 'gcr.io/gke-on-prem-release/etcd-util:GKE_ON_PREM_VERSION' /bin/sh -c "etcdctl snapshot restore '/backup/snapshot.db'; rm -r /var/lib/etcd/*; mv /default.etcd/member/ /var/lib/etcd/"

11. Mulai ulang kube-etcd dan kube-apiserver.

    sudo mv /tmp/etcd.yaml /etc/kubernetes/manifests/etcd.yaml

    sudo mv /tmp/kube-apiserver.yaml /etc/kubernetes/manifests/kube-apiserver.yaml

12. Verifikasi bahwa kube-etcd dan kube-apiserver telah dimulai.

    sudo crictl ps -a

    Catatan: Jika kube-etcd atau kube-apiserver berada dalam status keluar Ikuti, pecahkan masalah pemulihan admin.

13. Salin /etc/kubernetes/admin.conf ke folder .kube agar dapat diakses dari workstation admin:

    mkdir -p [HOME]/.kube

    sudo cp -i /etc/kubernetes/admin.conf [HOME]/.kube/config

    sudo chown $(id -u):$(id -g) $HOME/.kube/config

14. Keluar dari bidang kontrol admin:

    exit

15. Salin file kubeconfig yang baru dibuat dari node admin:

    sudo scp -i vsphere_tmp ubuntu@[EXTERNAL_IP]:[HOME]/.kube/config kubeconfig

    sudo chown $(id -u):$(id -g) kubeconfig

    dengan:

    • [EXTERNAL_IP] adalah alamat IP eksternal bidang kontrol admin.
    • [HOME] adalah direktori utama pada node admin.

    Sekarang Anda dapat menggunakan file kubeconfig baru ini untuk mengakses cluster yang dipulihkan.

Memecahkan masalah pemulihan cluster admin

Jika mengalami masalah saat memulihkan cluster admin, Anda harus menghubungi Dukungan Google untuk menyelesaikan masalah cluster admin.

Sementara itu, Anda dapat memeriksa hal berikut untuk memecahkan masalah lebih lanjut.

1. Menemukan ID penampung etcd

   sudo crictl ps -a | grep [ADMIN_ETCD_POD]

   dengan [ADMIN_ETCD_POD] adalah nama Pod etcd.

2. Memeriksa log dari penampung dll

   sudo crictl logs [ETCD_CONTAINER_ID]

   dengan [ETCD_CONTAINER_ID] adalah ID container etcd.

3. Cari pesan log izin yang ditolak berikut ini seperti

   etcdserver: create snapshot directory error:mkdir /var/lib/etcd/member/snap: permission denied

4. Jika pesan izin ditolak ditemukan, perbarui kepemilikan /opt/data/var/lib/etcd/

   sudo chown -R 2001:2001 /opt/data/var/lib/etcd/

5. Verifikasi bahwa kube-etcd dan kube-apiserver telah dimulai.

   sudo crictl ps

Pencadangan cluster otomatis

Anda dapat menggunakan skrip yang diberikan di sini sebagai contoh tentang cara mencadangkan cluster Anda secara otomatis. Perhatikan bahwa skrip berikut tidak didukung, dan sebaiknya hanya digunakan sebagai referensi untuk menulis skrip yang lebih baik, lebih andal, dan lengkap. Sebelum menjalankan skrip, isi nilai untuk lima variabel di awal skrip:

• Tetapkan BACKUP_DIR ke jalur tempat Anda ingin menyimpan cadangan cluster admin dan pengguna. Jalur ini tidak boleh ada.
• Tetapkan ADMIN_CLUSTER_KUBECONFIG ke jalur file kubeconfig cluster admin
• Tetapkan USER_CLUSTER_NAMESPACE ke nama cluster pengguna Anda. Nama cluster pengguna Anda adalah namespace di cluster admin.
• Tetapkan EXTERNAL_IP ke VIP yang Anda pesan untuk layanan bidang kontrol admin.
• Setel SSH_PRIVATE_KEY ke jalur kunci SSH.
• Jika Anda menggunakan jaringan pribadi, setel JUMP_IP ke alamat IP server lompatan jaringan Anda.

#!/usr/bin/env bash

# Automates manual steps for taking backups of user and admin clusters.
# Fill in the variables below before running the script.

BACKUP_DIR=""                       # path to store user and admin cluster backups
ADMIN_CLUSTER_KUBECONFIG=""         # path to admin cluster kubeconfig
USER_CLUSTER_NAMESPACE=""           # user cluster namespace
EXTERNAL_IP=""                      # admin control plane node external ip - follow steps in documentation
SSH_PRIVATE_KEY=""                  # path to vsphere_tmp ssh private key - follow steps in documentation
JUMP_IP=""                          # network jump server IP - leave empty string if not using private network.

mkdir -p $BACKUP_DIR
mkdir $BACKUP_DIR/pki

# USER CLUSTER BACKUP

# Snapshot user cluster etcd
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} exec -it -n ${USER_CLUSTER_NAMESPACE} kube-etcd-0 -c kube-etcd -- /bin/sh -ec "export ETCDCTL_API=3; etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etcd.local.config/certificates/etcdCA.crt --cert=/etcd.local.config/certificates/etcd.crt --key=/etcd.local.config/certificates/etcd.key snapshot save /tmp/${USER_CLUSTER_NAMESPACE}_snapshot.db"
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} cp ${USER_CLUSTER_NAMESPACE}/kube-etcd-0:tmp/${USER_CLUSTER_NAMESPACE}_snapshot.db $BACKUP_DIR/user-cluster_${USER_CLUSTER_NAMESPACE}_snapshot.db

# ADMIN CLUSTER BACKUP

# Set up ssh options
SSH_OPTS=(-oStrictHostKeyChecking=no -i ${SSH_PRIVATE_KEY})
if [ "${JUMP_IP}" != "" ]; then
    SSH_OPTS+=(-oProxyCommand="ssh -oStrictHostKeyChecking=no -i ${SSH_PRIVATE_KEY} -W %h:%p ubuntu@${JUMP_IP}")
fi

# Copy admin certs
ssh "${SSH_OPTS[@]}" ubuntu@${EXTERNAL_IP} 'sudo chmod -R a+rX /etc/kubernetes/pki/*'
scp -r "${SSH_OPTS[@]}" ubuntu@${EXTERNAL_IP}:/etc/kubernetes/pki/* ${BACKUP_DIR}/pki/

# Snapshot admin cluster etcd
admin_etcd=$(kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} get pods -n kube-system -l component=etcd,tier=control-plane -ojsonpath='{$.items[*].metadata.name}{"\n"}')
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} exec -it -n kube-system ${admin_etcd} -- /bin/sh -ec "export ETCDCTL_API=3; etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt --key=/etc/kubernetes/pki/etcd/healthcheck-client.key snapshot save /tmp/admin_snapshot.db"
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} cp -n kube-system ${admin_etcd}:tmp/admin_snapshot.db $BACKUP_DIR/admin-cluster_snapshot.db

Langkah selanjutnya

• Mencadangkan dan memulihkan cluster pengguna
• Pelajari cara mendiagnosis masalah cluster
• Pelajari augur, alat open source untuk memulihkan objek individual dari cadangan etcd.