6. Reset jika melakukan bootstrap ulang

Perkiraan waktu penyelesaian: 4 hari

Pemilik komponen yang dapat dioperasikan: HW

Profil keterampilan: engineer deployment

Selesaikan tugas berikut untuk mereset perangkat dan sistem yang berjalan di lingkungan air-gapped Google Distributed Cloud (GDC).

Peringatan: Reset hanya jika lingkungan yang sudah ada diinstal ulang. Jika Anda, misalnya, menerima sel Distributed Cloud baru, langsung buka Menyiapkan NetApp StorageGRID.

Catatan: Petunjuk dalam bagian ini mengasumsikan bahwa konektivitas jaringan ke antarmuka pengelolaan appliance telah disiapkan atau Anda memiliki akses langsung menggunakan switch konsol atau link langsung ke port pengelolaan dari workstation Anda.

6.1. Daftar Isi

1. Ringkasan Prosedur Reset
2. Reset Server HPE
3. Reset NetApp StorageGRID
4. Reset NetApp ONTAP
5. Reset HSM Thales
6. Reset Firewall Palo Alto
7. Reset Switch Cisco
8. Referensi Tambahan

6.2. Prasyarat dan Keamanan

6.2.1. Akses yang Diperlukan

• Akses Fisik: Akses ruang DC dengan peralatan crashcart
• Akses Jaringan: Konektivitas antarmuka pengelolaan atau akses konsol
• Kredensial: Akses administrator ke semua sistem
• Pencadangan: Pencadangan lengkap semua data rahasia dan konfigurasi

6.2.2. Checklist Keamanan

• [ ] Akses fisik ke infrastruktur
• [ ] Rahasia break-glass telah diamankan secara offline
• [ ] Cadangan infrastruktur (Jika diperlukan)

Peringatan: Sebelum melanjutkan, pastikan Anda memiliki salinan semua rahasia untuk tujuan breakglass dan memiliki akses ke ruang DC jika diperlukan, yang dilengkapi dengan crashcart.

6.3. Ringkasan Prosedur Reset

Prosedur reset zona sel GDC yang ada bertujuan untuk membebaskan semua peralatan HW dari ketergantungan apa pun, lalu mengembalikannya ke status fabric.

6.3.1. Dependensi Infrastruktur

Komponen memiliki interdependensi berikut yang menentukan urutan reset:

1. Server, NetApp ONTAP, dan NetApp StorageGrid mengandalkan perangkat HSM Thales karena perangkat tersebut menyediakan kunci enkripsi untuk ILO, disk, tenant, bucket.
2. Perangkat HSM Thales mengandalkan konektivitas firewall IDP/Perimeter dan switch Cisco.
3. Firewall Perimeter/IDP mengandalkan infrastruktur jaringan switch Cisco.
4. Switch Cisco perlu direset sebagai upaya terakhir karena konektivitas akan terganggu setelah direset.

6.3.2. Reset Pesanan (Kritis)

Ikuti urutan ini untuk mencegah penguncian sistem:

1. Server HPE - Hapus terlebih dahulu dependensi HSM
2. NetApp StorageGRID - Menghapus enkripsi dan mereset node
3. NetApp ONTAP - Menonaktifkan HSM dan mereset cluster
4. HSM Thales - Mereset ke setelan pabrik dan menghapus root tepercaya
5. Firewall - Mereset ke setelan pabrik untuk mengembalikan konfigurasi default
6. Switch Cisco - Reset terakhir (akan mengganggu konektivitas)

6.4. Penghapusan aman Hewlett Packard Enterprise

Ada tiga jenis operasi reset yang tersedia, yang masing-masing berfungsi sebagai metode alternatif untuk membersihkan konfigurasi iLO Key Manager. Tujuan utamanya adalah menghapus dependensi pada Modul Keamanan Hardware (HSM).

Umumnya, reset ke setelan pabrik ILO sudah cukup untuk membersihkan konfigurasi KMS, lalu pada bootstrap berikutnya, proses bootstrap Server akan menginisialisasi parameter BIOS setelan server, menghapus disk, dan menginisialisasi ulang server.

Catatan: Reset ini tidak mencakup reset disk. Reset disk akan dilakukan secara otomatis dan disediakan ulang selama Langkah 17 – Bootstrap Server.

Bagian ini membahas cara melakukan tiga jenis penghapusan:

1. Reset iLO ke setelan pabrik

2. Reset manual iLO

3. Penghapusan aman

Skrip penghapusan ini menggunakan contoh file CSV yang disebut example.csv. Sebelum melanjutkan, siapkan file CSV berikut:

    root@example-bootstrapper:/home/ubuntu/md# cat example.csv
    ip,passd
    10.251.248.62,XXXXXXXX
    10.251.248.64,XXXXXXXX
    10.251.248.66,XXXXXXXX
    10.251.248.68,XXXXXXXX
    10.251.248.70,XXXXXXXX
    10.251.248.72,XXXXXXXX
    10.251.248.74,XXXXXXXX
    10.251.248.76,XXXXXXXX

6.4.1. Reset iLO ke setelan pabrik

Selesaikan reset ke Setelan pabrik iLO reguler:

1. Buat file bernama serversreset.py, lalu tambahkan skrip Python berikut:

   import csv
   import argparse
   import requests
   import urllib3
   import json
   urllib3.disable_warnings()
   PARSER = argparse.ArgumentParser(prog='serversreset.py', \
       description='reset ilo to factory settings')
   PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
   ARGS = vars(PARSER.parse_args())
   headers = {'content-type': 'application/json'}
   payload = {'ResetType': 'Default'}
   url = '/redfish/v1/Managers/1/Actions/Oem/Hpe/HpeiLO.ResetToFactoryDefaults/'
   with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
       CSV_READER = csv.DictReader(csv_file)
       for row in CSV_READER:
         try:
           system = requests.post('https://'+row['ip']+url,data=json.dumps(payload),headers=headers,verify=False,auth=('administrator',row['passd']))
           systemData = system.json()
           print(systemData)
         except Exception as err:
           print(err)
   

2. Jalankan perintah berikut dan ganti example.csv dengan file CSV Anda:

   python3 serversreset.py -csv example.csv
   

   Output harus terlihat seperti berikut:

   {'error': {'code': 'iLO.0.10.ExtendedInfo', 'message': 'See @Message.ExtendedInfo for more information.', '@Message.ExtendedInfo': [{'MessageId': 'iLO.2.15.ResetInProgress'}]}}
   {'error': {'code': 'iLO.0.10.ExtendedInfo', 'message': 'See @Message.ExtendedInfo for more information.', '@Message.ExtendedInfo': [{'MessageId': 'iLO.2.15.ResetInProgress'}]}}
   {'error': {'code': 'iLO.0.10.ExtendedInfo', 'message': 'See @Message.ExtendedInfo for more information.', '@Message.ExtendedInfo': [{'MessageId': 'iLO.2.15.ResetInProgress'}]}}
   

6.4.2. Langkah-langkah iLO manual tambahan

Lakukan reset iLO manual menggunakan UI iLO:

1. Pilih iLO > Administration > Key Manager > Delete Settings.

2. Di dalam konsol BIOS, pilih System Utilities > System Configuration > Embedded Raid > Administration > Reset To Default.

3. Setel antarmuka ke netboot hanya untuk LOM1. Semua node GPU TIDAK memiliki kartu LOM1, tetapi memiliki kartu Intel.

4. Setel jaringan iLO ke DHCP.

6.4.3. Reset BIOS

Lakukan langkah-langkah berikut untuk mereset BIOS:

1. Buat file bernama biosreset.py, lalu tambahkan skrip Python berikut:

   import csv
   import argparse
   import requests
   import urllib3
   import json
   urllib3.disable_warnings()
   PARSER = argparse.ArgumentParser(prog='biosreset.py', \
       description='reset BIOS to factory settings')
   PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
   ARGS = vars(PARSER.parse_args())
   headers = {'content-type': 'application/json'}
   payload = {}
   with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
       CSV_READER = csv.DictReader(csv_file)
       for row in CSV_READER:
         try:
           system = requests.post('https://'+row['ip']+'/redfish/v1/systems/1/bios/Actions/Bios.ResetBios/',data=json.dumps(payload),headers=headers,verify=False,auth=('administrator',row['passd']))
           systemData = system.json()
           print(systemData)
         except Exception as err:
           print(err)
   

2. Jalankan perintah berikut dan ganti example.csv dengan file CSV Anda:

   python3 biosreset.py -csv example.csv
   

   Output harus terlihat seperti berikut:

   {'error': {'code': 'iLO.0.10.ExtendedInfo', 'message': 'See @Message.ExtendedInfo for more information.', '@Message.ExtendedInfo': [{'MessageId': 'iLO.2.15.SystemResetRequired'}]}}
   

3. Setelah menjalankan perintah, server akan berada dalam status aktif. Anda harus menjalankan skrip berikut untuk mematikan semua server:

   import csv
   import argparse
   import requests
   import urllib3
   import json
   urllib3.disable_warnings()
   PARSER = argparse.ArgumentParser(prog='power-ilo.py', \
       description='power off server')
   PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
   ARGS = vars(PARSER.parse_args())
   headers = {'content-type': 'application/json'}
   payload = {'ResetType': 'PushPowerButton'}
   with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
       CSV_READER = csv.DictReader(csv_file)
       for row in CSV_READER:
           try:
               system = requests.post(
                   'https://' + row['ip'] +
                   '/redfish/v1/systems/1/Actions/ComputerSystem.Reset/',
                   data=json.dumps(payload),
                   headers=headers,
                   verify=False,
                   auth=('administrator', row['passd']))
               systemData = system.json()
               if 'Success' in systemData['error']['@Message.ExtendedInfo'][0][
                       'MessageId']:
                   print(f"ilo with ip {row['ip']} succeeded")
                   #print(systemData)
               else:
                   print(f"ilo with ip {row['ip']} failed")
                   print(systemData)
           except Exception as err:
               print(err)
   

   Nonaktifkan server secara manual:

   python3 power-ilo.py -csv ~/servers.csv
   

   1. (Opsional) Untuk memeriksa status, gunakan skrip berikut:

   import csv
   import argparse
   import requests
   import urllib3
   import json
   urllib3.disable_warnings()
   PARSER = argparse.ArgumentParser(prog='ilostatus.py', \
   description='check power status of server')
   PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
   ARGS = vars(PARSER.parse_args())
   headers = {'content-type': 'application/json'}
   with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
       CSV_READER = csv.DictReader(csv_file)
       for row in CSV_READER:
         try:
           system = requests.get('https://'+row['ip']+'/redfish/v1/Systems/1',headers=headers,verify=False,auth=('administrator',row['passd']))
           systemData = system.json()
           print(f"ilo with ip {row['ip']} has power status of {systemData['PowerState']}")
           if 'Success' in systemData['error']['@Message.ExtendedInfo'][0]['MessageId']:
               print(f"ilo with ip {row['ip']} succeeded")
               print(systemData)
           else:
               print(f"ilo with ip {row['ip']} failed")
               print(systemData)
         except Exception as err:
           pass
   

   Jalankan perintah berikut:

   python3 ilostatus.py -csv ~/servers.csv
   

   Output harus terlihat seperti berikut:

   ilo with ip 172.22.112.96 has power status of Off
   ilo with ip 172.22.112.97 has power status of Off
   ilo with ip 172.22.112.98 has power status of Off
   ilo with ip 172.22.112.100 has power status of Off
   ilo with ip 172.22.112.101 has power status of Off
   ilo with ip 172.22.112.102 has power status of Off
   

   6.4.4. Penghapusan aman

Peringatan: Jangan lakukan penghapusan aman melalui iLO (Pengelolaan siklus proses yang disetel agar selalu aktif). Ada bug di UI yang menyebabkan drive SATA terus dihapus selama waktu yang tidak ditentukan. Lakukan penghapusan aman langsung melalui BIOS server HPE. Karena inkonsistensi dengan panggilan API, langkah-langkah manual berikut lebih stabil:

1. Tekan F10 di layar POST server. Tindakan ini akan meluncurkan Intelligent Provisioning.

2. Setelah Intelligent Provisioning diluncurkan, klik panah Bawah setelah First Time Setup Wizard untuk melewati wizard.

3. Lewati Perintah Wizard, klik Ya.

4. Klik Lakukan Pemeliharaan.

5. Klik One Button Secure Erase.

6. Pesan menunjukkan bahwa Anda tidak memiliki hak istimewa yang memadai. Klik Login, lalu masukkan kredensial administrator.

7. Klik Selesai.

8. Klik Kirim.

9. Konfirmasi bahwa Anda ingin melakukan penghapusan aman, lalu ketik HAPUS.

10. Klik HAPUS.

11. Klik Yes untuk konfirmasi.

12. Klik Luncurkan Sekarang di bagian Antrean pekerjaan.

13. Dalam waktu sekitar 2 menit atau kurang, ikuti perintah untuk mengklik Oke.

14. Komputer akan dimulai ulang, jangan sentuh apa pun selama sekitar 10 hingga 15 menit.

15. Setelah penghapusan aman selesai, kembali ke BIOS dengan mengklik F9 selama POST Boot.

16. Buka Embedded Applications > Integrated Management Log (IML) > View IML > OK. Pesan Penghapusan aman satu tombol selesai akan ditampilkan:

Peringatan: Jika Anda telah menyelesaikan langkah-langkah manual sebelumnya untuk melakukan reset, Anda harus melewati langkah-langkah berikut yang dimulai dengan "Lakukan langkah-langkah berikut untuk melakukan penghapusan data yang aman". Lakukan langkah-langkah berikut untuk melakukan penghapusan data yang aman:

1. Buat file bernama serversreset.py, lalu tambahkan skrip Python berikut:

   import csv
   import argparse
   import requests
   import urllib3
   import json
   urllib3.disable_warnings()
   PARSER = argparse.ArgumentParser(prog='secureerase.py', \
       description='reset ilo to factory settings')
   PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
   ARGS = vars(PARSER.parse_args())
   headers = {'content-type': 'application/json'}
   payload = {'SystemROMAndiLOErase': True , 'UserDataErase': True}
   with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
       CSV_READER = csv.DictReader(csv_file)
       for row in CSV_READER:
         try:
           system = requests.post('https://'+row['ip']+'/redfish/v1/Systems/1/Actions/Oem/Hpe/HpeComputerSystemExt.SecureSystemErase/',data=json.dumps(payload),headers=headers,verify=False,auth=('administrator',row['passd']))
           systemData = system.json()
           print(systemData)
         except Exception as err:
           print(err)
   

2. Jalankan perintah berikut dan ganti example.csv dengan file CSV Anda:

   python serversreset.py -csv example.csv
   

3. Setelah menjalankan perintah, server akan dalam keadaan nonaktif. Anda harus menyalakan server secara manual.

6.5. Reset perangkat NetApp StorageGRID

Peringatan: Operasi ini akan mengembalikan sistem ke setelan default pabrik. Gunakan dengan hati-hati. Anda harus membaca prasyarat sebelum mereset sistem StorageGRID.

Peringatan: Jika sistem diaktifkan dengan enkripsi node, enkripsi drive, atau keduanya, Anda harus melakukan langkah-langkah yang diuraikan dalam Menonaktifkan Enkripsi Situs HSM sebelum mereset perangkat NetApp StorageGRID.

6.5.1. Prasyarat

Sebelum mereset perangkat NetApp StorageGRID, pastikan Anda membaca berikut ini: - Jika sistem diaktifkan dengan enkripsi node dan/atau enkripsi drive, Anda harus melakukan langkah-langkah yang diuraikan dalam Menonaktifkan Enkripsi Situs HSM. Jika tidak, lanjutkan ke mereset sistem StorageGRID.

6.5.2. Menonaktifkan enkripsi situs HSM StorageGRID pada node Storage Controller

Untuk mendapatkan IP node Storage Controller (dua IP untuk setiap node penyimpanan):

$ kubectl get objectstoragestoragenodes -n gpc-system -o custom-columns="NAME:metadata.name,COMPUTE_NODEA_IP:.spec.network.controllerAManagementIP,COMPUTE_NODEB_IP:.spec.network.controllerBManagementIP"
NAME           COMPUTE_NODEA_IP    COMPUTE_NODEB_IP
ak-ac-objs01   172.22.210.166/24   172.22.210.167/24
ak-ac-objs02   172.22.210.170/24   172.22.210.171/24
ak-ac-objs03   172.22.210.174/24   172.22.210.175/24

Jika sistem StorageGRID sebelumnya diaktifkan dengan HSM, enkripsi harus dihapus sebelum melanjutkan reset ke setelan pabrik. Lakukan langkah-langkah ini untuk setiap node penyimpanan sebelum mereset perangkat. Jika tidak dilakukan, disk dan sistem dapat terkunci.

1. Login ke Situs Object Storage dan buka daftar node yang ada di sidebar.

2. Klik nama node penyimpanan.

3. Buka tab SANtricity System Manager.

4. Buka Setelan > Sistem > Pengelolaan kunci keamanan.

   

5. Pilih Nonaktifkan pengelolaan kunci eksternal, lalu ketik frasa sandi untuk mendownload kunci cadangan.

6.5.3. Reset ke setelan pabrik node Admin StorageGRID dan node Storage Compute

Untuk mendapatkan IP node Admin:

$ kubectl get objectstorageadminnodes -n gpc-system
NAME              SITE NAME       MANAGEMENT IP       READY   AGE
ak-ac-objsadm01   ak-obj-site-1   172.22.210.160/24   True    12d
ak-ac-objsadm02   ak-obj-site-1   172.22.210.162/24   True    12d

Untuk mendapatkan IP node Komputasi Penyimpanan:

$ kubectl get objectstoragestoragenodes -n gpc-system
NAME           SITE NAME       MANAGEMENT IP       READY   AGE
ak-ac-objs01   ak-obj-site-1   172.22.210.164/24   True    12d
ak-ac-objs02   ak-obj-site-1   172.22.210.168/24   True    12d
ak-ac-objs03   ak-obj-site-1   172.22.210.172/24   True    12d

Untuk mereset perangkat StorageGRID ke setelan pabrik, Anda harus menyelesaikan langkah-langkah berikut untuk setiap node (node Storage dan Admin) di situs:

1. Ambil IP pengelolaan untuk setiap node. Hal ini dapat diperoleh dari cell.yaml, dengan mencari ObjectStorageStorageNode dan ObjectStorageAdminNode. Hal ini juga dapat ditemukan dari resource node di cluster admin root.

2. Ambil sandi dan hubungkan ke node menggunakan SSH:

   • Jika node tidak menginstal StorageGRID, gunakan admin/bycast atau root/netapp1! sebagai nama pengguna dan sandi. Gunakan port SSH 8022 jika SSH tidak berfungsi.

   • Jika node telah menginstal StorageGRID, tetapi tidak ada penyiapan situs, gunakan admin/bycast atau root/bycast sebagai nama pengguna dan sandi.

   • Jika situs sudah disiapkan dan node adalah bagian dari situs:

     1. Ambil frasa sandi penyediaan. Nilai ini disimpan dalam secret bernama grid-secret, yang dapat ditemukan dalam file cell.yaml. Secara opsional, perintah berikut dapat dijalankan. Pastikan untuk mendekode sandi base64:

        echo $(kubectl get secret -n gpc-system grid-secret -ojsonpath="{.data.grid-management-provisioning-password}" | base64 -d)
        

     2. Di UI Situs Object Storage, buka Maintenance > System > Recovery package untuk mendownload paket pemulihan setelah memasukkan frasa sandi penyediaan.

        

     3. Setelah mendownload, ekstrak file tar. File ini akan berisi tarball lain: GIDXXXXX_REV1_SAID.zip. Ekstrak tarball tersebut untuk menemukan file Passwords.txt. Gunakan Password untuk akses ssh dan root, dan abaikan SSH Access Password.

        Contoh file:

        Password Data for Grid ID: 546285, Revision: 1
        Revision Prepared on: 2022-06-13 20:49:56 +0000
        
        Server "root" and "admin" Account Passwords
        Server Name            Password          SSH Access Password
        ____________________________________________________________
        alatl14-gpcstgeadm01   <removed>     <removed>
        alatl14-gpcstgeadm02   <removed>     <removed>
        alatl14-gpcstgecn01    <removed>     n/a
        alatl14-gpcstgecn02    <removed>     n/a
        alatl14-gpcstgecn03    <removed>     n/a
        

3. Buka konsol serial ke node atau hubungkan ke node menggunakan SSH:

   ssh -o ProxyCommand=None -o StrictHostKeyChecking=no \
   -o UserKnownHostsFile=/dev/null admin@<node-management-ip>
   

4. Masukkan kredensial untuk login. Untuk mendapatkan hak istimewa sudo, ketik su -, lalu masukkan sandi root yang diperoleh dari langkah kedua.

5. Masukkan perintah sgareinstall dan tekan y untuk melanjutkan mereset perangkat.

6. Jika enkripsi diaktifkan di perangkat, setelah reset selesai, ikuti langkah-langkah ini untuk menghapus kumpulan disk dan cache SSD.

6.5.4. Menghapus kumpulan disk dan cache SSD di node Pengontrol Penyimpanan

Untuk mendapatkan IP node Storage Controller (dua IP untuk setiap node penyimpanan):

$ kubectl get objectstoragestoragenodes -n gpc-system -o custom-columns="NAME:metadata.name,COMPUTE_NODEA_IP:.spec.network.controllerAManagementIP,COMPUTE_NODEB_IP:.spec.network.controllerBManagementIP"
NAME           COMPUTE_NODEA_IP    COMPUTE_NODEB_IP
ak-ac-objs01   172.22.210.166/24   172.22.210.167/24
ak-ac-objs02   172.22.210.170/24   172.22.210.171/24
ak-ac-objs03   172.22.210.174/24   172.22.210.175/24

Jika enkripsi diaktifkan di perangkat dan node telah direset setelah mengikuti bagian terakhir, kumpulan disk harus dihapus bersama dengan menghapus data di drive. Tindakan ini harus dilakukan sebelum mem-bootstrap ulang situs agar dapat membuat kumpulan disk baru. Ikuti langkah-langkah berikut untuk setiap node penyimpanan (Pengontrol Penyimpanan e2860) di situs (juga dikenal sebagai controllerAManagementIP):

1. Buka browser web untuk membuka https://<storage-node-controller-ip>:8443 dan masukkan kredensial. Jika Anda tidak memiliki akses ke kredensial SANtricity, ikuti langkah-langkah berikut.

2. Buka Storage > Pools & Volume Groups.

3. Menghapus Cache SSD:

   1. Pilih Cache SSD untuk menandainya.

   2. Pilih menu drop-down Uncommon Tasks, lalu klik Delete.

   

4. Hapus kumpulan disk:

   1. Pilih kumpulan disk untuk menandainya.

   2. Pilih menu drop-down Uncommon Tasks, lalu klik Delete.

   

5. Coba buat kumpulan disk baru. Dialog akan muncul yang memblokir pembuatan dan meminta untuk menghapus drive.

   

   Karena drive yang diaktifkan keamanan yang tidak ditetapkan tidak dapat digunakan untuk pembuatan pool, Anda harus menghapusnya terlebih dahulu. Klik tombol pilihan Ya - izinkan saya memilih drive yang ingin dihapus untuk operasi ini, lalu pilih semua drive yang akan dihapus. Konfirmasi operasi penghapusan dan klik Oke. Jangan melanjutkan untuk membuat pool baru.

   Catatan: Jika perintah tidak menghapus semua drive, batalkan pilihan satu atau dua drive, lalu coba lagi. Kemudian, ikuti langkah-langkah yang sama untuk menghapus drive yang tersisa.

6. Ikuti langkah-langkah yang diuraikan di bagian menghapus enkripsi node.

6.5.5. Menghapus enkripsi node di node Admin StorageGRID dan node Komputasi Penyimpanan

Untuk mendapatkan IP node Admin:

$ kubectl get objectstorageadminnodes -n gpc-system
NAME              SITE NAME       MANAGEMENT IP       READY   AGE
ak-ac-objsadm01   ak-obj-site-1   172.22.210.160/24   True    12d
ak-ac-objsadm02   ak-obj-site-1   172.22.210.162/24   True    12d

Untuk mendapatkan IP node Komputasi Penyimpanan:

$ kr get objectstoragestoragenodes -n gpc-system
NAME           SITE NAME       MANAGEMENT IP       READY   AGE
ak-ac-objs01   ak-obj-site-1   172.22.210.164/24   True    12d
ak-ac-objs02   ak-obj-site-1   172.22.210.168/24   True    12d
ak-ac-objs03   ak-obj-site-1   172.22.210.172/24   True    12d

Jika enkripsi diaktifkan di perangkat dan node telah direset setelah mengikuti langkah-langkah ini serta kumpulan disk dan cache SSD telah dihapus dengan langkah-langkah ini, lakukan langkah-langkah berikut di setiap node untuk menghapus enkripsi node:

1. Buka UI Penginstal Appliance StorageGRID.

2. Buka Configure Hardware > Node Encryption.

3. Klik Hapus Kunci KMS dan Hapus Data.

4. Setelah penghapusan dipicu, pengontrol akan dimulai ulang yang dapat memerlukan waktu sekitar 15 menit.

6.5.6. Menginstal ulang StorageGRID

1. Mulai ulang setiap node secara manual.

2. Buka konsol serial ke node, buka menu bootloader GRUB, lalu pilih StorageGRID Appliance: Force StorageGRID reinstall.

   

6.5.7. Mendapatkan kredensial SANtricity

1. Buka konsol serial ke salah satu pengontrol SANtricity.

2. Gunakan kredensial berikut untuk login:

   • nama pengguna: spri
   • sandi: SPRIentry

3. Setelah login, Anda akan melihat menu seperti ini:

   
   Service Interface Main Menu
   ==============================
   1)Display IP Configuration
   2)Change IP Configuration
   3)Reset Storage Array Administrator Password
   4)Display 7-segment LED codes
   5)Disable SAML
   6)Unlock remote admin account
   Q)Quit Menu
   Enter Selection: 3
   Are you sure that you want to reset the Storage Array Password ? (Y/N): Y
   Storage Array Password reset successful
   

4. Login ke pengontrol SANtricity dan reset sandi akan tersedia.

6.6. Reset perangkat NetApp ONTAP

Peringatan: Operasi ini akan mengembalikan sistem ke setelan default pabrik. Gunakan dengan hati-hati. Anda harus membaca prasyarat sebelum mereset perangkat Netapp ONTAP.

6.6.1. Prasyarat

Sebelum mereset perangkat NetApp ONTAP, pastikan Anda membaca berikut ini:

• Jika sistem sebelumnya diaktifkan dengan Modul Keamanan Hardware (HSM), Anda harus melakukan langkah-langkah yang diuraikan dalam Menonaktifkan Modul Keamanan Hardware sebelum mereset sistem ONTAP.

• Operasi ini adalah operasi destruktif yang menghapus semua data CipherTrust Manager, termasuk, tetapi tidak terbatas pada, kunci, cadangan, kunci cadangan, dan log sistem.

• Pastikan Anda memiliki cadangan CipherTrust Manager yang valid untuk semua data dan kunci cadangan.

• Jika HSM tersemat tersedia, HSM tersebut tidak direset sebagai bagian dari operasi ini.

• Opsional: Inisialisasi ulang HSM tersemat sangat direkomendasikan setelah operasi ini untuk mengonfigurasinya sebagai root of trust.

• Jika perangkat entri PIN jarak jauh (PED) digunakan, perangkat tersebut harus disambungkan kembali setelah penyelesaian.

• Operasi ini dapat memerlukan waktu hingga 15 menit. Pastikan Anda memiliki cadangan daya.

6.6.2. Menonaktifkan Modul Keamanan Hardware

Jika sistem sebelumnya diaktifkan menggunakan HSM, lakukan langkah-langkah ini sebelum mereset sistem ONTAP. Jika tidak dilakukan, disk dan sistem dapat terkunci. Jalankan perintah berikut di cluster ONTAP:

1. Tetapkan tingkat hak istimewa ke lanjutan:

   set -privilege advanced
   

2. Mencantumkan kunci data disk dan kunci autentikasi Federal Information Processing Standards (FIPS) yang digunakannya:

   storage encryption disk show
   

3. Untuk setiap disk dalam sistem, setel ID kunci autentikasi FIPS dan data untuk node kembali ke MSID 0x0 default:

   storage encryption disk modify -disk * -fips-key-id 0x0
   storage encryption disk modify -disk * -data-key-id 0x0
   

4. Konfirmasi bahwa operasi berhasil dengan:

   storage encryption disk show-status
   

5. Ulangi perintah show-status hingga Anda menerima Disks Begun == Disks Done. Output ini berarti operasi telah selesai.

   
   cluster1:: storage encryption disk show-status
               FIPS    Latest   Start               Execution   Disks   Disks Disks
   Node        Support Request  Timestamp           Time (sec)  Begun   Done  Successful
   -------     ------- -------- ------------------  ---------- ------ ------  ----------
   cluster1    true    modify   1/18/2022 15:29:38    3           14     5         5
   1 entry was displayed.
   

6. Hapus konfigurasi pengelola kunci eksternal:

   1. Jika koneksi HSM aktif, langsung buka langkah f. Jika koneksi HSM terputus, lanjutkan ke langkah b.

      cluster1::> security key-manager external show-status
      

      Catatan: Status available berarti koneksi HSM telah dibuat.

   2. Buka mode diag dengan menjalankan set -priv diag.

   3. Jalankan perintah berikut untuk menampilkan semua kunci enkripsi volume. debug smdb table kmip_external_key_cache_mdb_v2 show.

   4. Kumpulkan properti vserver-id.

   5. Jalankan perintah berikut untuk semua server kunci guna menghapus kunci: debug smdb table kmip_external_key_cache_mdb_v2 delete -vserver-id <vserver-id> -key-id * -key-server <key-server endpoint>.

   6. Hapus semua volume menggunakan antarmuka pengguna (UI) ONTAP atau hapus volume secara manual dari konsol.

      1. Jika menghapus dari konsol, Anda harus mengabaikan volume root untuk node. Biasanya memiliki nama vol0 dan memiliki salah satu node sebagai vserver. Volume apa pun dengan node sebagai vserver umumnya tidak diizinkan untuk dihapus dan tidak boleh dihapus.

      2. Jika volume lain selain vol0, dari langkah sebelumnya, tidak dapat dihapus dari UI, coba gunakan CLI:

         cluster1::> vol offline -volume volume_to_be_deleted -vserver vserve-id
         cluster1::> vol delete -volume volume_to_be_deleted -vserver vserver-id
         

      3. Untuk login ke cluster penyimpanan dari UI, dapatkan nama pengguna dan sandi dari secret dengan perintah berikut, dan ganti CELL_ID dengan ID unik sel yang Anda instal:

         kubectl get secret -n gpc-system ontap-CELL_ID-stge-clus-01-credential -o jsonpath='{.data.netapp_username}' | base64 --decode
         kubectl get secret -n gpc-system ontap-CELL_ID-stge-clus-01-credential -o jsonpath='{.data.netapp_password}' | base64 --decode
         

         Kemudian, buka Volumes, pilih semua, lalu klik Delete. Anda harus mengulanginya beberapa kali untuk setiap halaman. Catatan: Anda dapat mengabaikan error yang menyebabkan volume gagal dihapus dengan aman. Lihat pusat informasi NetApp untuk mengetahui detailnya.

         ag-stge-clus-01::*> vol show
         Vserver   Volume       Aggregate    State      Type       Size  Available Used%
         --------- ------------ ------------ ---------- ---- ---------- ---------- -----
         ag-ad-stge01-01 vol0   aggr0_ag_ad_stge01_01 online RW 151.3GB    84.97GB   40%
         ag-ad-stge01-02 vol0   aggr0_ag_ad_stge01_02 online RW 151.3GB    86.69GB   39%
         ag-ad-stge02-01 vol0   aggr0_ag_ad_stge02_01 online RW 151.3GB    83.62GB   41%
         ag-ad-stge02-02 vol0   aggr0_ag_ad_stge02_02 online RW 151.3GB    85.97GB   40%
         ag-ad-stge03-01 vol0   aggr0_ag_ad_stge03_01 online RW 151.3GB    89.19GB   37%
         ag-ad-stge03-02 vol0   aggr0_ag_ad_stge03_02 online RW 151.3GB    88.74GB   38%
         

   7. Setelah menghapus semua volume, jalankan perintah berikut untuk menghapus antrean pemulihan: recovery-queue purge-all -vserver <vserver>.

   8. Jalankan perintah berikut untuk menghapus pengelola kunci eksternal: clusterl::> security key-manager external remove-servers -vserver <CLUSTER_NAME> -key-servers <IP1:PORT,IP2:PORT,...>. Setelah langkah ini, Anda mungkin menerima error berikut:

      Error: command failed: The key server at "172.22.112.192" contains authentication keys that are
           currently in use and not available from any other configured key server.
      

      Error ini menunjukkan bahwa ada kunci yang tersisa. Untuk menghapus kunci yang tersisa, ikuti langkah-langkah berikut:

   9. Untuk mencantumkan kunci yang tersisa, jalankan perintah berikut:

      security key-manager key query
      

      Outputnya mirip dengan contoh berikut:

                     Node: ag-ad-stge01-01
                  Vserver: ag-stge-clus-01
              Key Manager: 172.22.112.192:5696
         Key Manager Type: KMIP
       Key Manager Policy: -
      Key Tag                               Key Type Encryption   Restored
      ------------------------------------  -------- ------------ --------
      ag-ad-stge01-01                       NSE-AK   AES-256      true
          Key ID: 00000000000000000200000000000100454007f1854b3e3f5c90756bc5cfa6cc0000000000000000
      

   10. Catat nilai Key ID dari output sebelumnya. Gunakan perintah security key-manager key delete -key-id + nilai ID Kunci untuk menghapus kunci yang tersisa:

       security key-manager key delete -key-id 00000000000000000200000000000100454007f1854b3e3f5c90756bc5cfa6cc0000000000000000
       

   11. Ulangi langkah i dan j untuk menghapus kunci yang tersisa. Setelah selesai, outputnya akan mirip dengan contoh berikut:

       ag-stge-clus-01::*> security key-manager key query
       No matching keys found.
       

       6.6.3. Mereset node ONTAP

Untuk mereset node ONTAP:

1. Mulai ulang node untuk mengakses menu booting menggunakan perintah system node reboot pada prompt sistem. Catatan: Anda dapat mengabaikan peringatan mulai ulang sistem dengan aman.

   Contoh:

   ag-stge-clus-01::> system reboot -node ag-ad-stge03-02
   Warning: Are you sure you want to reboot node "ag-ad-stge03-02"? {y|n}: y
   Error: Could not migrate LIFs away from node: Failed to migrate one or more LIFs away from node "ag-ad-stge03-02". Use the "network interface show -curr-node ag-ad-stge03-02" command to
           identify LIFs that could not be migrated off that node. Use the "network interface migrate" command to manually migrate the LIFs off the node.
           Reissue the command with "-skip-lif-migration-before-reboot" to skip the migration and continue with takeover.
   ag-stge-clus-01::> system reboot -node ag-ad-stge03-02 -skip-lif-migration-before-reboot
   Warning: Are you sure you want to reboot node "ag-ad-stge03-02"? {y|n}: y
   Connection to 172.22.115.134 closed.
   

   ag-stge-clus-01::> system reboot -node ag-ad-stge02-02
   Error: command failed: Taking node "ag-ad-stge02-02" out of service might result in a data service failure and client disruption for the entire cluster. If possible, bring an additional node
      online to improve the resiliency of the cluster and to ensure continuity of service. Verify the health of the node using the "cluster show" command, then try the command again, or
      provide "-ignore-quorum-warnings" to bypass this check.
   ag-stge-clus-01::> system reboot -node ag-ad-stge02-02  -ignore-quorum-warnings
   Warning: Are you sure you want to reboot node "ag-ad-stge02-02"? {y|n}: y
   Error: Could not migrate LIFs away from node: Failed to migrate one or more LIFs away from node "ag-ad-stge02-02". Use the "network interface show -curr-node ag-ad-stge02-02" command to
          identify LIFs that could not be migrated off that node. Use the "network interface migrate" command to manually migrate the LIFs off the node.
          Reissue the command with "-skip-lif-migration-before-reboot" to skip the migration and continue with takeover.
   ag-stge-clus-01::> system reboot -node ag-ad-stge02-02  -ignore-quorum-warnings -skip-lif-migration-before-reboot
   Warning: Are you sure you want to reboot node "ag-ad-stge02-02"? {y|n}: y
   Connection to 172.22.115.132 closed.
   

2. Jika Anda berada di menu LOADER, masukkan boot_ontap untuk melanjutkan proses mulai ulang. Selama proses mulai ulang, tekan Ctrl-C untuk menampilkan menu booting saat diminta melakukannya. Node menampilkan opsi berikut untuk menu booting:

   (1) Normal Boot.
   (2) Boot without /etc/rc.
   (3) Change password.
   (4) Clean configuration and initialize all disks.
   (5) Maintenance mode boot.
   (6) Update flash from backup config.
   (7) Install new software first.
   (8) Reboot node.
   (9) Configure Advanced Drive Partitioning
   Selection (1-9)?
   

3. Pilih opsi (9) Configure Advanced Drive Partitioning. Node menampilkan opsi berikut:

   * Advanced Drive Partitioning Boot Menu Options *
   *************************************************
   (9a) Destroy aggregates, unpartition all disks and remove their ownership information.
   (9b) Clean configuration and initialize node with partitioned disks.
   (9c) Clean configuration and initialize node with whole disks.
   (9d) Reboot the node.
   (9e) Return to main boot menu.
   (9f) Remove disk ownership.
   

4. Pilih opsi 9a dan masukkan no saat diminta untuk penghentian. Node akan menampilkan opsi berikut lagi setelah 9a:

    (9a) Unpartition all disks and remove their ownership information.
    (9b) Clean configuration and initialize node with partitioned disks.
    (9c) Clean configuration and initialize node with whole disks.
    (9d) Reboot the node.
    (9e) Return to main boot menu.
    ```
   

5. Jalankan operasi 9a untuk semua node penyimpanan yang ada di cluster sebelum melanjutkan.

6. Untuk setiap node, jalankan opsi 9b, lalu masukkan yes untuk mengonfirmasi.

   (9a) Unpartition all disks and remove their ownership information.
   (9b) Clean configuration and initialize node with partitioned disks.
   (9c) Clean configuration and initialize node with whole disks.
   (9d) Reboot the node.
   (9e) Return to main boot menu.
   

   1. Jika ada pasangan HA, pesan berikut akan ditampilkan. Pastikan semua node dalam cluster telah menyelesaikan 9a, sebelum menjalankan langkah 9b di node tersebut.

      Selection (9a-9f)?: 9b
      9b
      Option (9a) MUST BE COMPLETED on BOTH nodes in an HA pair (and DR/DR-AUX partner nodes if applicable)
      prior to starting option (9b).
      Has option (9a) been completed on all the nodes (yes/no)? yes
      yes
      

7. Saat pesan Welcome to the cluster setup wizard ditampilkan, reset selesai.

6.7. Mereset Thales k570

Untuk mereset Thales k570, mulai dengan mereset Ciphertrust Manager ke setelan pabrik, lalu mereset Luna HSM itu sendiri.

6.7.1. Reset ke setelan pabrik sistem

Peringatan: Operasi ini akan mengembalikan sistem ke setelan default pabrik. Gunakan dengan hati-hati.

Perintah ini melakukan operasi destruktif yang menghapus semua data CipherTrust Manager termasuk, tetapi tidak terbatas pada, kunci, cadangan, kunci cadangan, dan log sistem.

Untuk menghindari penghapusan data yang diperlukan, pastikan Anda memiliki cadangan CipherTrust Manager yang valid untuk semua data dan kunci cadangan. Proses reset ke setelan pabrik tidak otomatis berlaku untuk seluruh cluster HSM. Jika Anda memiliki beberapa perangkat HSM, lakukan langkah-langkah berikut untuk setiap perangkat secara terpisah.

1. Buat direktori kerja sementara untuk kredensial HSM:

   TMPPWDDIR=/run/user/$(id --user)/hsm
   mkdir -p $TMPPWDDIR
   chmod 700 $TMPPWDDIR
   

2. Buat koneksi SSH ke HSM:

   export ADMIN_SSH_SECRET_NAME=`kubectl get secrets -n hsm-system -o json | jq .items[].metadata.name | tr -d '"' | grep "ssh"`
   kubectl get secret $ADMIN_SSH_SECRET_NAME \
   --namespace=hsm-system \
   --output jsonpath='{.data.ssh-privatekey}' \
   | base64 --decode > $TMPPWDDIR/hsm-ssh-privatekey
   chmod 0600 $TMPPWDDIR/hsm-ssh-privatekey
   ssh -i $TMPPWDDIR/hsm-ssh-privatekey ksadmin@$HSM_MGMT_IP
   

   Jika tidak memungkinkan, hubungkan menggunakan kabel serial dari komputer Anda ke port konsol. Jalankan perintah berikut di tab lain untuk mendapatkan sandi ksadmin.

   export KSADMIN_SECRET_NAME=`kubectl get secrets -n hsm-system -o json | jq .items[]metadata.name | tr -d '"' | grep "ksadmin"`
   kubectl get secret $KSADMIN_SECRET_NAME \
    --namespace=hsm-system \
    --output jsonpath='{.data.password}' \
     | base64 --decode
   

   Setelah login ke serial, Anda akan melihat perintah login. Masukkan nama pengguna sebagai ksadmin, lalu tempel sandi dari perintah sebelumnya.

3. Sebelum menjalankan perintah factory-reset:

   • Hindari memulai ulang sistem selama waktu ini karena proses penyambungan kembali melibatkan beberapa kali mulai ulang sistem dan tidak dapat diurungkan.

   • Pastikan Anda memiliki cadangan daya.

   Jalankan perintah berikut untuk melakukan reset ke setelan pabrik:

   sudo /opt/keysecure/ks_reset_to_factory.sh
   

   Proses reset memerlukan waktu sekitar 10 menit.

6.7.2. Reset Luna HSM

Reset ke setelan pabrik sistem tidak menghapus root of trust dari HSM. Jalankan perintah berikut untuk mereset HSM Luna:

1. Dari dalam host CipherTrust Manager, baik melalui SSH atau konsol serial, jalankan perintah berikut:

   /usr/safenet/lunaclient/bin/lunacm
   

   lunacm:> hsm factoryReset
   

2. Hapus direktori kerja sementara dari bootstrapper:

   rm $TMPPWDDIR
   

6.8. Mereset firewall

Untuk mengetahui petunjuk cara mereset firewall ke setelan pabrik, lihat Reset firewall ke setelan pabrik.

6.9. Mereset switch Cisco

Ikuti langkah-langkah berikut untuk melakukan reset switch Cisco. Perhatikan bahwa petunjuk ini juga berlaku untuk penggantian penyimpanan seperti stgesw.

1. Login ke switch.

2. Tulis, hapus, dan muat ulang tombol:

   write erase
   reload
   

3. Jika tombol sebelumnya dikonfigurasi dan Anda memiliki direktori cellcfg yang tersedia, Anda dapat mengikuti Pembersihan Pra-penerbangan.

4. Verifikasi bahwa switch berada di Power On Auto Provisioning (POAP).

   Jika switch direset dengan benar, perintah berikut akan muncul saat terhubung ke switch menggunakan server konsol:

   Abort Power On Auto Provisioning [yes - continue with normal setup, skip - bypass password and basic configuration, no - continue with Power On Auto Provisioning] (yes/skip/no)[no]:
   

6.10. Referensi tambahan tentang proses reset

Untuk mengetahui informasi selengkapnya tentang proses reset, lihat referensi berikut:

• https://docs.netapp.com/us-en/ontap/system-admin/manage-node-boot-menu-task.html
• https://docs.netapp.com/us-en/ontap/encryption-at-rest/return-seds-unprotected-mode-task.html

Penting: Untuk mengakses URL yang tercantum di halaman ini, Anda harus terhubung ke internet. URL disediakan untuk mengakses di luar lingkungan air-gapped Anda.