6. Zurücksetzen, wenn ein erneuter Bootstrap-Vorgang erfolgt

Geschätzte Dauer: 4 Tage

Eigentümer der bedienbaren Komponente: HW

Kompetenzprofil: Bereitstellungsingenieur

Führen Sie die folgenden Aufgaben aus, um die Geräte und Systeme zurückzusetzen, die in der Air-Gap-Umgebung von Google Distributed Cloud (GDC) ausgeführt werden.

6.1. Inhaltsverzeichnis

  1. Übersicht zum Zurücksetzen
  2. HPE Server Reset
  3. NetApp StorageGRID Reset
  4. NetApp ONTAP Reset
  5. Thales HSM Reset
  6. Palo Alto-Firewalls zurücksetzen
  7. Cisco-Switches zurücksetzen
  8. Zusätzliche Ressourcen

6.2. Voraussetzungen und Sicherheit

6.2.1. Erforderlicher Zugriff

  • Physischer Zugriff: Zugriff auf den Rechenzentrumsraum mit Crashcart-Ausrüstung
  • Netzwerkzugriff: Verbindung zur Verwaltungsoberfläche oder Konsolenzugriff
  • Anmeldedaten: Administratorzugriff auf alle Systeme
  • Sicherungen: Vollständige Sicherung aller Secrets und Konfigurationsdaten

6.2.2. Sicherheitscheckliste

  • [ ] Physischer Zugriff auf die Infrastruktur
  • [ ] Break-Glass-Secrets wurden offline gesichert
  • [ ] Sicherung der Infrastruktur (falls erforderlich)

6.3. Übersicht über das Zurücksetzen

Beim Zurücksetzen einer vorhandenen GDC-Zellzone sollen alle Hardwaregeräte von jeglicher Abhängigkeit befreit und dann in den ursprünglichen Zustand zurückversetzt werden.

6.3.1. Infrastrukturabhängigkeiten

Die Komponenten haben die folgenden Abhängigkeiten, die die Reihenfolge des Zurücksetzens bestimmen:

  1. Server, NetApp ONTAP und NetApp StorageGrid basieren auf den Thales-HSM-Appliances, da diese die Verschlüsselungsschlüssel für ILOs, Festplatten, Mandanten und Buckets bereitstellen.
  2. Thales-HSM-Appliances sind auf IDP-/Perimeter-Firewalls und Cisco-Switches angewiesen.
  3. IDP-/Perimeter-Firewalls basieren auf der Netzwerk-Infrastruktur von Cisco-Switches.
  4. Cisco-Switches müssen als letzte Ressource zurückgesetzt werden, da die Verbindung nach dem Zurücksetzen unterbrochen wird.

6.3.2. Bestellung zurücksetzen (kritisch)

Halten Sie sich genau an diese Reihenfolge, um Systemaussperrungen zu vermeiden:

  1. HPE-Server: Zuerst HSM-Abhängigkeiten entfernen
  2. NetApp StorageGRID – Verschlüsselung löschen und Knoten zurücksetzen
  3. NetApp ONTAP – HSM deaktivieren und Cluster zurücksetzen
  4. Thales HSM – Auf Werkseinstellungen zurücksetzen und Root of Trust löschen
  5. Firewalls – Auf Werkseinstellungen zurücksetzen
  6. Cisco-Switches – Letzte zurücksetzen (unterbricht die Verbindung)

Übersicht

6.4. Sicheres Löschen von Hewlett Packard Enterprise

Es gibt drei Arten von Zurücksetzungsvorgängen, die jeweils als alternative Methode zum Bereinigen der iLO Key Manager-Konfiguration dienen. Das Hauptziel ist, die Abhängigkeit vom Hardwaresicherheitsmodul (HSM) zu beseitigen.

Im Allgemeinen reicht das Zurücksetzen auf die Werkseinstellungen von ILO aus, um die KMS-Konfiguration zu bereinigen. Beim nächsten Bootstrap-Vorgang werden dann die BIOS-Parameter des Servers initialisiert, die Festplatten gelöscht und der Server neu initialisiert.

In diesem Abschnitt wird beschrieben, wie Sie drei Arten von Löschungen vornehmen:

  1. iLO auf Werkseinstellungen zurücksetzen

  2. Manuelles Zurücksetzen von iLO

  3. Sicheres Löschen

In diesen Löschskripts wird eine Beispiel-CSV-Datei mit dem Namen example.csv verwendet. Bevor Sie fortfahren, bereiten Sie die folgende CSV-Datei vor:

    root@example-bootstrapper:/home/ubuntu/md# cat example.csv
    ip,passd
    10.251.248.62,XXXXXXXX
    10.251.248.64,XXXXXXXX
    10.251.248.66,XXXXXXXX
    10.251.248.68,XXXXXXXX
    10.251.248.70,XXXXXXXX
    10.251.248.72,XXXXXXXX
    10.251.248.74,XXXXXXXX
    10.251.248.76,XXXXXXXX

6.4.1. iLO auf Werkseinstellungen zurücksetzen

Führen Sie ein reguläres Zurücksetzen auf die Werkseinstellungen über iLO durch:

  1. Erstellen Sie eine Datei mit dem Namen serversreset.py und fügen Sie das folgende Python-Skript hinzu:

    import csv
    import argparse
    import requests
    import urllib3
    import json
    urllib3.disable_warnings()
    PARSER = argparse.ArgumentParser(prog='serversreset.py', \
        description='reset ilo to factory settings')
    PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
    ARGS = vars(PARSER.parse_args())
    headers = {'content-type': 'application/json'}
    payload = {'ResetType': 'Default'}
    url = '/redfish/v1/Managers/1/Actions/Oem/Hpe/HpeiLO.ResetToFactoryDefaults/'
    with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
        CSV_READER = csv.DictReader(csv_file)
        for row in CSV_READER:
          try:
            system = requests.post('https://'+row['ip']+url,data=json.dumps(payload),headers=headers,verify=False,auth=('administrator',row['passd']))
            systemData = system.json()
            print(systemData)
          except Exception as err:
            print(err)
    
  2. Führen Sie den folgenden Befehl aus und ersetzen Sie example.csv durch Ihre CSV-Datei:

    python3 serversreset.py -csv example.csv
    

    Die Ausgabe muss in etwa so aussehen:

    {'error': {'code': 'iLO.0.10.ExtendedInfo', 'message': 'See @Message.ExtendedInfo for more information.', '@Message.ExtendedInfo': [{'MessageId': 'iLO.2.15.ResetInProgress'}]}}
    {'error': {'code': 'iLO.0.10.ExtendedInfo', 'message': 'See @Message.ExtendedInfo for more information.', '@Message.ExtendedInfo': [{'MessageId': 'iLO.2.15.ResetInProgress'}]}}
    {'error': {'code': 'iLO.0.10.ExtendedInfo', 'message': 'See @Message.ExtendedInfo for more information.', '@Message.ExtendedInfo': [{'MessageId': 'iLO.2.15.ResetInProgress'}]}}
    

6.4.2. Zusätzliche manuelle iLO-Schritte

Führen Sie einen manuellen iLO-Reset über die iLO-Benutzeroberfläche durch:

  1. Wählen Sie iLO > Administration > Key Manager > Delete Settings (iLO > Verwaltung > Schlüsselmanager > Einstellungen löschen) aus.

  2. Wählen Sie in der BIOS-Konsole System Utilities > System Configuration > Embedded Raid > Administration > Reset To Default aus.

  3. Schnittstellen nur für LOM1 auf Netboot festlegen. Alle GPU-Knoten haben KEINE LOM1-Karten, sondern Intel-Karten.

  4. Stellen Sie das iLO-Netzwerk auf DHCP ein.

6.4.3. BIOS zurücksetzen

Führen Sie die folgenden Schritte aus, um das BIOS zurückzusetzen:

  1. Erstellen Sie eine Datei mit dem Namen biosreset.py und fügen Sie das folgende Python-Skript hinzu:

    import csv
    import argparse
    import requests
    import urllib3
    import json
    urllib3.disable_warnings()
    PARSER = argparse.ArgumentParser(prog='biosreset.py', \
        description='reset BIOS to factory settings')
    PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
    ARGS = vars(PARSER.parse_args())
    headers = {'content-type': 'application/json'}
    payload = {}
    with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
        CSV_READER = csv.DictReader(csv_file)
        for row in CSV_READER:
          try:
            system = requests.post('https://'+row['ip']+'/redfish/v1/systems/1/bios/Actions/Bios.ResetBios/',data=json.dumps(payload),headers=headers,verify=False,auth=('administrator',row['passd']))
            systemData = system.json()
            print(systemData)
          except Exception as err:
            print(err)
    
  2. Führen Sie den folgenden Befehl aus und ersetzen Sie example.csv durch Ihre CSV-Datei:

    python3 biosreset.py -csv example.csv
    

    Die Ausgabe muss in etwa so aussehen:

    {'error': {'code': 'iLO.0.10.ExtendedInfo', 'message': 'See @Message.ExtendedInfo for more information.', '@Message.ExtendedInfo': [{'MessageId': 'iLO.2.15.SystemResetRequired'}]}}
    
  3. Nach Ausführung des Befehls sind die Server eingeschaltet. Sie müssen das folgende Skript ausführen, um alle Server auszuschalten:

    import csv
    import argparse
    import requests
    import urllib3
    import json
    urllib3.disable_warnings()
    PARSER = argparse.ArgumentParser(prog='power-ilo.py', \
        description='power off server')
    PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
    ARGS = vars(PARSER.parse_args())
    headers = {'content-type': 'application/json'}
    payload = {'ResetType': 'PushPowerButton'}
    with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
        CSV_READER = csv.DictReader(csv_file)
        for row in CSV_READER:
            try:
                system = requests.post(
                    'https://' + row['ip'] +
                    '/redfish/v1/systems/1/Actions/ComputerSystem.Reset/',
                    data=json.dumps(payload),
                    headers=headers,
                    verify=False,
                    auth=('administrator', row['passd']))
                systemData = system.json()
                if 'Success' in systemData['error']['@Message.ExtendedInfo'][0][
                        'MessageId']:
                    print(f"ilo with ip {row['ip']} succeeded")
                    #print(systemData)
                else:
                    print(f"ilo with ip {row['ip']} failed")
                    print(systemData)
            except Exception as err:
                print(err)
    

    Fahren Sie die Server manuell herunter:

    python3 power-ilo.py -csv ~/servers.csv
    
    1. (Optional) Verwenden Sie das folgende Script, um den Status zu prüfen:
    import csv
    import argparse
    import requests
    import urllib3
    import json
    urllib3.disable_warnings()
    PARSER = argparse.ArgumentParser(prog='ilostatus.py', \
    description='check power status of server')
    PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
    ARGS = vars(PARSER.parse_args())
    headers = {'content-type': 'application/json'}
    with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
        CSV_READER = csv.DictReader(csv_file)
        for row in CSV_READER:
          try:
            system = requests.get('https://'+row['ip']+'/redfish/v1/Systems/1',headers=headers,verify=False,auth=('administrator',row['passd']))
            systemData = system.json()
            print(f"ilo with ip {row['ip']} has power status of {systemData['PowerState']}")
            if 'Success' in systemData['error']['@Message.ExtendedInfo'][0]['MessageId']:
                print(f"ilo with ip {row['ip']} succeeded")
                print(systemData)
            else:
                print(f"ilo with ip {row['ip']} failed")
                print(systemData)
          except Exception as err:
            pass
    

    Führen Sie dazu diesen Befehl aus:

    python3 ilostatus.py -csv ~/servers.csv
    

    Die Ausgabe muss in etwa so aussehen:

    ilo with ip 172.22.112.96 has power status of Off
    ilo with ip 172.22.112.97 has power status of Off
    ilo with ip 172.22.112.98 has power status of Off
    ilo with ip 172.22.112.100 has power status of Off
    ilo with ip 172.22.112.101 has power status of Off
    ilo with ip 172.22.112.102 has power status of Off
    

    6.4.4. Sicheres Löschen

  1. Drücken Sie auf dem POST-Bildschirm des Servers F10. Dadurch wird Intelligent Provisioning gestartet.

  2. Klicken Sie nach dem Start von Intelligent Provisioning auf den Abwärtspfeil neben First Time Setup Wizard (Assistent für die Ersteinrichtung), um den Assistenten zu überspringen.

  3. Überspringen Sie die Aufforderung des Assistenten und klicken Sie auf Ja.

  4. Klicken Sie auf Wartung durchführen.

  5. Klicken Sie auf One Button Secure Erase (Sicheres Löschen mit einem Klick).

  6. Eine Meldung wird angezeigt, die besagt, dass Sie nicht über ausreichende Berechtigungen verfügen. Klicken Sie auf Anmelden und geben Sie die Anmeldedaten des Administrators ein.

  7. Klicken Sie auf Fertig.

  8. Klicken Sie auf Senden.

  9. Bestätigen Sie, dass Sie die Daten sicher löschen möchten, und geben Sie LÖSCHEN ein.

  10. Klicken Sie auf LÖSCHEN.

  11. Klicken Sie zum Bestätigen auf Ja.

  12. Klicken Sie im Abschnitt „Jobs queue“ (Warteschlange für Jobs) auf Launch Now (Jetzt starten).

  13. Klicken Sie innerhalb von etwa zwei Minuten auf OK.

  14. Die Maschine wird neu gestartet. Berühren Sie etwa 10 bis 15 Minuten lang nichts.

  15. Nachdem das sichere Löschen abgeschlossen ist, kehren Sie zum BIOS zurück, indem Sie während des POST-Bootvorgangs auf F9 klicken.

  16. Gehen Sie zu Embedded Applications > Integrated Management Log (IML) > View IML > OK (Eingebettete Anwendungen > Integriertes Verwaltungsprotokoll (IML) > IML ansehen > OK). Die Meldung One-button secure erase completed wird angezeigt:

Sicheres Löschen mit nur einem Tastendruck abgeschlossen

  1. Erstellen Sie eine Datei mit dem Namen serversreset.py und fügen Sie das folgende Python-Skript hinzu:

    import csv
    import argparse
    import requests
    import urllib3
    import json
    urllib3.disable_warnings()
    PARSER = argparse.ArgumentParser(prog='secureerase.py', \
        description='reset ilo to factory settings')
    PARSER.add_argument('-csv', '--file', help='choose the csv file', type=str)
    ARGS = vars(PARSER.parse_args())
    headers = {'content-type': 'application/json'}
    payload = {'SystemROMAndiLOErase': True , 'UserDataErase': True}
    with open(ARGS['file'], encoding="utf8", mode='r') as csv_file:
        CSV_READER = csv.DictReader(csv_file)
        for row in CSV_READER:
          try:
            system = requests.post('https://'+row['ip']+'/redfish/v1/Systems/1/Actions/Oem/Hpe/HpeComputerSystemExt.SecureSystemErase/',data=json.dumps(payload),headers=headers,verify=False,auth=('administrator',row['passd']))
            systemData = system.json()
            print(systemData)
          except Exception as err:
            print(err)
    
  2. Führen Sie den folgenden Befehl aus und ersetzen Sie example.csv durch Ihre CSV-Datei:

    python serversreset.py -csv example.csv
    
  3. Nach dem Ausführen des Befehls sind die Server ausgeschaltet. Sie müssen den Server manuell einschalten.

6.5. NetApp StorageGRID-Gerät zurücksetzen

6.5.1. Vorbereitung

Bevor Sie Ihr NetApp StorageGRID-Gerät zurücksetzen, lesen Sie Folgendes: - Wenn das System mit Knoten- und/oder Laufwerkverschlüsselung aktiviert wurde, müssen Sie die Schritte unter HSM-Standortverschlüsselung deaktivieren ausführen. Fahren Sie andernfalls mit dem Zurücksetzen des StorageGRID-Systems fort.

6.5.2. HSM-basierte Verschlüsselung von StorageGRID-Sites auf Storage Controller-Knoten deaktivieren

So rufen Sie die IPs der Storage Controller-Knoten ab (zwei IPs für jeden Speicherknoten):

$ kubectl get objectstoragestoragenodes -n gpc-system -o custom-columns="NAME:metadata.name,COMPUTE_NODEA_IP:.spec.network.controllerAManagementIP,COMPUTE_NODEB_IP:.spec.network.controllerBManagementIP"
NAME           COMPUTE_NODEA_IP    COMPUTE_NODEB_IP
ak-ac-objs01   172.22.210.166/24   172.22.210.167/24
ak-ac-objs02   172.22.210.170/24   172.22.210.171/24
ak-ac-objs03   172.22.210.174/24   172.22.210.175/24

Wenn das StorageGRID-System zuvor mit einem HSM aktiviert wurde, muss die Verschlüsselung entfernt werden, bevor Sie mit dem Zurücksetzen auf die Werkseinstellungen fortfahren. Führen Sie diese Schritte für jeden Speicherknoten aus, bevor Sie das Gerät zurücksetzen. Andernfalls können die Festplatten und das System gesperrt werden.

  1. Melden Sie sich auf der Object Storage-Website an und rufen Sie die Liste der Knoten in der Seitenleiste auf.

  2. Klicken Sie auf den Namen des Speicherknotens.

  3. Rufen Sie den Tab SANtricity System Manager auf.

  4. Gehen Sie zu Einstellungen > System > Sicherheitsschlüsselverwaltung.

    StorageGRID-Benutzeroberfläche – Zugriff auf Santricitry System Manager

  5. Wählen Sie Externe Schlüsselverwaltung deaktivieren aus und geben Sie die Passphrase ein, um den Sicherungsschlüssel herunterzuladen.

6.5.3. StorageGRID-Administratorknoten und Storage Compute-Knoten auf Werkseinstellungen zurücksetzen

So rufen Sie die IPs der Admin-Knoten ab:

$ kubectl get objectstorageadminnodes -n gpc-system
NAME              SITE NAME       MANAGEMENT IP       READY   AGE
ak-ac-objsadm01   ak-obj-site-1   172.22.210.160/24   True    12d
ak-ac-objsadm02   ak-obj-site-1   172.22.210.162/24   True    12d

So rufen Sie die IPs der Storage Compute-Knoten ab:

$ kubectl get objectstoragestoragenodes -n gpc-system
NAME           SITE NAME       MANAGEMENT IP       READY   AGE
ak-ac-objs01   ak-obj-site-1   172.22.210.164/24   True    12d
ak-ac-objs02   ak-obj-site-1   172.22.210.168/24   True    12d
ak-ac-objs03   ak-obj-site-1   172.22.210.172/24   True    12d

Wenn Sie das StorageGRID-Gerät auf die Werkseinstellungen zurücksetzen möchten, müssen Sie die folgenden Schritte für jeden Knoten (sowohl Speicher- als auch Administratorknoten) am Standort ausführen:

  1. Rufen Sie die Verwaltungs-IPs für jeden Knoten ab. Diese Informationen können aus der Datei „cell.yaml“ abgerufen werden. Suchen Sie dazu nach ObjectStorageStorageNode und ObjectStorageAdminNode. Sie finden sie auch in den Knotenressourcen im Administratorcluster des Stammclusters.

  2. Rufen Sie das Passwort ab und stellen Sie über SSH eine Verbindung zum Knoten her:

    • Wenn auf dem Knoten StorageGRID nicht installiert ist, verwenden Sie admin/bycast bzw. root/netapp1! als Nutzername und Passwort. Verwenden Sie den SSH-Port 8022, wenn SSH nicht funktioniert.

    • Wenn auf dem Knoten StorageGRID installiert ist, aber keine Standorteinrichtung erfolgt ist, verwenden Sie admin/bycast bzw. root/bycast als Nutzername und Passwort.

    • Wenn die Website eingerichtet ist und der Knoten Teil der Website ist:

      1. Rufen Sie die Passphrase für die Bereitstellung ab. Dieser wird in einem Secret mit dem Namen grid-secret gespeichert, das sich in der Datei „cell.yaml“ befindet. Optional kann der folgende Befehl ausgeführt werden. Achten Sie darauf, das Passwort mit Base64 zu decodieren:

        echo $(kubectl get secret -n gpc-system grid-secret -ojsonpath="{.data.grid-management-provisioning-password}" | base64 -d)
        
      2. Rufen Sie in der Benutzeroberfläche der Object Storage-Website Wartung > System > Wiederherstellungspaket auf, um das Wiederherstellungspaket herunterzuladen, nachdem Sie die Bereitstellungs-Passphrase eingegeben haben.

        StorageGRID-UI – Wiederherstellungspaket herunterladen

      3. Extrahieren Sie nach dem Herunterladen die TAR-Datei. Sie enthält ein weiteres Tarball: GIDXXXXX_REV1_SAID.zip. Extrahieren Sie das Tarball, um die Datei Passwords.txt zu finden. Verwenden Sie Password für den SSH- und Root-Zugriff und ignorieren Sie SSH Access Password.

        Beispieldatei:

        Password Data for Grid ID: 546285, Revision: 1
        Revision Prepared on: 2022-06-13 20:49:56 +0000
        
        Server "root" and "admin" Account Passwords
        Server Name            Password          SSH Access Password
        ____________________________________________________________
        alatl14-gpcstgeadm01   <removed>     <removed>
        alatl14-gpcstgeadm02   <removed>     <removed>
        alatl14-gpcstgecn01    <removed>     n/a
        alatl14-gpcstgecn02    <removed>     n/a
        alatl14-gpcstgecn03    <removed>     n/a
        
  3. Öffnen Sie eine serielle Konsole für den Knoten oder stellen Sie über SSH eine Verbindung zum Knoten her:

    ssh -o ProxyCommand=None -o StrictHostKeyChecking=no \
    -o UserKnownHostsFile=/dev/null admin@<node-management-ip>
    
  4. Geben Sie die Anmeldedaten ein. Geben Sie su - ein, um Sudo-Berechtigungen zu erhalten, und geben Sie das Root-Passwort ein, das Sie im zweiten Schritt erhalten haben.

  5. Geben Sie den Befehl sgareinstall ein und drücken Sie y, um das Gerät weiter zurückzusetzen.

  6. Wenn die Verschlüsselung auf dem Gerät aktiviert war, folgen Sie nach dem Zurücksetzen dieser Anleitung, um die Festplattenpools und den SSD-Cache zu löschen.

6.5.4. Festplattenpools und SSD-Cache auf Storage Controller-Knoten löschen

So rufen Sie die IPs der Storage Controller-Knoten ab (zwei IPs für jeden Speicherknoten):

$ kubectl get objectstoragestoragenodes -n gpc-system -o custom-columns="NAME:metadata.name,COMPUTE_NODEA_IP:.spec.network.controllerAManagementIP,COMPUTE_NODEB_IP:.spec.network.controllerBManagementIP"
NAME           COMPUTE_NODEA_IP    COMPUTE_NODEB_IP
ak-ac-objs01   172.22.210.166/24   172.22.210.167/24
ak-ac-objs02   172.22.210.170/24   172.22.210.171/24
ak-ac-objs03   172.22.210.174/24   172.22.210.175/24

Wenn die Verschlüsselung auf dem Gerät aktiviert war und die Knoten nach dem letzten Abschnitt zurückgesetzt wurden, müssen die Festplattenpools zusammen mit dem Löschen der Laufwerke gelöscht werden. Dies muss vor dem erneuten Bootstrapping der Website erfolgen, damit neue Festplattenpools erstellt werden können. Führen Sie diese Schritte für jeden Speicherknoten (e2860 Storage Controller) auf der Website aus (auch als „controllerAManagementIP“ bezeichnet):

  1. Öffnen Sie einen Webbrowser, rufen Sie https://<storage-node-controller-ip>:8443 auf und geben Sie die Anmeldedaten ein. Wenn Sie keinen Zugriff auf SANtricity-Anmeldedaten haben, gehen Sie so vor.

  2. Rufen Sie Speicher > Pools und Volumegruppen auf.

  3. SSD-Cache löschen:

    1. Wählen Sie den SSD-Cache aus, um ihn zu markieren.

    2. Wählen Sie das Drop-down-Menü Ungewöhnliche Aufgaben aus und klicken Sie auf Löschen.

    Santricity UI: SSD-Cache löschen

  4. Löschen Sie den Laufwerkpool:

    1. Wählen Sie den Datenträgerpool aus, um ihn hervorzuheben.

    2. Wählen Sie das Drop-down-Menü Ungewöhnliche Aufgaben aus und klicken Sie auf Löschen.

    Santricity UI: Speicherpool löschen

  5. Versuchen Sie, einen neuen Festplattenpool zu erstellen. Ein Dialogfeld wird angezeigt, das die Erstellung blockiert und Sie auffordert, die Laufwerke zu löschen.

    Da nicht zugewiesene, sicherheitsfähige Laufwerke nicht zum Erstellen von Pools verwendet werden können, müssen Sie sie zuerst löschen. Klicken Sie auf das Optionsfeld Ja – ich möchte die Laufwerke auswählen, die für den Vorgang gelöscht werden sollen und wählen Sie dann alle Laufwerke aus, die gelöscht werden sollen. Bestätigen Sie den Löschvorgang und klicken Sie auf OK. Erstellen Sie keinen neuen Pool.

  6. Folgen Sie der Anleitung im Abschnitt zum Entfernen der Knotenverschlüsselung.

6.5.5. Knotenverschlüsselung auf StorageGRID-Administratorknoten und Storage Compute-Knoten entfernen

So rufen Sie die IPs der Admin-Knoten ab:

$ kubectl get objectstorageadminnodes -n gpc-system
NAME              SITE NAME       MANAGEMENT IP       READY   AGE
ak-ac-objsadm01   ak-obj-site-1   172.22.210.160/24   True    12d
ak-ac-objsadm02   ak-obj-site-1   172.22.210.162/24   True    12d

So rufen Sie die IPs der Storage Compute-Knoten ab:

$ kr get objectstoragestoragenodes -n gpc-system
NAME           SITE NAME       MANAGEMENT IP       READY   AGE
ak-ac-objs01   ak-obj-site-1   172.22.210.164/24   True    12d
ak-ac-objs02   ak-obj-site-1   172.22.210.168/24   True    12d
ak-ac-objs03   ak-obj-site-1   172.22.210.172/24   True    12d

Wenn die Verschlüsselung auf dem Gerät aktiviert war und die Knoten nach diesen Schritten zurückgesetzt wurden und die Festplattenpools und der SSD-Cache mit diesen Schritten gelöscht wurden, führen Sie die folgenden Schritte auf jedem Knoten aus, um die Knotenverschlüsselung zu entfernen:

  1. Rufen Sie die StorageGRID Appliance Installer-Benutzeroberfläche auf.

  2. Rufen Sie Hardware konfigurieren > Knotenverschlüsselung auf.

  3. Klicken Sie auf KMS-Schlüssel löschen und Daten löschen. Appliance Installer-Benutzeroberfläche: KMS-Schlüssel löschen und Daten löschen

  4. Sobald das Löschen ausgelöst wird, wird der Controller neu gestartet. Das kann etwa 15 Minuten dauern.

6.5.6. StorageGRID neu installieren

  1. Starten Sie jeden Knoten manuell neu.

  2. Öffnen Sie eine serielle Konsole für den Knoten, rufen Sie das GRUB-Bootloader-Menü auf und wählen Sie StorageGRID Appliance: Force StorageGRID reinstall (StorageGRID-Appliance: StorageGRID-Neuinstallation erzwingen) aus.

    StorageGRID-Bootloader-Neuinstallation erzwingen

6.5.7. SANtricity-Anmeldedaten abrufen

  1. Öffnen Sie eine serielle Konsole zu einem der SANtricity-Controller.

  2. Verwenden Sie die folgenden Anmeldedaten, um sich anzumelden:

    • Nutzername: spri
    • Passwort: SPRIentry
  3. Nach der Anmeldung wird ein Menü wie dieses angezeigt:

    
    Service Interface Main Menu
    ==============================
    1)Display IP Configuration
    2)Change IP Configuration
    3)Reset Storage Array Administrator Password
    4)Display 7-segment LED codes
    5)Disable SAML
    6)Unlock remote admin account
    Q)Quit Menu
    Enter Selection: 3
    Are you sure that you want to reset the Storage Array Password ? (Y/N): Y
    Storage Array Password reset successful
    
  4. Melden Sie sich bei den SANtricity-Controllern an. Das Zurücksetzen des Passworts ist dann möglich.

6.6. NetApp ONTAP-Gerät zurücksetzen

6.6.1. Vorbereitung

Bevor Sie Ihr NetApp ONTAP-Gerät zurücksetzen, lesen Sie bitte Folgendes:

  • Wenn das System zuvor mit einem Hardwaresicherheitsmodul (HSM) aktiviert wurde, müssen Sie die Schritte unter Hardwaresicherheitsmodul deaktivieren ausführen, bevor Sie die ONTAP-Systeme zurücksetzen.

  • Dies ist ein destruktiver Vorgang, bei dem alle CipherTrust Manager-Daten gelöscht werden, einschließlich, aber nicht beschränkt auf Schlüssel, Sicherungen, Sicherungsschlüssel und Systemprotokolle.

  • Stellen Sie sicher, dass Sie eine gültige CipherTrust Manager-Sicherung aller Daten und Sicherungsschlüssel haben.

  • Wenn ein eingebettetes HSM verfügbar ist, wird es bei diesem Vorgang nicht zurückgesetzt.

  • Optional: Die Neuinitialisierung eines eingebetteten HSM nach diesem Vorgang wird dringend empfohlen, um es als Root of Trust zu konfigurieren.

  • Wenn ein externes PIN-Eingabegerät (PED) verwendet wurde, muss es nach Abschluss wieder angeschlossen werden.

  • Dieser Vorgang kann bis zu 15 Minuten dauern. Sorgen Sie für eine Notstromversorgung.

6.6.2. Hardwaresicherheitsmodul deaktivieren

Wenn das System zuvor mit einem HSM aktiviert wurde, führen Sie diese Schritte aus, bevor Sie die ONTAP-Systeme zurücksetzen. Andernfalls können die Festplatten und das System gesperrt werden. Führen Sie die folgenden Befehle im ONTAP-Cluster aus:

  1. Legen Sie die Berechtigungsstufe auf „Erweitert“ fest:

    set -privilege advanced
    
  2. Listen Sie den Datenschlüssel der Festplatte und die FIPS-Authentifizierungsschlüssel (Federal Information Processing Standards) auf, die sie verwendet:

    storage encryption disk show
    
  3. Legen Sie für jede Festplatte im System die Daten- und FIPS-Authentifizierungsschlüssel-ID für den Knoten wieder auf die Standard-MSID 0x0 fest:

    storage encryption disk modify -disk * -fips-key-id 0x0
    storage encryption disk modify -disk * -data-key-id 0x0
    
  4. Prüfen Sie mit den folgenden Schritten, ob der Vorgang erfolgreich war:

    storage encryption disk show-status
    
  5. Wiederholen Sie den Befehl show-status, bis Sie Disks Begun == Disks Done erhalten. Diese Ausgabe bedeutet, dass der Vorgang abgeschlossen ist.

    
    cluster1:: storage encryption disk show-status
                FIPS    Latest   Start               Execution   Disks   Disks Disks
    Node        Support Request  Timestamp           Time (sec)  Begun   Done  Successful
    -------     ------- -------- ------------------  ---------- ------ ------  ----------
    cluster1    true    modify   1/18/2022 15:29:38    3           14     5         5
    1 entry was displayed.
    
  6. Entfernen Sie die Konfiguration des External Key Managers:

    1. Wenn die HSM-Verbindung aktiv ist, fahren Sie direkt mit Schritt f fort. Wenn die HSM-Verbindung unterbrochen ist, fahren Sie mit Schritt b fort.

      cluster1::> security key-manager external show-status
      
    2. Wechseln Sie in den diag-Modus, indem Sie set -priv diag ausführen.

    3. Führen Sie den folgenden Befehl aus, um alle Volume-Verschlüsselungsschlüssel aufzurufen. debug smdb table kmip_external_key_cache_mdb_v2 show.

    4. Erfassen Sie das Attribut vserver-id.

    5. Führen Sie den folgenden Befehl für alle Schlüsselserver aus, um die Schlüssel zu löschen: debug smdb table kmip_external_key_cache_mdb_v2 delete -vserver-id <vserver-id> -key-id * -key-server <key-server endpoint>.

    6. Löschen Sie alle Volumes über die ONTAP-Benutzeroberfläche oder manuell über die Console.

      1. Wenn Sie die Knoten über die Console löschen, müssen Sie die Root-Volumes für die Knoten ignorieren. Diese haben in der Regel den Namen vol0 und einen der Knoten als vserver. Ein Volume mit einem Knoten als vserver darf in der Regel nicht gelöscht werden und sollte nicht gelöscht werden.

      2. Wenn andere Volumes als vol0 aus dem vorherigen Schritt nicht über die Benutzeroberfläche gelöscht werden können, versuchen Sie es mit der CLI:

        cluster1::> vol offline -volume volume_to_be_deleted -vserver vserve-id
        cluster1::> vol delete -volume volume_to_be_deleted -vserver vserver-id
        
      3. Wenn Sie sich über die Benutzeroberfläche in einem Speichercluster anmelden möchten, rufen Sie den Nutzernamen und das Passwort mit den folgenden Befehlen aus dem Secret ab. Ersetzen Sie dabei CELL_ID durch die eindeutige ID der Zelle, die Sie installieren:

        kubectl get secret -n gpc-system ontap-CELL_ID-stge-clus-01-credential -o jsonpath='{.data.netapp_username}' | base64 --decode
        kubectl get secret -n gpc-system ontap-CELL_ID-stge-clus-01-credential -o jsonpath='{.data.netapp_password}' | base64 --decode
        

        Rufen Sie dann Volumes auf, wählen Sie alle aus und klicken Sie auf Löschen. Sie müssen die Schritte für jede Seite mehrmals wiederholen. Hinweis: Sie können einen Fehler, der darauf hinweist, dass ein Volume nicht gelöscht werden konnte, ignorieren. Weitere Informationen finden Sie in der NetApp-Wissensdatenbank.

        ag-stge-clus-01::*> vol show
        Vserver   Volume       Aggregate    State      Type       Size  Available Used%
        --------- ------------ ------------ ---------- ---- ---------- ---------- -----
        ag-ad-stge01-01 vol0   aggr0_ag_ad_stge01_01 online RW 151.3GB    84.97GB   40%
        ag-ad-stge01-02 vol0   aggr0_ag_ad_stge01_02 online RW 151.3GB    86.69GB   39%
        ag-ad-stge02-01 vol0   aggr0_ag_ad_stge02_01 online RW 151.3GB    83.62GB   41%
        ag-ad-stge02-02 vol0   aggr0_ag_ad_stge02_02 online RW 151.3GB    85.97GB   40%
        ag-ad-stge03-01 vol0   aggr0_ag_ad_stge03_01 online RW 151.3GB    89.19GB   37%
        ag-ad-stge03-02 vol0   aggr0_ag_ad_stge03_02 online RW 151.3GB    88.74GB   38%
        
    7. Führen Sie nach dem Löschen aller Volumes den folgenden Befehl aus, um die Wiederherstellungswarteschlange zu leeren: recovery-queue purge-all -vserver <vserver>.

    8. Führen Sie den folgenden Befehl aus, um den externen Schlüsselmanager zu löschen: clusterl::> security key-manager external remove-servers -vserver <CLUSTER_NAME> -key-servers <IP1:PORT,IP2:PORT,...>. Nach diesem Schritt erhalten Sie möglicherweise die folgende Fehlermeldung:

      Error: command failed: The key server at "172.22.112.192" contains authentication keys that are
           currently in use and not available from any other configured key server.
      

      Dieser Fehler weist darauf hin, dass noch Schlüssel vorhanden sind. So löschen Sie die verbleibenden Schlüssel:

    9. Führen Sie den folgenden Befehl aus, um die verbleibenden Schlüssel aufzulisten:

      security key-manager key query
      

      Die Ausgabe sieht etwa so aus wie im folgenden Beispiel.

                     Node: ag-ad-stge01-01
                  Vserver: ag-stge-clus-01
              Key Manager: 172.22.112.192:5696
         Key Manager Type: KMIP
       Key Manager Policy: -
      Key Tag                               Key Type Encryption   Restored
      ------------------------------------  -------- ------------ --------
      ag-ad-stge01-01                       NSE-AK   AES-256      true
          Key ID: 00000000000000000200000000000100454007f1854b3e3f5c90756bc5cfa6cc0000000000000000
      
    10. Notieren Sie sich den Wert für Key ID aus der vorherigen Ausgabe. Verwenden Sie den Befehl security key-manager key delete -key-id + den Wert Schlüssel-ID, um die verbleibenden Schlüssel zu löschen:

      security key-manager key delete -key-id 00000000000000000200000000000100454007f1854b3e3f5c90756bc5cfa6cc0000000000000000
      
    11. Wiederholen Sie die Schritte i und j, um die verbleibenden Schlüssel zu löschen. Wenn Sie fertig sind, sieht die Ausgabe etwa so aus:

      ag-stge-clus-01::*> security key-manager key query
      No matching keys found.
      

      6.6.3. ONTAP-Knoten zurücksetzen

So setzen Sie ONTAP-Knoten zurück:

  1. Starten Sie den Knoten neu, um über die Systemeingabeaufforderung mit dem Befehl system node reboot auf das Bootmenü zuzugreifen. Hinweis: Warnungen zum Neustart des Systems können Sie ignorieren.

    Beispiele:

    ag-stge-clus-01::> system reboot -node ag-ad-stge03-02
    Warning: Are you sure you want to reboot node "ag-ad-stge03-02"? {y|n}: y
    Error: Could not migrate LIFs away from node: Failed to migrate one or more LIFs away from node "ag-ad-stge03-02". Use the "network interface show -curr-node ag-ad-stge03-02" command to
            identify LIFs that could not be migrated off that node. Use the "network interface migrate" command to manually migrate the LIFs off the node.
            Reissue the command with "-skip-lif-migration-before-reboot" to skip the migration and continue with takeover.
    ag-stge-clus-01::> system reboot -node ag-ad-stge03-02 -skip-lif-migration-before-reboot
    Warning: Are you sure you want to reboot node "ag-ad-stge03-02"? {y|n}: y
    Connection to 172.22.115.134 closed.
    
    ag-stge-clus-01::> system reboot -node ag-ad-stge02-02
    Error: command failed: Taking node "ag-ad-stge02-02" out of service might result in a data service failure and client disruption for the entire cluster. If possible, bring an additional node
       online to improve the resiliency of the cluster and to ensure continuity of service. Verify the health of the node using the "cluster show" command, then try the command again, or
       provide "-ignore-quorum-warnings" to bypass this check.
    ag-stge-clus-01::> system reboot -node ag-ad-stge02-02  -ignore-quorum-warnings
    Warning: Are you sure you want to reboot node "ag-ad-stge02-02"? {y|n}: y
    Error: Could not migrate LIFs away from node: Failed to migrate one or more LIFs away from node "ag-ad-stge02-02". Use the "network interface show -curr-node ag-ad-stge02-02" command to
           identify LIFs that could not be migrated off that node. Use the "network interface migrate" command to manually migrate the LIFs off the node.
           Reissue the command with "-skip-lif-migration-before-reboot" to skip the migration and continue with takeover.
    ag-stge-clus-01::> system reboot -node ag-ad-stge02-02  -ignore-quorum-warnings -skip-lif-migration-before-reboot
    Warning: Are you sure you want to reboot node "ag-ad-stge02-02"? {y|n}: y
    Connection to 172.22.115.132 closed.
    
  2. Wenn Sie sich im Menü LOADER befinden, geben Sie boot_ontap ein, um mit dem Neustart fortzufahren. Drücken Sie während des Neustarts Ctrl-C, um das Bootmenü aufzurufen, wenn Sie dazu aufgefordert werden. Der Knoten zeigt die folgenden Optionen für das Bootmenü an:

    (1) Normal Boot.
    (2) Boot without /etc/rc.
    (3) Change password.
    (4) Clean configuration and initialize all disks.
    (5) Maintenance mode boot.
    (6) Update flash from backup config.
    (7) Install new software first.
    (8) Reboot node.
    (9) Configure Advanced Drive Partitioning
    Selection (1-9)?
    
  3. Wählen Sie die Option (9) Configure Advanced Drive Partitioning aus. Für den Knoten sind die folgenden Optionen verfügbar:

    * Advanced Drive Partitioning Boot Menu Options *
    *************************************************
    (9a) Destroy aggregates, unpartition all disks and remove their ownership information.
    (9b) Clean configuration and initialize node with partitioned disks.
    (9c) Clean configuration and initialize node with whole disks.
    (9d) Reboot the node.
    (9e) Return to main boot menu.
    (9f) Remove disk ownership.
    
  4. Wählen Sie die Option 9a aus und geben Sie no ein, wenn Sie zur Kündigung aufgefordert werden. Nach 9a wird im Knoten wieder die folgende Option angezeigt:

     (9a) Unpartition all disks and remove their ownership information.
     (9b) Clean configuration and initialize node with partitioned disks.
     (9c) Clean configuration and initialize node with whole disks.
     (9d) Reboot the node.
     (9e) Return to main boot menu.
     ```
    
  5. Führen Sie den 9a-Vorgang für alle Speicherknoten im Cluster aus, bevor Sie fortfahren.

  6. Führen Sie für jeden Knoten die Option 9b aus und geben Sie yes ein, um die Auswahl zu bestätigen.

    (9a) Unpartition all disks and remove their ownership information.
    (9b) Clean configuration and initialize node with partitioned disks.
    (9c) Clean configuration and initialize node with whole disks.
    (9d) Reboot the node.
    (9e) Return to main boot menu.
    
    1. Wenn ein HA-Paar vorhanden ist, wird die folgende Meldung angezeigt. Achten Sie darauf, dass alle Knoten im Cluster Schritt 9a abgeschlossen haben, bevor Sie Schritt 9b darauf ausführen.

      Selection (9a-9f)?: 9b
      9b
      Option (9a) MUST BE COMPLETED on BOTH nodes in an HA pair (and DR/DR-AUX partner nodes if applicable)
      prior to starting option (9b).
      Has option (9a) been completed on all the nodes (yes/no)? yes
      yes
      
  7. Wenn die Meldung Welcome to the cluster setup wizard angezeigt wird, ist das Zurücksetzen abgeschlossen.

6.7. Thales k570 zurücksetzen

Um den Thales k570 zurückzusetzen, setzen Sie zuerst den Ciphertrust Manager auf die Werkseinstellungen zurück und dann das Luna HSM.

6.7.1. System auf Werkseinstellungen zurücksetzen

  1. Erstellen Sie ein temporäres Arbeitsverzeichnis für HSM-Anmeldedaten:

    TMPPWDDIR=/run/user/$(id --user)/hsm
    mkdir -p $TMPPWDDIR
    chmod 700 $TMPPWDDIR
    
  2. Stellen Sie eine SSH-Verbindung zum HSM her:

    export ADMIN_SSH_SECRET_NAME=`kubectl get secrets -n hsm-system -o json | jq .items[].metadata.name | tr -d '"' | grep "ssh"`
    kubectl get secret $ADMIN_SSH_SECRET_NAME \
    --namespace=hsm-system \
    --output jsonpath='{.data.ssh-privatekey}' \
    | base64 --decode > $TMPPWDDIR/hsm-ssh-privatekey
    chmod 0600 $TMPPWDDIR/hsm-ssh-privatekey
    ssh -i $TMPPWDDIR/hsm-ssh-privatekey ksadmin@$HSM_MGMT_IP
    

    Wenn das nicht möglich ist, stellen Sie über ein serielles Kabel eine Verbindung zwischen Ihrem Computer und dem Konsolenport her. Führen Sie den folgenden Befehl auf einem anderen Tab aus, um das ksadmin-Passwort abzurufen.

    export KSADMIN_SECRET_NAME=`kubectl get secrets -n hsm-system -o json | jq .items[]metadata.name | tr -d '"' | grep "ksadmin"`
    kubectl get secret $KSADMIN_SECRET_NAME \
     --namespace=hsm-system \
     --output jsonpath='{.data.password}' \
      | base64 --decode
    

    Sobald Sie sich über die serielle Schnittstelle anmelden, wird eine Anmeldeaufforderung angezeigt. Geben Sie den Nutzernamen als ksadmin ein und fügen Sie das Passwort aus dem vorherigen Befehl ein.

  3. Bevor Sie den Befehl factory-reset ausführen:

    • Vermeiden Sie es, das System während dieser Zeit neu zu starten, da die erneute Verbindung mehrere Systemneustarts erfordert und nicht rückgängig gemacht werden kann.

    • Sorgen Sie für eine Notstromversorgung.

    Führen Sie den folgenden Befehl aus, um das Gerät auf die Werkseinstellungen zurückzusetzen:

    sudo /opt/keysecure/ks_reset_to_factory.sh
    

    Das Zurücksetzen dauert etwa 10 Minuten.

6.7.2. Luna HSM zurücksetzen

Beim Zurücksetzen auf die Werkseinstellungen wird das Root of Trust nicht aus den HSMs gelöscht. Führen Sie die folgenden Befehle aus, um das Luna HSM zurückzusetzen:

  1. Führen Sie auf dem CipherTrust Manager-Host entweder über SSH oder über die serielle Konsole den folgenden Befehl aus:

    /usr/safenet/lunaclient/bin/lunacm
    
    lunacm:> hsm factoryReset
    
  2. Löschen Sie das temporäre Arbeitsverzeichnis aus dem Bootstrapper:

    rm $TMPPWDDIR
    

6.8. Firewalls zurücksetzen

Eine Anleitung zum Zurücksetzen Ihrer Firewalls auf die Werkseinstellungen finden Sie unter Firewall auf Werkseinstellungen zurücksetzen.

6.9. Cisco-Switches zurücksetzen

Führen Sie die folgenden Schritte aus, um Cisco-Switches zurückzusetzen. Diese Anleitung gilt auch für Speicherwechsel wie stgesw.

  1. Melden Sie sich bei den Switches an.
  2. Schalter beschreiben, löschen und neu laden:

    write erase
    reload
    
  3. Wenn die Schalter bereits konfiguriert wurden und Sie ein cellcfg-Verzeichnis haben, können Sie stattdessen der Anleitung zur Vorab-Bereinigung folgen.

  4. Prüfen Sie, ob die Switches sich im POAP-Modus (Power On Auto Provisioning) befinden.

    Wenn der Switch richtig zurückgesetzt wurde, sollte beim Verbinden mit dem Konsolenserver die folgende Aufforderung angezeigt werden:

    Abort Power On Auto Provisioning [yes - continue with normal setup, skip - bypass password and basic configuration, no - continue with Power On Auto Provisioning] (yes/skip/no)[no]:
    

6.10. Zusätzliche Informationen zum Zurücksetzen

Weitere Informationen zum Zurücksetzen finden Sie in den folgenden Ressourcen:

  • https://docs.netapp.com/us-en/ontap/system-admin/manage-node-boot-menu-task.html
  • https://docs.netapp.com/us-en/ontap/encryption-at-rest/return-seds-unprotected-mode-task.html