Dataproc Metastore aus einer Sicherung wiederherstellen

Auf dieser Seite wird erläutert, wie Sie einen Dataproc Metastore-Dienst aus einer Sicherung wiederherstellen.

Eine Sicherung ist ein Snapshot der Konfigurationseinstellungen und Metadaten, die in einem Dataproc Metastore-Dienst gespeichert sind. Mit der Wiederherstellungsfunktion können Sie schnell einen neuen Dataproc Metastore-Dienst mit den Daten einrichten, die zuvor in einem Back-up gespeichert wurden.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Wiederherstellen eines Dataproc-Metastore-Dienstes aus einer Sicherung benötigen:

  • Um die vollständige Kontrolle über Dataproc Metastore-Ressourcen für die Durchführung einer Sicherung zu gewähren, müssen Sie entweder:
  • So verwenden Sie das Cloud Storage-Objekt, in dem geplante Sicherungen gespeichert werden: Nutzer des Cloud Storage-Objekts (roles/storage.objectUser) für den Dataproc Metastore-Dienst-Agent

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Wiederherstellen eines Dataproc-Metastore-Dienstes aus einer Sicherung erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um einen Dataproc Metastore-Dienst aus einer Sicherung wiederherzustellen:

  • So stellen Sie einen Metadatendienst wieder her: metastore.services.restore, metastore.backups.use
  • So verwenden Sie das Cloud Storage-Objekt:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Rollen und Berechtigungen für Dataproc Metastore finden Sie unter IAM-Rollen und -Berechtigungen für Dataproc Metastore.

Wiederherstellung aus einer Sicherung

Wenn Sie einen Dienst aus einer Sicherung wiederherstellen, können Sie eine der folgenden Optionen auswählen:

  • Alle Metadaten und die im Back-up gespeicherten Konfigurationseinstellungen wiederherstellen.

  • Alle Metadaten wiederherstellen, aber die im Back-up gespeicherten Konfigurationseinstellungen nicht Stattdessen bleiben die aktuellen Konfigurationseinstellungen Ihres Dienstes erhalten.

    Zu den Konfigurationseinstellungen gehören Dataproc Metastore-Parameter wie Dienstname, Portnummer und Netzwerkeinstellungen. Metadaten umfassen alle Datenbank- und Tabelleninformationen, die in einem Dataproc Metastore-Dienst gespeichert sind.

Hinweise

  • Während ein Wiederherstellungsvorgang ausgeführt wird, können Sie Ihren Dienst nicht aktualisieren. Sie können beispielsweise keine Konfigurationseinstellungen ändern. Sie können den Dienst jedoch weiterhin für den normalen Betrieb verwenden, z. B. um über angehängte Dataproc- oder selbstverwaltete Cluster auf die Metadaten zuzugreifen.

  • Dataproc Metastore-Labels werden nicht wiederhergestellt.

  • Im Warehouse-Verzeichnis gespeicherte Daten werden nicht wiederhergestellt.

  • Durch die Wiederherstellung aus einer Sicherung werden keine detaillierten IAM-Richtlinien wiederhergestellt oder ersetzt.

  • Für die Wiederherstellung aus einer geplanten Sicherung muss sich die Sicherung in einem Cloud Storage-Bucket befinden.

Aus einer Sicherung wiederherstellen

Führen Sie die folgenden Schritte aus, um einen Dataproc Metastore-Dienst aus einer Sicherung wiederherzustellen.

  • Wenn Sie die Google Cloud Console verwenden, können Sie Metadaten nur aus einem Back-up wiederherstellen, das in demselben Projekt und derselben Region wie Ihr neuer Dienst erstellt wurde.

  • Wenn Sie die Google Cloud CLI oder die Dataproc Metastore APIs verwenden, können Sie Metadaten aus einer Sicherung wiederherstellen, die in einem anderen Projekt und einer anderen Region erstellt wurde (dienstübergreifende Sicherung).

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie aus einer Sicherung wiederherstellen möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Abbildung 1: Die Seite mit den Details zum Dataproc Metastore-Dienst

  3. Klicken Sie auf den Tab Sicherung/Wiederherstellung, um Ihre Sicherungen aufzurufen.

  4. Wählen Sie die Sicherung aus, die Sie verwenden möchten. Klicken Sie dazu auf das Dreistrich-Menü  und wählen Sie Wiederherstellen aus.

    Die Seite Wiederherstellen wird geöffnet.

    Sie können Ihren Dienst auch auf der Seite Sicherungsdetails wiederherstellen. Klicken Sie dazu auf den Namen der Sicherung und dann auf Wiederherstellen.

  5. Wählen Sie den gewünschten Wiederherstellungsvorgang aus:

    • Metadatenspeicherdaten wiederherstellen Alle Metadaten werden wiederhergestellt, aber nicht die in der Sicherung gespeicherten Konfigurationseinstellungen.
    • Metadaten und Dienstkonfiguration wiederherstellen Alle Metadaten und Konfigurationseinstellungen, die im Back-up gespeichert sind, werden wiederhergestellt.

  6. Klicken Sie auf Wiederherstellen, um den Dienst zu aktualisieren.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

    Nach Abschluss der Wiederherstellung wechselt Dataproc Metastore automatisch in den aktiven Zustand, unabhängig davon, ob die Wiederherstellung erfolgreich war oder nicht.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services restore-Befehl aus, um einen Dataproc Metastore-Dienst wiederherzustellen:

    gcloud metastore services restore SERVICE  \
    --project=PROJECT_ID \
    --location=LOCATION \
    --backup=BACKUP \
    --restore-type=RESTORE_TYPE \
    --backup-location=BACKUP_LOCATION

    Ersetzen Sie Folgendes:

    • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
    • PROJECT_ID: die Projekt-ID des Google Cloud-Projekts, in dem sich Ihr Dataproc Metastore-Dienst befindet.
    • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • BACKUP: Optional: die Kennung der Sicherungsdatei, aus der Sie wiederherstellen. Dieser Wert kann die Sicherungs-ID, eine vollständig qualifizierte URL oder der relative Name im folgenden Format sein: projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}.
    • RESTORE_TYPE: Der Typ der auszuführenden Wiederherstellung. Gültige Werte sind metadata-only und full. Der Standardwert ist metadata-only.
    • BACKUP_LOCATION (Optional): Der Cloud Storage-Speicherort Ihrer geplanten Sicherung. Beispiel: gs://my-bucket/path/to/location

  2. Prüfen Sie, ob die Wiederherstellung erfolgreich war.

    Nach Abschluss der Wiederherstellung wechselt Dataproc Metastore automatisch in den aktiven Zustand, unabhängig davon, ob die Wiederherstellung erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zum Wiederherstellen von Metadaten in einen Dienst mit dem APIs Explorer.

Nach Abschluss der Wiederherstellung wechselt Dataproc Metastore automatisch in den aktiven Zustand, unabhängig davon, ob die Wiederherstellung erfolgreich war oder nicht.

Wiederherstellungsverlauf ansehen

So rufen Sie den Wiederherstellungsverlauf eines Dataproc Metastore-Dienstes in der Google Cloud Console auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie in der Navigationsleiste auf Sichern/Wiederherstellen.

    Der Wiederherstellungsverlauf wird in einer Tabelle unter Wiederherstellen angezeigt.

    Im Verlauf werden die letzten 25 Wiederherstellungen angezeigt, die Sie durchgeführt haben.

    Wenn Sie einen Dataproc Metastore-Dienst löschen, wird auch der gesamte zugehörige Wiederherstellungsverlauf gelöscht.

Häufige Probleme beheben

Nächste Schritte