Dataproc Metastore aus einer Sicherung wiederherstellen

Auf dieser Seite wird erläutert, wie Sie einen Dataproc Metastore-Dienst aus einer Sicherung wiederherstellen.

Eine Sicherung ist ein Snapshot der Konfigurationseinstellungen und Metadaten, die in einem Dataproc Metastore-Dienst gespeichert sind. Sie können die Wiederherstellungsfunktion verwenden, um schnell einen neuen Dataproc Metastore-Dienst mit den zuvor in einer Sicherung gespeicherten Daten einzurichten.

Hinweise

• Aktivieren Sie Dataproc Metastore in Ihrem Projekt.
• Erstellen Sie einen Dataproc Metastore-Dienst.
• Dataproc Metastore-Dienst sichern

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, damit Sie die Berechtigungen erhalten, die Sie zum Wiederherstellen eines Dataproc Metastore-Dienstes aus einer Sicherung benötigen:

• Wenn Sie zum Abschluss einer Sicherung die vollständige Kontrolle über Dataproc Metastore-Ressourcen gewähren möchten, haben Sie folgende Möglichkeiten:
  • Dataproc Metastore Editor (roles/metastore.editor) im Metadatendienst.
  • Dataproc Metastore-Administrator (roles/metastore.admin) für das Projekt.
• So verwenden Sie das Cloud Storage-Objekt, das geplante Sicherungen speichert: Cloud Storage-Objektnutzer (roles/storage.objectUser) im Dataproc Metastore-Dienst-Agent

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Wiederherstellen eines Dataproc Metastore-Dienstes aus einer Sicherung erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um einen Dataproc Metastore-Dienst aus einer Sicherung wiederherzustellen:

• So stellen Sie einen Metadatendienst wieder her: metastore.services.restore, metastore.backups.use
• So verwenden Sie das Cloud Storage-Objekt:
  • orgpolicy.policy.get
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • storage.managedFolders.create
  • storage.managedFolders.delete
  • storage.managedFolders.get
  • storage.managedFolders.list
  • storage.multipartUploads.*
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.get
  • storage.objects.list
  • storage.objects.restore
  • storage.objects.update

Möglicherweise können Sie diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie in der Übersicht über Dataproc Metastore – IAM.

Informationen aus einer Sicherung wiederherstellen

Wenn Sie einen Dienst aus einer Sicherung wiederherstellen, können Sie eine der folgenden Optionen auswählen:

• Alle in der Sicherung gespeicherten Metadaten und Konfigurationseinstellungen wiederherstellen.

• Alle Metadaten wiederherstellen, aber nicht die in der Sicherung gespeicherten Konfigurationseinstellungen. Stattdessen behält der Dienst die aktuellen Konfigurationseinstellungen bei.

  Die Konfigurationseinstellungen umfassen Dataproc Metastore-Parameter wie den Dienstnamen, die Portnummer und die Netzwerkeinstellungen. Metadaten enthalten alle Datenbank- und Tabelleninformationen, die in einem Dataproc Metastore-Dienst gespeichert sind.

Hinweise

• Während einer Wiederherstellung können Sie Ihren Dienst nicht aktualisieren, beispielsweise nicht die Konfigurationseinstellungen. Sie können Ihren Dienst jedoch weiterhin für normale Vorgänge verwenden, z. B. für den Zugriff auf seine Metadaten über angehängte Dataproc- oder selbstverwaltete Cluster.

• Dataproc Metastore-Labels werden nicht wiederhergestellt.

• Im Warehouse-Verzeichnis gespeicherte Daten werden nicht wiederhergestellt.

• Bei der Wiederherstellung aus einer Sicherung werden detaillierte IAM-Richtlinien nicht wiederhergestellt oder ersetzt.

• Für die Wiederherstellung aus einer geplanten Sicherung muss sich die Sicherung in einem Cloud Storage-Bucket befinden.

Aus einer Sicherung wiederherstellen

Führen Sie die folgenden Schritte aus, um einen Dataproc Metastore-Dienst aus einer Sicherung wiederherzustellen.

• Wenn Sie die Google Cloud Console verwenden, können Sie Metadaten nur aus einer Sicherung wiederherstellen, die im selben Projekt und in derselben Region wie Ihr neuer Dienst erstellt wurde.

• Wenn Sie die Google Cloud CLI oder Dataproc Metastore APIs verwenden, können Sie Metadaten aus einer Sicherung wiederherstellen, die in einem anderen Projekt und einer anderen Region erstellt wurde (dienstübergreifende Sicherung).

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

   Dataproc Metastore öffnen

2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie aus einer Sicherung wiederherstellen möchten.

   Die Seite Dienstdetails wird geöffnet.

   

   Abbildung 1: Detailseite des Dataproc Metastore-Dienstes

3. Klicken Sie auf den Tab Backup/Wiederherstellung, um Ihre Sicherungen aufzurufen.

4. Wählen Sie die gewünschte Sicherung aus. Klicken Sie dazu auf das Dreipunkt-Menü und wählen Sie Wiederherstellen aus.

   Die Seite Wiederherstellen wird geöffnet.

   Sie können den Dienst auch auf der Seite Sicherungsdetails wiederherstellen. Klicken Sie dazu auf den Namen der Sicherung und dann auf Wiederherstellen.

5. Wählen Sie den entsprechenden Wiederherstellungsvorgang aus:

   • Metastore-Daten wiederherstellen Alle Metadaten werden wiederhergestellt. Die in der Sicherung gespeicherten Konfigurationseinstellungen werden jedoch nicht wiederhergestellt.
   • Metastore-Daten und Dienstkonfiguration wiederherstellen Es werden alle Metadaten und alle in der Sicherung gespeicherten Konfigurationseinstellungen wiederhergestellt.

6. Klicken Sie auf Wiederherstellen, um den Dienst zu aktualisieren.

   Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

   Wenn die Wiederherstellung abgeschlossen ist, kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob die Wiederherstellung erfolgreich war oder nicht.

gcloud-CLI

1. Führen Sie den folgenden gcloud metastore services restore-Befehl aus, um einen Dataproc Metastore-Dienst wiederherzustellen:

   gcloud metastore services restore SERVICE  \
       --project=PROJECT_ID \
       --location=LOCATION \
       --backup=BACKUP \
       --restore-type=RESTORE_TYPE \
       --backup-location=BACKUP_LOCATION
   

   Ersetzen Sie Folgendes:

   • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
   • PROJECT_ID: die Projekt-ID des Google Cloud-Projekts, in dem sich Ihr Dataproc Metastoreservice befindet.
   • LOCATION: die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.
   • BACKUP: die ID der Sicherungsdatei, aus der Sie die Wiederherstellung ausführen. Dieser Wert kann die Sicherungs-ID, eine voll qualifizierte URL oder der relative Name im folgenden Format sein: projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}.
   • RESTORE_TYPE: der Typ des auszuführenden Wiederherstellungsvorgangs. Zulässige Werte sind metadata-only und full. Der Standardwert ist metadata-only.
   • BACKUP_LOCATION (optional): Der Cloud Storage-Speicherort der geplanten Sicherung. Beispiel: gs://my-bucket/path/to/location

2. Prüfen Sie, ob die Wiederherstellung erfolgreich war.

   Wenn die Wiederherstellung abgeschlossen ist, kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob die Wiederherstellung erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zum Wiederherstellen von Metadaten in einem Dienst mithilfe von APIs Explorer.

Nach Abschluss der Wiederherstellung wird Dataproc Metastore automatisch in den Status „Aktiv“ zurückgesetzt, unabhängig davon, ob die Wiederherstellung erfolgreich war oder nicht.

Wiederherstellungsverlauf ansehen

Führen Sie die folgenden Schritte aus, um den Wiederherstellungsverlauf eines Dataproc Metastore-Dienstes in der Google Cloud Console aufzurufen:

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

2. Klicken Sie in der Navigationsleiste auf Backup/Wiederherstellung.

   Der Wiederherstellungsverlauf wird in einer Tabelle unter Wiederherstellen angezeigt.

   Im Verlauf werden die letzten 25 Wiederherstellungen angezeigt, die Sie durchgeführt haben.

   Durch das Löschen eines Dataproc Metastore-Dienstes wird auch der gesamte zugehörige Wiederherstellungsverlauf gelöscht.

Häufige Probleme beheben

• Der Dienst-Agent oder das Nutzerkonto verfügt nicht über die erforderlichen Berechtigungen.
• Weitere Hilfe zum Beheben häufiger Probleme finden Sie unter Fehlerszenarien beim Sichern und Wiederherstellen.

Nächste Schritte

• Metadaten aus einem Dienst sichern
• Dienste aktualisieren und löschen
• Hive Metastore