Dataproc Metastore-Dienst sichern

Auf dieser Seite wird erläutert, wie Sie eine Sicherung eines Dataproc Metastore-Dienstes erstellen.

Eine Sicherung erstellt einen Snapshot Ihres Dienstes, der die aktuellen Konfigurationseinstellungen und alle gespeicherten Metadaten speichert.

Nachdem Sie eine Sicherung erstellt haben, können Sie die Funktion Aus einer Sicherung wiederherstellen verwenden, um einen neuen Dataproc Metastore-Dienst mit den im Snapshot gespeicherten Daten zu füllen.

Hinweise

• Aktivieren Sie Dataproc Metastore in Ihrem Projekt.
• Erstellen Sie einen Dataproc Metastore-Dienst.
• Optional: Metadaten in Dataproc Metastore importieren

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, damit Sie die Berechtigungen erhalten, die Sie zum Sichern eines Dataproc Metastore-Dienstes benötigen:

• Wenn Sie zum Abschluss einer Sicherung die vollständige Kontrolle über Dataproc Metastore-Ressourcen gewähren möchten, haben Sie folgende Möglichkeiten:
  • Dataproc Metastore Editor (roles/metastore.editor) im Metadatendienst.
  • Dataproc Metastore-Administrator (roles/metastore.admin) für das Projekt.
• So gewähren Sie Lese- und Änderungszugriff auf bestimmte Metadaten von Datenbanken und Tabellen: Dataproc Metastore-Metadatenoperator (roles/metastore.metadataOperator) für den Metadatendienst
• So verwenden Sie das Cloud Storage-Objekt, das geplante Sicherungen speichert: Cloud Storage-Objektnutzer (roles/storage.objectUser) im Dataproc Metastore-Dienst-Agent

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Sichern eines Dataproc Metastore-Dienstes erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um einen Dataproc Metastore-Dienst zu sichern:

• So sichern Sie einen Metadatendienst: metastore.backups.create
• So verwenden Sie das Cloud Storage-Objekt:
  • orgpolicy.policy.get
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • storage.managedFolders.create
  • storage.managedFolders.delete
  • storage.managedFolders.get
  • storage.managedFolders.list
  • storage.multipartUploads.*
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.get
  • storage.objects.list
  • storage.objects.restore
  • storage.objects.update

Möglicherweise können Sie diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie in der Übersicht über Dataproc Metastore – IAM.

Hinweise zur Sicherung

Beachten Sie vor dem Ausführen eines Sicherungsvorgangs die folgenden Hinweise:

• Für jeden Dataproc Metastore-Dienst können Sie bis zu sieben Sicherungen gleichzeitig erstellen und speichern. Wenn Sie versuchen, mehr als sieben Sicherungen zu überschreiten, schlägt der Sicherungsprozess fehl. Wenn Sie eine weitere Sicherung erstellen möchten, müssen Sie zuerst eine Ihrer gespeicherten Sicherungsdateien manuell löschen.
• Während eines Sicherungsvorgangs können Sie Ihren Dataproc Metastore-Dienst nicht aktualisieren, beispielsweise die Konfigurationseinstellungen nicht ändern. Sie können Ihren Dienst jedoch weiterhin für normale Vorgänge verwenden, z. B. für den Zugriff auf Metadaten von angehängten Dataproc oder selbstverwalteten Clustern.
• Sie können geplante Sicherungen erstellen, die in verschiedenen Cron-Intervallen ausgeführt werden, z. B. täglich.

Sicherung erstellen

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst zu sichern:

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

   Dataproc Metastore öffnen

2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie sichern möchten.

   Die Seite Dienstdetails wird geöffnet.

   

   Abbildung 1: Detailseite des Dataproc Metastore-Dienstes

3. Klicken Sie oben auf der Seite auf Sicherung.

   Die Seite Sicherung wird geöffnet.

4. Geben Sie den Sicherungsnamen ein.

5. Optional: Geben Sie eine Beschreibung der Sicherung ein.

6. Klicken Sie auf Sicherung, um den Sicherungsvorgang zu starten.

   Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

   Nach Abschluss der Sicherung kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

gcloud-CLI

1. Führen Sie den folgenden gcloud metastore services backups create-Befehl aus, um einen Dataproc Metastore-Dienst zu sichern:

   gcloud metastore services backups create BACKUP \
       --location=LOCATION \
       --service=SERVICE \
       --description=DESCRIPTION
   

   Ersetzen Sie Folgendes:

   • BACKUP: die ID oder die voll qualifizierte ID für die Sicherung.
   • LOCATION: Die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.
   • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
   • DESCRIPTION: eine Beschreibung Ihrer Sicherung.

2. Überprüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

   Nach Abschluss der Sicherung kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zum Sichern der Metadaten eines Dienstes mit APIs Explorer.

Nach Abschluss der Sicherung wird Dataproc Metastore automatisch in den aktiven Status zurückgesetzt, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

Sicherungsverlauf ansehen

Führen Sie die folgenden Schritte aus, um den Sicherungsverlauf eines Dataproc Metastore-Dienstes in der Google Cloud Console aufzurufen:

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

2. Klicken Sie in der Navigationsleiste auf Backup/Wiederherstellung.

   Der Sicherungsverlauf wird in einer Tabelle unter Sicherungen angezeigt.

   Der Verlauf enthält die letzten sieben Sicherungen.

   Durch das Löschen eines Dataproc Metastore-Dienstes wird auch der gesamte zugehörige Sicherungsverlauf gelöscht.

Sicherung löschen

Führen Sie die folgenden Schritte aus, um eine Dataproc Metastore-Sicherung in der Google Cloud Console zu löschen:

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
2. Klicken Sie in der Navigationsleiste auf Backup/Wiederherstellung.
3. Suchen Sie die Sicherung, die Sie löschen möchten, und klicken Sie auf die Schaltfläche „Einstellungen“.
4. Klicken Sie auf Löschen.

Sicherung planen

Sicherungen können so geplant werden, dass sie in benutzerdefinierten Cronjob-Intervallen ausgeführt werden, einschließlich täglich, wöchentlich oder monatlich. Für einen Cron-Zeitplan wird das Format des Unix-Cron-Strings (* * * * *) verwendet. Dabei handelt es sich um fünf Felder in einer Zeile, die angeben, wann der Job ausgeführt werden soll.

Sie können beispielsweise ein benutzerdefiniertes Intervall festlegen, um jede Woche eine Sicherung zu erstellen, z. B. jeden Mittwoch um 14:00 Uhr PST (UTC-8).

Überlegungen zu geplanten Sicherungen

• Bei geplanten Sicherungen muss ein Sicherungsspeicherort angegeben werden. Dieser muss ein Cloud Storage-Pfad sein.
• Geplante Sicherungen werden immer im Avro-Dateiformat erstellt.
• Geplante Sicherungen werden standardmäßig in der UTC-Zeitzone konfiguriert. Sie können die Zeitzone ändern, wenn Sie die Sicherung zum ersten Mal erstellen.
• Geplante Sicherungen können so eingestellt werden, dass sie täglich, wöchentlich oder monatlich ausgeführt werden.

Geplante Sicherung erstellen

Sicherungspläne können beim erstmaligen Erstellen des Dienstes oder später bei der Aktualisierung des Dienstes festgelegt werden.

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 mit einer geplanten Sicherung zu erstellen:

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

2. Klicken Sie oben auf der Seite Dataproc Metastore auf die Schaltfläche Erstellen.

   Die Seite Dienst erstellen wird geöffnet.

3. Wählen Sie Dataproc Metastore 2 aus.

4. Stellen Sie die Ein/Aus-Schaltfläche unter Geplante Sicherungen auf Aktivieren.

5. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

6. Optional: Wählen Sie unter „Zeitplan“ Folgendes aus:

   1. Wählen Sie für Wiederholungen die Wiederholung aus, z. B. Täglich oder Wöchentlich.
   2. Wählen Sie unter Zum Zeitpunkt den Zeitpunkt des Wiederholungsprozesses aus, z. B. 00:00 Uhr.
   3. Wählen Sie für Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

7. Verwenden Sie für die übrigen Dienstkonfigurationsoptionen die bereitgestellten Standardeinstellungen.

8. Klicken Sie auf Senden.

gcloud-CLI

1. Führen Sie den folgenden gcloud metastore services backups create-Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION
   

   Ersetzen Sie Folgendes:

   • SERVICE: die ID oder die voll qualifizierte Kennung für die Sicherung.
   • LOCATION: Die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.
   • SCHEDULED_BACKUP_CRON: die Häufigkeit Ihrer Sicherung, angegeben im Cron-Zeitformat. Ein Cron-Wert von 0 0 * * * plant beispielsweise eine tägliche Sicherung.
   • SCHEDULED_BACKUP_LOCATION: der Cloud Storage-Speicherort Ihrer Sicherung. Beispiel: gs://my-bucket/path/to/location

   oder

   Sie können eine Sicherung auch planen, indem Sie die vorherigen Werte in einer Konfigurationsdatei speichern:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Ersetzen Sie Folgendes:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu einer JSON-Datei, die die Sicherungskonfigurationswerte enabled, cront_schedule, time_zone und backup_location enthält.

   Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, die geplante Sicherungen aktiviert, den Sicherungszeitplan auf jede Stunde festlegt, die Zeitzone als PST angibt und den Sicherungsspeicherort als Cloud Storage-Bucket definiert. Sie können Zeitzonen aus der Liste der gemeinsamen tz-Datenbankzeitzonen auswählen.

   {
   "enabled": true,
   "cron_schedule": "0 0 * * *",
   "time_zone": "PST",
   "backup_location": "gs://my-bucket/path/to/location"
   }
   

REST

Folgen Sie der API-Anleitung zum Erstellen einer geplanten Sicherung mit APIs Explorer.

Geplante Sicherung aktualisieren

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 zu aktualisieren, der mit einer geplanten Sicherung konfiguriert ist:

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, für den Sie eine Sicherung planen möchten.

3. Stellen Sie den Schalter unter Geplante Sicherungen auf Aktiviert.

4. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

5. Optional: Wählen Sie unter Zeitplan Werte für die folgenden Felder aus:

   1. Wählen Sie für Wiederholungen die Wiederholung aus, z. B. Täglich oder Wöchentlich.
   2. Wählen Sie unter Zum Zeitpunkt den Zeitpunkt des Wiederholungsprozesses aus, z. B. 00:00 Uhr.
   3. Wählen Sie für Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

gcloud-CLI

1. Führen Sie den folgenden gcloud metastore services backups update-Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \
   

   Ersetzen Sie Folgendes:

   • SERVICE: die ID oder die voll qualifizierte Kennung für die geplante Sicherung.
   • LOCATION: Die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.
   • SCHEDULED_BACKUP_CRON: die Häufigkeit Ihrer Sicherung, angegeben im Cron-Zeitformat. Ein Cron-Wert von 0 0 * * * plant beispielsweise eine tägliche Sicherung.
   • SCHEDULED_BACKUP_LOCATION: der Cloud Storage-Speicherort der geplanten Sicherung. Beispiel: gs://my-bucket/path/to/location

   Sie können eine geplante Sicherung auch mithilfe der vorhergehenden Werte aktualisieren, die in einer Konfigurationsdatei gespeichert sind:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Ersetzen Sie Folgendes:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu einer JSON-Datei, die die Sicherungskonfiguration enthält.

   Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, mit der eine geplante Sicherung deaktiviert wird.

   {
   "enabled": false,
   }
   

REST

Folgen Sie der API-Anleitung zum Aktualisieren einer geplanten Sicherung mit APIs Explorer.

Geplante Sicherung ansehen

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 aufzurufen, der mit einer geplanten Sicherung konfiguriert ist:

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

2. Klicken Sie oben auf der Seite auf Sicherung.

   Die Seite Sicherung wird geöffnet und Ihre geplanten Sicherungen werden angezeigt. Die Sicherungen werden tatsächlich in dem Cloud Storage-Bucket gespeichert, den Sie in der Konfiguration der geplanten Sicherung angegeben haben.

gcloud-CLI

1. Führen Sie folgenden Befehl gsutil ls aus:

   gsutil ls gs://BUCKET_NAME/SERVICE/LOCATION
   

   Ersetzen Sie Folgendes:

   • BUCKET_NAME: der Pfad zum Cloud Storage-Bucket, in dem die geplante Sicherung gespeichert ist, die Sie ansehen möchten.
   • SERVICE: die ID oder die voll qualifizierte Kennung für die geplante Sicherung.
   • LOCATION: die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.

REST

Folgen Sie der API-Anleitung, um mit APIs Explorer eine geplante Sicherung anzusehen.

Häufige Probleme beheben

• Der Dienst-Agent oder das Nutzerkonto verfügt nicht über die erforderlichen Berechtigungen.
• Weitere Hilfe zum Beheben häufiger Probleme finden Sie unter Fehlerszenarien beim Sichern und Wiederherstellen.

Nächste Schritte

• Dataproc Metastore-Dienst aus einer Sicherung wiederherstellen
• Dataproc Metastore-Dienst aktualisieren und löschen