Dataproc Metastore-Dienst sichern

Auf dieser Seite wird beschrieben, wie Sie eine Sicherung eines Dataproc Metastore-Dienstes erstellen.

Bei einer Sicherung wird ein Snapshot Ihres Dienstes erstellt und die aktuellen Konfigurationseinstellungen und alle gespeicherten Metadaten werden gespeichert.

Nachdem Sie eine Sicherung erstellt haben, können Sie mit der Funktion Aus Sicherung wiederherstellen einen neuen Dataproc Metastore-Dienst mit den im Snapshot gespeicherten Daten füllen.

Hinweise

• Aktivieren Sie Dataproc Metastore in Ihrem Projekt.
• Erstellen Sie einen Dataproc Metastore-Dienst.
• Optional: Metadaten in Dataproc Metastore importieren

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Sichern eines Dataproc-Metastore-Dienstes benötigen:

• Um die vollständige Kontrolle über Dataproc Metastore-Ressourcen für die Durchführung einer Sicherung zu gewähren, müssen Sie entweder:
  • Dataproc Metastore-Bearbeiter (roles/metastore.editor) für den Metadatendienst
  • Dataproc Metastore Administrator (roles/metastore.admin) für das Projekt
• So gewähren Sie Lese- und Änderungszugriff auf bestimmte Metadaten von Datenbanken und Tabellen: Dataproc Metastore Metadata Operator (roles/metastore.metadataOperator) für den Metadatendienst
• So verwenden Sie das Cloud Storage-Objekt, in dem geplante Sicherungen gespeichert werden: Nutzer des Cloud Storage-Objekts (roles/storage.objectUser) für den Dataproc Metastore-Dienst-Agent

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Sichern eines Dataproc-Metastore-Dienstes erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um einen Dataproc Metastore-Dienst zu sichern:

• So sichern Sie einen Metadatendienst: metastore.backups.create
• So verwenden Sie das Cloud Storage-Objekt:
  • orgpolicy.policy.get
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • storage.managedFolders.create
  • storage.managedFolders.delete
  • storage.managedFolders.get
  • storage.managedFolders.list
  • storage.multipartUploads.*
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.get
  • storage.objects.list
  • storage.objects.restore
  • storage.objects.update

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Rollen und Berechtigungen für Dataproc Metastore finden Sie unter IAM-Rollen und -Berechtigungen für Dataproc Metastore.

Überlegungen zur Sicherung

Beachten Sie die folgenden Hinweise, bevor Sie eine Sicherung ausführen:

• Für jeden Dataproc Metastore-Dienst können Sie bis zu sieben Sicherungen gleichzeitig erstellen und speichern. Wenn Sie versuchen, mehr als sieben Sicherungen zu erstellen, schlägt der Sicherungsvorgang fehl. Wenn Sie eine weitere Sicherung erstellen möchten, müssen Sie zuerst eine der gespeicherten Sicherungsdateien manuell löschen.
• Während ein Sicherungsvorgang ausgeführt wird, können Sie Ihren Dataproc Metastore-Dienst nicht aktualisieren. Sie können beispielsweise keine Konfigurationseinstellungen ändern. Sie können den Dienst jedoch weiterhin für normale Vorgänge verwenden, z. B. für den Zugriff auf Metadaten aus angehängten Dataproc-Clustern oder selbstverwalteten Clustern.
• Sie können geplante Sicherungen erstellen, die in verschiedenen Cron-Intervallen ausgeführt werden, z. B. täglich.

Sicherung erstellen

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst zu sichern:

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

   Dataproc Metastore öffnen

2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie sichern möchten.

   Die Seite Dienstdetails wird geöffnet.

   

   Abbildung 1: Die Seite mit den Details zum Dataproc Metastore-Dienst

3. Klicken Sie oben auf der Seite auf Sicherung.

   Die Seite Sicherung wird geöffnet.

4. Geben Sie den Sicherungsnamen ein.

5. Optional: Geben Sie eine Beschreibung der Sicherung ein.

6. Klicken Sie auf Sichern, um die Sicherung zu starten.

   Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

   Wenn die Sicherung abgeschlossen ist, wechselt Dataproc Metastore automatisch in den aktiven Zustand, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

gcloud-CLI

1. Führen Sie den folgenden gcloud metastore services backups create-Befehl aus, um einen Dataproc Metastore-Dienst zu sichern:

   gcloud metastore services backups create BACKUP \
       --location=LOCATION \
       --service=SERVICE \
       --description=DESCRIPTION
   

   Ersetzen Sie Folgendes:

   • BACKUP: die ID oder die voll qualifizierte Kennzeichnung für die Sicherung.
   • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
   • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
   • DESCRIPTION: eine Beschreibung Ihrer Sicherung.

2. Prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

   Nach Abschluss der Sicherung wechselt Dataproc Metastore automatisch in den aktiven Zustand, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zum Sichern von Metadaten aus einem Dienst mit dem APIs Explorer.

Nach Abschluss der Sicherung kehrt Dataproc Metastore automatisch in den aktiven Zustand zurück, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

Sicherungsverlauf ansehen

So rufen Sie den Sicherungsverlauf eines Dataproc Metastore-Dienstes in der Google Cloud Console auf:

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

2. Klicken Sie in der Navigationsleiste auf Sichern/Wiederherstellen.

   Ihr Sicherungsverlauf wird in einer Tabelle unter Sicherungen angezeigt.

   Im Verlauf werden die letzten 7 Sicherungen angezeigt.

   Wenn Sie einen Dataproc Metastore-Dienst löschen, wird auch der gesamte zugehörige Sicherungsverlauf gelöscht.

Sicherung löschen

So löschen Sie eine Dataproc-Metastore-Sicherung in der Google Cloud Console:

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
2. Klicken Sie in der Navigationsleiste auf Sichern/Wiederherstellen.
3. Suchen Sie die Sicherung, die Sie löschen möchten, und klicken Sie auf die Schaltfläche „Einstellungen“.
4. Klicken Sie auf Löschen.

Sicherung planen

Sie können die Ausführung von Sicherungen in nutzerdefinierten Cron-Job-Intervallen planen, z. B. täglich, wöchentlich oder monatlich. Ein Cron-Zeitplan verwendet das Unix-Cron-Stringformat (* * * *), bei dem es sich um einen Satz von fünf Feldern in einer Zeile handelt, der angibt, wann der Job ausgeführt werden soll.

Sie können beispielsweise ein benutzerdefiniertes Intervall festlegen, um jede Woche eine Sicherung zu erstellen, z. B. jeden Mittwoch um 14:00 Uhr (PST).

Geplante Sicherungen

• Für geplante Sicherungen muss ein Sicherungsort angegeben werden. Dies muss ein Cloud Storage-Pfad sein.
• Geplante Sicherungen werden immer im Avro-Dateiformat erstellt.
• Geplante Sicherungen werden standardmäßig in der Zeitzone UTC konfiguriert. Sie können die Zeitzone ändern, wenn Sie die Sicherung zum ersten Mal erstellen.
• Geplante Sicherungen können stündlich, täglich, wöchentlich oder monatlich ausgeführt werden. Das Mindestintervall für die stündliche Aktualisierung beträgt 4 Stunden.

Geplante Sicherung erstellen

Sicherungszeitpläne können beim ersten Erstellen des Dienstes festgelegt oder später hinzugefügt werden, wenn Sie den Dienst aktualisieren.

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 mit einer geplanten Sicherung zu erstellen:

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

2. Klicken Sie oben auf der Seite Dataproc Metastore auf die Schaltfläche Erstellen.

   Die Seite Dienst erstellen wird geöffnet.

3. Wählen Sie Dataproc Metastore 2 aus.

4. Stellen Sie unter Geplante Sicherungen den Schalter auf Aktivieren.

5. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

6. Optional: Wählen Sie unter „Zeitplan“ Folgendes aus:

   1. Wählen Sie unter Wiederholen die Wiederholungsfrequenz aus, z. B. Täglich oder Wöchentlich.
   2. Wählen Sie unter At time (Zur Uhrzeit) die Uhrzeit der Wiederholung aus, z. B. 00:00 Uhr.
   3. Wählen Sie unter Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

7. Verwenden Sie für die übrigen Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.

8. Klicken Sie auf Senden.

gcloud-CLI

1. Führen Sie den folgenden gcloud metastore services backups create-Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION
   

   Ersetzen Sie Folgendes:

   • SERVICE: die ID oder die voll qualifizierte Kennzeichnung für die Sicherung.
   • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
   • SCHEDULED_BACKUP_CRON: die Häufigkeit der Sicherung, angegeben im Cron-Zeitformat. Mit dem Cron-Wert 0 0 * * * wird beispielsweise ein tägliches Back-up geplant.
   • SCHEDULED_BACKUP_LOCATION: den Cloud Storage-Speicherort Ihrer Sicherung. Beispiel: gs://my-bucket/path/to/location

   oder

   Sie können eine Sicherung auch planen, indem Sie die oben genannten Werte in einer Konfigurationsdatei speichern:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Ersetzen Sie Folgendes:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: Pfad zu einer JSON-Datei mit den Sicherungskonfigurationswerten enabled, cront_schedule, time_zone und backup_location.

   Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, mit der geplante Sicherungen aktiviert werden, der Sicherungszeitplan auf stündlich festgelegt, die Zeitzone auf PST (Pacific Standard Time) und der Sicherungsort als Cloud Storage-Bucket definiert wird. Sie können Zeitzonen aus der Liste der gängigen Zeitzonen der tz-Datenbank auswählen.

   {
   "enabled": true,
   "cron_schedule": "0 0 * * *",
   "time_zone": "PST",
   "backup_location": "gs://my-bucket/path/to/location"
   }
   

REST

Folgen Sie der API-Anleitung zum Erstellen einer geplanten Sicherung mit dem APIs Explorer.

Geplante Sicherung aktualisieren

Wenn Sie einen Dataproc Metastore-Dienst 2 aktualisieren möchten, der mit einer geplanten Sicherung konfiguriert ist, führen Sie die Schritte auf einem der folgenden Tabs aus:

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, für den Sie eine Sicherung planen möchten.

3. Stellen Sie unter Geplante Sicherungen den Schalter auf Aktiviert.

4. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

5. Optional: Wählen Sie unter Zeitplan Werte für die folgenden Felder aus:

   1. Wählen Sie unter Wiederholen die Wiederholungsfrequenz aus, z. B. Täglich oder Wöchentlich.
   2. Wählen Sie unter At time (Zur Uhrzeit) die Uhrzeit der Wiederholung aus, z. B. 00:00 Uhr.
   3. Wählen Sie unter Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

gcloud-CLI

1. Führen Sie den folgenden gcloud metastore services backups update-Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \
   

   Ersetzen Sie Folgendes:

   • SERVICE: die ID oder voll qualifizierte Kennzeichnung für die geplante Sicherung.
   • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
   • SCHEDULED_BACKUP_CRON: die Häufigkeit der Sicherung, angegeben im Cron-Zeitformat. Mit dem Cron-Wert 0 0 * * * wird beispielsweise ein tägliches Back-up geplant.
   • SCHEDULED_BACKUP_LOCATION: den Cloud Storage-Speicherort Ihrer geplanten Sicherung. Beispiel: gs://my-bucket/path/to/location

   Sie können eine geplante Sicherung auch mit den oben genannten Werten aktualisieren, die in einer Konfigurationsdatei gespeichert sind:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Ersetzen Sie Folgendes:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: Pfad zu einer JSON-Datei mit der Sicherungskonfiguration.

   Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, in der eine geplante Sicherung deaktiviert wird.

   {
   "enabled": false,
   }
   

REST

Folgen Sie der API-Anleitung, um eine geplante Sicherung mithilfe des APIs Explorers zu aktualisieren.

Geplante Sicherung ansehen

Wenn Sie einen Dataproc Metastore-Dienst 2 aufrufen möchten, der mit einer geplanten Sicherung konfiguriert ist, führen Sie die Schritte auf einem der folgenden Tabs aus:

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

2. Klicken Sie oben auf der Seite auf Sicherung.

   Die Seite Sicherung wird geöffnet und Ihre geplanten Sicherungen werden angezeigt. Die Sicherungen werden tatsächlich im Cloud Storage-Bucket gespeichert, den Sie in der Konfiguration der geplanten Sicherung angegeben haben.

gcloud-CLI

1. Führen Sie folgenden Befehl gcloud storage ls aus:

   gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION
   

   Ersetzen Sie Folgendes:

   • BUCKET_NAME: der Pfad zum Cloud Storage-Bucket, in dem die geplante Sicherung gespeichert ist, die Sie sich ansehen möchten.
   • SERVICE: die ID oder voll qualifizierte Kennzeichnung für die geplante Sicherung.
   • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.

REST

Folgen Sie der API-Anleitung, um eine geplante Sicherung mit dem APIs Explorer aufzurufen.

Häufige Probleme beheben

• Der Dienst-Agent oder das Nutzerkonto hat nicht die erforderlichen Berechtigungen.
• Weitere Informationen zur Behebung häufiger Probleme finden Sie unter Fehlerszenarien bei der Sicherung und Wiederherstellung.

Nächste Schritte

• Dataproc Metastore-Dienst aus einer Sicherung wiederherstellen
• Dataproc Metastore-Dienst aktualisieren und löschen