Dataproc Metastore-Dienst sichern

Auf dieser Seite wird erläutert, wie Sie eine Sicherung eines Dataproc Metastores erstellen .

Eine Sicherung macht einen Schnappschuss Die aktuellen Konfigurationseinstellungen und alle gespeicherten Metadaten werden vom Dienst gespeichert.

Nachdem Sie eine Sicherung erstellt haben, können Sie mit der Funktion Aus einer Sicherung wiederherstellen einen neuen Dataproc Metastore-Dienst mit den gespeicherten Daten füllen, im Snapshot.

Hinweise

• Aktivieren Sie Dataproc Metastore in Ihrem Projekt.
• Erstellen Sie einen Dataproc Metastore-Dienst.
• Optional: Importieren Sie Metadaten in Dataproc Metastore.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Sichern eines Dataproc Metastore-Dienstes benötigen, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen:

• Wenn Sie die vollständige Kontrolle über Dataproc Metastore-Ressourcen zum Ausführen einer Sicherung gewähren möchten, haben Sie folgende Möglichkeiten: <ph type="x-smartling-placeholder">
  </ph>
  • Dataproc Metastore-Bearbeiter (roles/metastore.editor) im Metadatendienst.
  • Dataproc Metastore-Administrator (roles/metastore.admin) für das Projekt.
• So gewähren Sie Lese- und Änderungszugriff auf bestimmte Metadaten von Datenbanken und Tabellen: Dataproc Metastore-Metadatenoperator (roles/metastore.metadataOperator) beim Metadatendienst
• So verwenden Sie das Cloud Storage-Objekt, das geplante Sicherungen speichert: Cloud Storage-Objektnutzer (roles/storage.objectUser) im Dataproc Metastore-Dienst-Agent

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierten Rollen enthalten Berechtigungen, die zum Sichern eines Dataproc Metastore-Dienstes erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Sichern eines Dataproc Metastore-Dienstes erforderlich:

• So sichern Sie einen Metadatendienst: metastore.backups.create
• So verwenden Sie das Cloud Storage-Objekt: <ph type="x-smartling-placeholder">
  </ph>
  • orgpolicy.policy.get
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • storage.managedFolders.create
  • storage.managedFolders.delete
  • storage.managedFolders.get
  • storage.managedFolders.list
  • storage.multipartUploads.*
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.get
  • storage.objects.list
  • storage.objects.restore
  • storage.objects.update

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie in der Übersicht zu Dataproc Metastore IAM.

Hinweise zur Sicherung

Beachten Sie die folgenden Hinweise, bevor Sie einen Sicherungsvorgang ausführen:

• Für jeden Dataproc Metastore-Dienst können Sie bis zu sieben Sicherungen auf einmal ausführen. Wenn Sie versuchen, mehr als sieben Sicherungen zu erstellen, scheitert. Wenn Sie eine weitere Sicherung erstellen möchten, müssen Sie zuerst manuell eine Ihrer gespeicherten Sicherungsdateien löschen.
• Während ein Sicherungsvorgang ausgeführt wird, können Sie Ihre Dataproc Metastore-Dienst – Sie können beispielsweise nicht Konfigurationseinstellungen. Sie können Ihren Dienst jedoch normal nutzen, wie der Zugriff auf Metadaten über das angehängte Dataproc oder für selbstverwaltete Cluster.
• Sie können geplante Sicherungen erstellen, die in verschiedenen Cron-Intervallen ausgeführt werden, zum Beispiel jeden Tag.

Sicherung erstellen

Zum Sichern eines Dataproc Metastore-Dienstes führen Sie die Schritte in einer der folgenden Registerkarten:

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

   Dataproc Metastore öffnen

2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes. die Sie sichern möchten.

   Die Seite Dienstdetails wird geöffnet.

   <ph type="x-smartling-placeholder">

   </ph>

   Abbildung 1: Dataproc Metastore Seite mit Dienstdetails

3. Klicken Sie oben auf der Seite auf Sicherung.

   Die Seite Sicherung wird geöffnet.

4. Geben Sie den Sicherungsnamen ein.

5. Optional: Geben Sie eine Beschreibung der Sicherung ein.

6. Klicken Sie auf Sicherung, um den Sicherungsvorgang zu starten.

   Kehren Sie zur Seite Dataproc Metastore zurück und Überprüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

   Nach Abschluss der Sicherung wird Dataproc Metastore automatisch in den Status "Aktiv" zurück, unabhängig davon, ob die Sicherung war nicht erfolgreich.

gcloud-CLI

1. Führen Sie folgenden Befehl aus, um einen Dataproc Metastore-Dienst zu sichern gcloud metastore services backups create-Befehl:

   gcloud metastore services backups create BACKUP \
       --location=LOCATION \
       --service=SERVICE \
       --description=DESCRIPTION
   

   Ersetzen Sie Folgendes:

   • BACKUP: die ID oder vollständig qualifiziert ID für die Sicherung.
   • LOCATION: die Google Cloud-Region, in der befindet sich Ihr Dataproc Metastore-Dienst.
   • SERVICE: der Name Ihres Dataproc Metastore-Dienst
   • DESCRIPTION: Eine Beschreibung Ihrer Sicherung.

2. Prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

   Nach Abschluss der Sicherung wird Dataproc Metastore kehrt automatisch in den Status "Aktiv" zurück, unabhängig davon, ob Die Sicherung war erfolgreich.

REST

Folgen Sie der API-Anleitung, um Metadaten aus einem Dienst zu sichern. mit APIs Explorer.

Nach Abschluss der Sicherung wird Dataproc Metastore automatisch in den Status "Aktiv" zurück, unabhängig davon, ob die Sicherung erfolgreich war.

Sicherungsverlauf ansehen

So rufen Sie den Sicherungsverlauf eines Dataproc Metastore-Dienstes auf: Führen Sie in der Google Cloud Console die folgenden Schritte aus:

1. Öffnen Sie in der Google Cloud Console Console den Dataproc Metastore. Seite.

2. Klicken Sie in der Navigationsleiste auf Backup/Restore (Sicherung/Wiederherstellung).

   Der Sicherungsverlauf wird in einer Tabelle unter Sicherungen angezeigt.

   Im Verlauf werden bis zu den letzten sieben Sicherungen angezeigt.

   Beim Löschen eines Dataproc Metastore-Dienstes werden auch zugehörigen Sicherungsverlauf.

Sicherung löschen

So löschen Sie eine Dataproc Metastore-Sicherung in der Google Cloud Console: führen Sie die folgenden Schritte aus:

1. Öffnen Sie in der Google Cloud Console den Dataproc Metastore. Seite.
2. Klicken Sie in der Navigationsleiste auf Backup/Restore (Sicherung/Wiederherstellung).
3. Suchen Sie die Sicherung, die Sie löschen möchten, und klicken Sie auf die Schaltfläche Einstellungen.
4. Klicken Sie auf Löschen.

Sicherung planen

Sicherungen können so geplant werden, dass sie mit einem vom Nutzer angegebenen Cronjob ausgeführt werden. Intervalle, einschließlich Lauftraining täglich, wöchentlich oder monatlich. Ein Cron-Zeitplan verwendet das Unix-Cron-Stringformat (* * * * *), d. h. eine Gruppe von fünf Feldern in einer Zeile, die angibt, wann der Job ausgeführt werden sollte.

Sie können z. B. ein benutzerdefiniertes Intervall festlegen, um wöchentlich eine Sicherung zu erstellen, z. B. jeden Mittwoch um 14:00 Uhr (PST) eine Sicherung erstellen.

Überlegungen zu geplanten Sicherungen

• Geplante Sicherungen müssen einen Speicherort für die Sicherung angeben. Dieser muss ein Cloud Storage-Pfad.
• Geplante Sicherungen werden immer im Avro-Dateiformat erstellt.
• Geplante Sicherungen werden standardmäßig in der UTC-Zeitzone konfiguriert. Sie können Zeitzone ändern, wenn Sie die Sicherung zum ersten Mal erstellen.
• Geplante Sicherungen können stündlich, täglich, wöchentlich oder monatlich ausgeführt werden Intervalle. Das eingestellte minimale stündliche Intervall beträgt 4 Stunden.

Geplante Sicherung erstellen

Sicherungspläne können festgelegt werden, wenn Sie Ihren Dienst zum ersten Mal erstellen oder die später beim Aktualisieren des Dienstes hinzugefügt werden.

So erstellen Sie einen Dataproc Metastore-Dienst 2 mit einer geplanten Sicherung: führen Sie die Schritte auf einem der folgenden Tabs aus:

Console

1. Öffnen Sie in der Google Cloud Console den Dataproc Metastore. Seite.

2. Klicken Sie oben auf der Seite Dataproc Metastore auf Erstellen. Schaltfläche.

   Die Seite Dienst erstellen wird geöffnet.

3. Wählen Sie Dataproc Metastore 2 aus.

4. Stellen Sie den Schalter unter Geplante Sicherungen auf Aktivieren.

5. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie um Ihre geplante Sicherung zu speichern.

6. Optional: Wählen Sie unter „Zeitplan“ Folgendes aus:

   1. Wählen Sie unter Wiederholungen die Wiederholung aus, z. B. Täglich. oder Wöchentlich.
   2. Wählen Sie unter Zum Zeitpunkt die Zeit der Wiederholung aus, z. B. 00:00 Uhr.
   3. Wählen Sie für Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8

7. Verwenden Sie für die verbleibenden Dienstkonfigurationsoptionen die bereitgestellte Standardeinstellungen.

8. Klicken Sie auf Senden.

gcloud-CLI

1. So planen Sie eine Sicherung eines Dataproc Metastore-Dienstes: Führen Sie folgenden gcloud metastore services backups create aus: Befehl:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION
   

   Ersetzen Sie Folgendes:

   • SERVICE: die ID oder die voll qualifizierte Kennung für die Sicherung.
   • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
   • SCHEDULED_BACKUP_CRON: die Häufigkeit Ihrer Sicherung, angegeben im Cron-Zeitformat. Mit dem Cron-Wert 0 0 * * * wird beispielsweise eine tägliche Back-up.
   • SCHEDULED_BACKUP_LOCATION: die Cloud Storage-Speicherort Ihrer Sicherung. Beispiel: gs://my-bucket/path/to/location

   oder

   Sie können auch eine Sicherung planen, indem Sie die vorhergehenden Werte in einem Konfigurationsdatei:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Ersetzen Sie Folgendes:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu eine JSON-Datei mit den Sicherungskonfigurationswerten enabled, cront_schedule, time_zone und backup_location.

   Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, aktiviert geplante Sicherungen und legt den Sicherungszeitplan auf Stündlich, gibt die Zeitzone als PST an und definiert die Sicherung Speicherort als Cloud Storage-Bucket. Sie können Zeitzonen auswählen aus die Liste der gängigen Zeitzonen der tz-Datenbank

   {
   "enabled": true,
   "cron_schedule": "0 0 * * *",
   "time_zone": "PST",
   "backup_location": "gs://my-bucket/path/to/location"
   }
   

REST

Folgen Sie der API-Anleitung zum Erstellen einer geplanten Sicherung. mit APIs Explorer.

Geplante Sicherung aktualisieren

So aktualisieren Sie einen Dataproc Metastore-Dienst 2, der mit einer geplante Sicherung führen Sie die Schritte auf einem der folgenden Tabs aus:

Console

1. Öffnen Sie in der Google Cloud Console den Dataproc Metastore. Seite.

2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes. für das Sie eine Sicherung planen möchten.

3. Stellen Sie die Ein/Aus-Schaltfläche unter Geplante Sicherungen auf Aktiviert.

4. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie den um Ihre geplante Sicherung zu speichern.

5. Optional: Wählen Sie unter Zeitplan Werte für die folgenden Felder aus:

   1. Wählen Sie unter Wiederholungen die Wiederholung aus, z. B. Täglich. oder Wöchentlich.
   2. Wählen Sie unter Zum Zeitpunkt die Zeit der Wiederholung aus, z. B. 00:00 Uhr.
   3. Wählen Sie für Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8

gcloud-CLI

1. So planen Sie eine Sicherung eines Dataproc Metastore-Dienstes: Führen Sie folgenden gcloud metastore services backups update aus: Befehl:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \
   

   Ersetzen Sie Folgendes:

   • SERVICE: die ID oder die voll qualifizierte Kennung für die geplante Sicherung.
   • LOCATION: die Google Cloud-Region, in der befindet sich Ihr Dataproc Metastore-Dienst.
   • SCHEDULED_BACKUP_CRON: die Häufigkeit Ihrer Sicherung, angegeben im Cron-Zeitformat. Mit dem Cron-Wert 0 0 * * * wird beispielsweise eine tägliche Back-up.
   • SCHEDULED_BACKUP_LOCATION: der Cloud Storage Speicherort der geplanten Sicherung gespeichert. Beispiel: gs://my-bucket/path/to/location

   Sie können eine geplante Sicherung auch mit den vorherigen gespeicherten Werten aktualisieren in einer Konfigurationsdatei:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Ersetzen Sie Folgendes:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu eine JSON-Datei mit der Sicherungskonfiguration.

   Das folgende Beispiel zeigt eine Konfigurationsdatei für die Sicherung, die eine geplante Sicherung.

   {
   "enabled": false,
   }
   

REST

Folgen Sie der API-Anleitung zum Aktualisieren einer geplanten Sicherung. mit APIs Explorer.

Geplante Sicherung ansehen

So zeigen Sie einen Dataproc Metastore-Dienst 2 an, der mit einer geplante Sicherung führen Sie die Schritte auf einem der folgenden Tabs aus:

Console

1. Öffnen Sie in der Google Cloud Console den Dataproc Metastore. Seite.

2. Klicken Sie oben auf der Seite auf Sicherung.

   Die Seite Sicherung wird geöffnet und zeigt Ihre geplanten Sicherungen an. Beachten Sie, dass werden die Sicherungen tatsächlich im Cloud Storage-Bucket gespeichert, die Sie in der Konfiguration der geplanten Sicherung angegeben haben.

gcloud-CLI

1. Führen Sie folgenden Befehl gcloud storage ls aus:

   gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION
   

   Ersetzen Sie Folgendes:

   • BUCKET_NAME: der Pfad zu Cloud Storage Bucket, in dem die geplante Sicherung gespeichert ist, die Sie ansehen möchten.
   • SERVICE: die ID oder die voll qualifizierte Kennung für die geplante Sicherung.
   • LOCATION: die Google Cloud-Region, in der Ihr sich der Dataproc Metastore-Dienst befindet.

REST

Folgen Sie der API-Anleitung zum Aufrufen einer geplanten Sicherung. mit APIs Explorer.

Häufige Probleme beheben

• Der Dienst-Agent oder das Nutzerkonto hat nicht die erforderlichen Berechtigungen.
• Weitere Hilfe bei häufig auftretenden Problemen Siehe Fehlerszenarien beim Sichern und Wiederherstellen.

Nächste Schritte

• Dataproc Metastore-Dienst aus einer Sicherung wiederherstellen
• Dataproc Metastore-Dienst aktualisieren und löschen