Dataproc Metastore-Dienst sichern

Auf dieser Seite wird erläutert, wie Sie eine Sicherung eines Dataproc Metastores erstellen Service.

Bei einer Sicherung wird ein Snapshot Ihres Dienstes erstellt und die aktuellen Konfigurationseinstellungen und alle gespeicherten Metadaten werden gespeichert.

Nachdem Sie eine Sicherung erstellt haben, können Sie mit der Funktion Aus einer Sicherung wiederherstellen einen neuen Dataproc Metastore-Dienst mit den gespeicherten Daten füllen, im Snapshot.

Hinweise

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Sichern eines Dataproc Metastore-Dienstes benötigen, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen:

  • Wenn Sie die vollständige Kontrolle über Dataproc Metastore-Ressourcen zum Ausführen einer Sicherung gewähren möchten, haben Sie folgende Möglichkeiten:
  • So gewähren Sie Lese- und Änderungszugriff auf bestimmte Metadaten von Datenbanken und Tabellen: Dataproc Metastore-Metadatenoperator (roles/metastore.metadataOperator) beim Metadatendienst
  • So verwenden Sie das Cloud Storage-Objekt, in dem geplante Sicherungen gespeichert werden: Nutzer des Cloud Storage-Objekts (roles/storage.objectUser) für den Dataproc Metastore-Dienst-Agent

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Sichern eines Dataproc-Metastore-Dienstes erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um einen Dataproc Metastore-Dienst zu sichern:

  • So sichern Sie einen Metadatendienst: metastore.backups.create
  • So verwenden Sie das Cloud Storage-Objekt:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie in der Übersicht zu Dataproc Metastore IAM.

Überlegungen zur Sicherung

Beachten Sie die folgenden Hinweise, bevor Sie einen Sicherungsvorgang ausführen:

  • Für jeden Dataproc Metastore-Dienst können Sie bis zu sieben Sicherungen auf einmal ausführen. Wenn Sie versuchen, mehr als sieben Sicherungen zu erstellen, schlägt der Sicherungsvorgang fehl. Wenn Sie eine weitere Sicherung erstellen möchten, müssen Sie zuerst eine der gespeicherten Sicherungsdateien manuell löschen.
  • Während ein Sicherungsvorgang ausgeführt wird, können Sie Ihren Dataproc Metastore-Dienst nicht aktualisieren. Sie können beispielsweise keine Konfigurationseinstellungen ändern. Sie können Ihren Dienst jedoch normal nutzen, wie der Zugriff auf Metadaten über das angehängte Dataproc oder für selbstverwaltete Cluster.
  • Sie können geplante Sicherungen erstellen, die in verschiedenen Cron-Intervallen ausgeführt werden, z. B. täglich.

Sicherung erstellen

Zum Sichern eines Dataproc Metastore-Dienstes führen Sie die Schritte in einer der folgenden Registerkarten:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes. die Sie sichern möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Abbildung 1: Dataproc Metastore Seite mit Dienstdetails

  3. Klicken Sie oben auf der Seite auf Sicherung.

    Die Seite Sicherung wird geöffnet.

  4. Geben Sie den Sicherungsnamen ein.

  5. Optional: Geben Sie eine Beschreibung der Sicherung ein.

  6. Klicken Sie auf Sichern, um die Sicherung zu starten.

    Kehren Sie zur Seite Dataproc Metastore zurück und überprüfen, ob Ihr Dienst erfolgreich gesichert wurde.

    Nach Abschluss der Sicherung wird Dataproc Metastore automatisch in den Status "Aktiv" zurück, unabhängig davon, ob die Sicherung war nicht erfolgreich.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services backups create-Befehl aus, um einen Dataproc Metastore-Dienst zu sichern:

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    Ersetzen Sie Folgendes:

    • BACKUP: die ID oder die voll qualifizierte Kennzeichnung für die Sicherung.
    • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • SERVICE: der Name Ihres Dataproc Metastore-Dienst
    • DESCRIPTION: eine Beschreibung Ihrer Sicherung.

  2. Prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

    Nach Abschluss der Sicherung wechselt Dataproc Metastore automatisch in den aktiven Zustand, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung, um Metadaten aus einem Dienst zu sichern. mit APIs Explorer.

Nach Abschluss der Sicherung wird Dataproc Metastore automatisch in den Status "Aktiv" zurück, unabhängig davon, ob die Sicherung erfolgreich war.

Sicherungsverlauf ansehen

So rufen Sie den Sicherungsverlauf eines Dataproc Metastore-Dienstes auf: Führen Sie in der Google Cloud Console die folgenden Schritte aus:

  1. Öffnen Sie in der Google Cloud Console Console den Dataproc Metastore. Seite.

  2. Klicken Sie in der Navigationsleiste auf Sichern/Wiederherstellen.

    Der Sicherungsverlauf wird in einer Tabelle unter Sicherungen angezeigt.

    Im Verlauf werden die letzten 7 Sicherungen angezeigt.

    Wenn Sie einen Dataproc Metastore-Dienst löschen, wird auch der gesamte zugehörige Sicherungsverlauf gelöscht.

Sicherung löschen

So löschen Sie eine Dataproc Metastore-Sicherung in der Google Cloud Console: führen Sie die folgenden Schritte aus:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
  2. Klicken Sie in der Navigationsleiste auf Backup/Wiederherstellung.
  3. Suchen Sie die Sicherung, die Sie löschen möchten, und klicken Sie auf die Schaltfläche „Einstellungen“.
  4. Klicken Sie auf Löschen.

Sicherung planen

Sicherungen können so geplant werden, dass sie mit einem vom Nutzer angegebenen Cronjob ausgeführt werden. Intervalle, einschließlich Lauftraining täglich, wöchentlich oder monatlich. Ein Cron-Zeitplan verwendet das Unix-Cron-Stringformat (* * * *), bei dem es sich um einen Satz von fünf Feldern in einer Zeile handelt, der angibt, wann der Job ausgeführt werden soll.

Sie können z. B. ein benutzerdefiniertes Intervall festlegen, um wöchentlich eine Sicherung zu erstellen, z. B. jeden Mittwoch um 14:00 Uhr (PST) eine Sicherung erstellen.

Geplante Sicherungen

  • Geplante Sicherungen müssen einen Speicherort für die Sicherung angeben. Dieser muss ein Cloud Storage-Pfad.
  • Geplante Sicherungen werden immer im Avro-Dateiformat erstellt.
  • Geplante Sicherungen werden standardmäßig in der UTC-Zeitzone konfiguriert. Sie können die Zeitzone ändern, wenn Sie die Sicherung zum ersten Mal erstellen.
  • Geplante Sicherungen können stündlich, täglich, wöchentlich oder monatlich ausgeführt werden. Das Mindestintervall für die Stundenauswahl beträgt 4 Stunden.

Geplante Sicherung erstellen

Sicherungszeitpläne können beim Erstellen des Dienstes festgelegt oder später hinzugefügt werden, wenn Sie den Dienst aktualisieren.

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 mit einer geplanten Sicherung zu erstellen:

Console

  1. Öffnen Sie in der Google Cloud Console den Dataproc Metastore. Seite.

  2. Klicken Sie oben auf der Seite Dataproc Metastore auf die Schaltfläche Erstellen.

    Die Seite Dienst erstellen wird geöffnet.

  3. Wählen Sie Dataproc Metastore 2 aus.

  4. Stellen Sie den Schalter unter Geplante Sicherungen auf Aktivieren.

  5. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

  6. Optional: Wählen Sie unter „Zeitplan“ Folgendes aus:

    1. Wählen Sie unter Wiederholungen die Wiederholung aus, z. B. Täglich. oder Wöchentlich.
    2. Wählen Sie unter Zum Zeitpunkt die Zeit der Wiederholung aus, z. B. 00:00 Uhr.
    3. Wählen Sie unter Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

  7. Verwenden Sie für die übrigen Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.

  8. Klicken Sie auf Senden.

gcloud-CLI

  1. So planen Sie eine Sicherung eines Dataproc Metastore-Dienstes: Führen Sie folgenden gcloud metastore services backups create aus: Befehl:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    Ersetzen Sie Folgendes:

    • SERVICE: die ID oder die voll qualifizierte Kennung für die Sicherung.
    • LOCATION: die Google Cloud-Region, in der wo sich Ihr Dataproc Metastore-Dienst befindet.
    • SCHEDULED_BACKUP_CRON: die Häufigkeit der Sicherung, angegeben im Cron-Zeitformat. Mit dem Cron-Wert 0 0 * * * wird beispielsweise ein tägliches Back-up geplant.
    • SCHEDULED_BACKUP_LOCATION: die Cloud Storage-Speicherort Ihrer Sicherung. Beispiel: gs://my-bucket/path/to/location

    oder

    Sie können auch eine Sicherung planen, indem Sie die vorhergehenden Werte in einem Konfigurationsdatei:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ersetzen Sie Folgendes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu eine JSON-Datei mit den Sicherungskonfigurationswerten enabled, cront_schedule, time_zone und backup_location.

    Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, aktiviert geplante Sicherungen und legt den Sicherungszeitplan auf Stündlich, gibt die Zeitzone als PST an und definiert die Sicherung Speicherort als Cloud Storage-Bucket. Sie können Zeitzonen auswählen aus die Liste der gängigen Zeitzonen der tz-Datenbank

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

Folgen Sie der API-Anleitung zum Erstellen einer geplanten Sicherung. mit APIs Explorer.

Geplante Sicherung aktualisieren

So aktualisieren Sie einen Dataproc Metastore-Dienst 2, der mit einem geplante Sicherung führen Sie die Schritte auf einem der folgenden Tabs aus:

Console

  1. Öffnen Sie in der Google Cloud Console den Dataproc Metastore. Seite.

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes. für das Sie eine Sicherung planen möchten.

  3. Stellen Sie die Ein/Aus-Schaltfläche unter Geplante Sicherungen auf Aktiviert.

  4. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie den um Ihre geplante Sicherung zu speichern.

  5. Optional: Wählen Sie unter Zeitplan Werte für die folgenden Felder aus:

    1. Wählen Sie unter Wiederholen die Wiederholungsfrequenz aus, z. B. Täglich oder Wöchentlich.
    2. Wählen Sie unter Zum Zeitpunkt die Zeit der Wiederholung aus, z. B. 00:00 Uhr.
    3. Wählen Sie unter Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

gcloud-CLI

  1. So planen Sie eine Sicherung eines Dataproc Metastore-Dienstes: Führen Sie folgenden gcloud metastore services backups update aus: Befehl:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    Ersetzen Sie Folgendes:

    • SERVICE: die ID oder voll qualifizierte Kennzeichnung für die geplante Sicherung.
    • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • SCHEDULED_BACKUP_CRON: die Häufigkeit der Sicherung, angegeben im Cron-Zeitformat. Mit dem Cron-Wert 0 0 * * * wird beispielsweise ein tägliches Back-up geplant.
    • SCHEDULED_BACKUP_LOCATION: der Cloud Storage Speicherort der geplanten Sicherung gespeichert. Beispiel: gs://my-bucket/path/to/location

    Sie können eine geplante Sicherung auch mit den vorherigen gespeicherten Werten aktualisieren in einer Konfigurationsdatei:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ersetzen Sie Folgendes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu Eine JSON-Datei mit der Sicherungskonfiguration.

    Das folgende Beispiel zeigt eine Konfigurationsdatei für die Sicherung, die eine geplante Sicherung.

    {
"enabled": false,
}

REST

Folgen Sie der API-Anleitung, um eine geplante Sicherung mithilfe des APIs Explorers zu aktualisieren.

Geplante Sicherung ansehen

So zeigen Sie einen Dataproc Metastore-Dienst 2 an, der mit einer geplante Sicherung führen Sie die Schritte auf einem der folgenden Tabs aus:

Console

  1. Öffnen Sie in der Google Cloud Console den Dataproc Metastore. Seite.

  2. Klicken Sie oben auf der Seite auf Sicherung.

    Die Seite Sicherung wird geöffnet und zeigt Ihre geplanten Sicherungen an. Beachten Sie, dass werden die Sicherungen tatsächlich im Cloud Storage-Bucket gespeichert, die Sie in der Konfiguration der geplanten Sicherung angegeben haben.

gcloud-CLI

  1. Führen Sie folgenden Befehl gcloud storage ls aus:

    gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION

    Ersetzen Sie Folgendes:

    • BUCKET_NAME: der Pfad zum Cloud Storage-Bucket, in dem die geplante Sicherung gespeichert ist, die Sie sich ansehen möchten.
    • SERVICE: die ID oder voll qualifizierte Kennzeichnung für die geplante Sicherung.
    • LOCATION: die Google Cloud-Region, in der Ihr sich der Dataproc Metastore-Dienst befindet.

REST

Folgen Sie der API-Anleitung, um eine geplante Sicherung mit dem APIs Explorer aufzurufen.

Häufige Probleme beheben

Nächste Schritte