Dataproc Metastore-Dienst sichern

Auf dieser Seite wird erläutert, wie Sie eine Sicherung eines Dataproc Metastore-Dienstes erstellen.

Eine Sicherung erstellt einen Snapshot Ihres Dienstes, der die aktuellen Konfigurationseinstellungen und alle gespeicherten Metadaten speichert.

Nachdem Sie eine Sicherung erstellt haben, können Sie die Funktion Aus einer Sicherung wiederherstellen verwenden, um einen neuen Dataproc Metastore-Dienst mit den im Snapshot gespeicherten Daten zu füllen.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Sichern eines Dataproc Metastore-Dienstes benötigen:

  • Wenn Sie die vollständige Kontrolle über Dataproc Metastore-Ressourcen zum Ausführen einer Sicherung gewähren möchten, haben Sie folgende Möglichkeiten:
  • So gewähren Sie Lese- und Änderungszugriff auf bestimmte Metadaten von Datenbanken und Tabellen: Dataproc Metastore-Metadatenoperator (roles/metastore.metadataOperator) für den Metadatendienst
  • So verwenden Sie das Cloud Storage-Objekt, das geplante Sicherungen speichert: Cloud Storage-Objektnutzer (roles/storage.objectUser) im Dataproc Metastore-Dienst-Agent

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Sichern eines Dataproc Metastore-Dienstes erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Sichern eines Dataproc Metastore-Dienstes erforderlich:

  • So sichern Sie einen Metadatendienst: metastore.backups.create
  • So verwenden Sie das Cloud Storage-Objekt:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Möglicherweise können Sie diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie in der Übersicht zu Dataproc Metastore IAM.

Hinweise zur Sicherung

Beachten Sie die folgenden Hinweise, bevor Sie einen Sicherungsvorgang ausführen:

  • Für jeden Dataproc Metastore-Dienst können Sie bis zu sieben Sicherungen gleichzeitig erstellen und speichern. Wenn Sie versuchen, mehr als sieben Sicherungen zu erstellen, schlägt der Sicherungsprozess fehl. Wenn Sie eine weitere Sicherung erstellen möchten, müssen Sie zuerst eine Ihrer gespeicherten Sicherungsdateien manuell löschen.
  • Während ein Sicherungsvorgang ausgeführt wird, können Sie den Dataproc Metastore-Dienst nicht aktualisieren, beispielsweise die Konfigurationseinstellungen nicht ändern. Sie können den Dienst jedoch weiterhin für normale Vorgänge wie den Zugriff auf Metadaten über angehängte Dataproc oder selbstverwaltete Cluster verwenden.
  • Sie können geplante Sicherungen erstellen, die in verschiedenen Cron-Intervallen ausgeführt werden, beispielsweise täglich.

Sicherung erstellen

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst zu sichern:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie sichern möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Abbildung 1. Detailseite des Dataproc Metastore-Dienstes

  3. Klicken Sie oben auf der Seite auf Sicherung.

    Die Seite Sicherung wird geöffnet.

  4. Geben Sie den Sicherungsnamen ein.

  5. Optional: Geben Sie eine Beschreibung der Sicherung ein.

  6. Klicken Sie auf Sicherung, um den Sicherungsvorgang zu starten.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

    Nach Abschluss der Sicherung kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services backups create-Befehl aus, um einen Dataproc Metastore-Dienst zu sichern:

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    Ersetzen Sie Folgendes:

    • BACKUP: Die ID oder die voll qualifizierte Kennung für die Sicherung.
    • LOCATION: Die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.
    • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
    • DESCRIPTION: Eine Beschreibung Ihrer Sicherung.

  2. Prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

    Nach Abschluss der Sicherung kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zur Sicherung von Metadaten aus einem Dienst mit APIs Explorer.

Nach Abschluss der Sicherung kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

Sicherungsverlauf ansehen

Führen Sie die folgenden Schritte aus, um den Sicherungsverlauf eines Dataproc Metastore-Dienstes in der Google Cloud Console aufzurufen:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie in der Navigationsleiste auf Backup/Restore (Sicherung/Wiederherstellung).

    Der Sicherungsverlauf wird in einer Tabelle unter Sicherungen angezeigt.

    Im Verlauf werden bis zu den letzten sieben Sicherungen angezeigt.

    Durch das Löschen eines Dataproc Metastore-Dienstes wird auch der gesamte zugehörige Sicherungsverlauf gelöscht.

Sicherung löschen

Führen Sie die folgenden Schritte aus, um eine Dataproc Metastore-Sicherung in der Google Cloud Console zu löschen:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
  2. Klicken Sie in der Navigationsleiste auf Backup/Restore (Sicherung/Wiederherstellung).
  3. Suchen Sie die Sicherung, die Sie löschen möchten, und klicken Sie auf die Schaltfläche Einstellungen.
  4. Klicken Sie auf Löschen.

Sicherung planen

Sicherungen können so geplant werden, dass sie in benutzerdefinierten Cronjob-Intervallen ausgeführt werden, z. B. täglich, wöchentlich oder monatlich. Ein Cron-Zeitplan verwendet das Unix-Cron-Stringformat (* * * * *), d. h. einen Satz aus fünf Feldern in einer Zeile, die angeben, wann der Job ausgeführt werden soll.

Sie können beispielsweise ein benutzerdefiniertes Intervall festlegen, um jede Woche eine Sicherung zu erstellen, z. B. jeden Mittwoch um 14:00 Uhr PST (UTC -8).

Überlegungen zu geplanten Sicherungen

  • Für geplante Sicherungen muss ein Speicherort für die Sicherung angegeben werden. Dies muss ein Cloud Storage-Pfad sein.
  • Geplante Sicherungen werden immer im Avro-Dateiformat erstellt.
  • Geplante Sicherungen werden standardmäßig in der UTC-Zeitzone konfiguriert. Sie können die Zeitzone ändern, wenn Sie die Sicherung zum ersten Mal erstellen.
  • Geplante Sicherungen können so eingestellt werden, dass sie stündlich, täglich, wöchentlich oder monatlich ausgeführt werden. Das eingestellte minimale stündliche Intervall beträgt 4 Stunden.

Geplante Sicherung erstellen

Sicherungspläne können beim erstmaligen Erstellen des Dienstes festgelegt oder später hinzugefügt werden, wenn Sie den Dienst aktualisieren.

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 mit einer geplanten Sicherung zu erstellen:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie oben auf der Seite Dataproc Metastore auf die Schaltfläche Erstellen.

    Die Seite Dienst erstellen wird geöffnet.

  3. Wählen Sie Dataproc Metastore 2 aus.

  4. Stellen Sie den Schalter unter Geplante Sicherungen auf Aktivieren.

  5. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

  6. Optional: Wählen Sie unter „Zeitplan“ Folgendes aus:

    1. Wählen Sie unter Wiederholungen die Wiederholung aus, z. B. Täglich oder Wöchentlich.
    2. Wählen Sie unter Zum Zeitpunkt die Zeit der Wiederholung aus, z. B. 00:00 Uhr.
    3. Wählen Sie für Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

  7. Verwenden Sie für die verbleibenden Dienstkonfigurationsoptionen die bereitgestellten Standardeinstellungen.

  8. Klicken Sie auf Senden.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services backups create-Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    Ersetzen Sie Folgendes:

    • SERVICE: die ID oder die voll qualifizierte Kennung für die Sicherung.
    • LOCATION: die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • SCHEDULED_BACKUP_CRON: Die Häufigkeit der Sicherung, angegeben im Cron-Zeitformat. Mit dem Cron-Wert 0 0 * * * wird beispielsweise eine tägliche Sicherung geplant.
    • SCHEDULED_BACKUP_LOCATION ist der Cloud Storage-Speicherort Ihrer Sicherung. Beispiel: gs://my-bucket/path/to/location

    oder

    Sie können auch eine Sicherung planen, indem Sie die vorherigen Werte in einer Konfigurationsdatei speichern:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ersetzen Sie Folgendes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu einer JSON-Datei, die die Konfigurationswerte enabled, cront_schedule, time_zone und backup_location enthält.

    Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, die geplante Sicherungen aktiviert, den Sicherungszeitplan auf jede Stunde festlegt, die Zeitzone als PST angibt und den Sicherungsspeicherort als Cloud Storage-Bucket definiert. Sie können Zeitzonen aus der Liste der häufig verwendeten tz-Datenbankzeitzonen auswählen.

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

Folgen Sie der API-Anleitung zum Erstellen einer geplanten Sicherung mit dem APIs Explorer.

Geplante Sicherung aktualisieren

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 zu aktualisieren, der mit einer geplanten Sicherung konfiguriert wurde:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, für den Sie eine Sicherung planen möchten.

  3. Stellen Sie die Ein/Aus-Schaltfläche unter Geplante Sicherungen auf Aktiviert.

  4. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

  5. Optional: Wählen Sie unter Zeitplan Werte für die folgenden Felder aus:

    1. Wählen Sie unter Wiederholungen die Wiederholung aus, z. B. Täglich oder Wöchentlich.
    2. Wählen Sie unter Zum Zeitpunkt die Zeit der Wiederholung aus, z. B. 00:00 Uhr.
    3. Wählen Sie für Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services backups update-Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    Ersetzen Sie Folgendes:

    • SERVICE: die ID oder die voll qualifizierte Kennung für die geplante Sicherung.
    • LOCATION: Die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.
    • SCHEDULED_BACKUP_CRON: Die Häufigkeit der Sicherung, angegeben im Cron-Zeitformat. Mit dem Cron-Wert 0 0 * * * wird beispielsweise eine tägliche Sicherung geplant.
    • SCHEDULED_BACKUP_LOCATION ist der Cloud Storage-Speicherort der geplanten Sicherung. Beispiel: gs://my-bucket/path/to/location

    Sie können eine geplante Sicherung auch mit den vorherigen Werten aktualisieren, die in einer Konfigurationsdatei gespeichert sind:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ersetzen Sie Folgendes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu einer JSON-Datei, die die Sicherungskonfiguration enthält.

    Das folgende Beispiel zeigt eine Konfigurationsdatei für die Sicherung, die eine geplante Sicherung deaktiviert.

    {
"enabled": false,
}

REST

Folgen Sie der API-Anleitung zur Aktualisierung einer geplanten Sicherung mit dem APIs Explorer.

Geplante Sicherung ansehen

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 aufzurufen, der mit einer geplanten Sicherung konfiguriert wurde:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie oben auf der Seite auf Sicherung.

    Die Seite Sicherung wird geöffnet und zeigt Ihre geplanten Sicherungen an. Die Sicherungen werden tatsächlich in dem Cloud Storage-Bucket gespeichert, den Sie in der Konfiguration der geplanten Sicherung angegeben haben.

gcloud-CLI

  1. Führen Sie folgenden Befehl gsutil ls aus:

    gsutil ls gs://BUCKET_NAME/SERVICE/LOCATION

    Ersetzen Sie Folgendes:

    • BUCKET_NAME: der Pfad zum Cloud Storage-Bucket, in dem die geplante Sicherung gespeichert ist, die Sie ansehen möchten.
    • SERVICE: die ID oder die voll qualifizierte Kennung für die geplante Sicherung.
    • LOCATION: Die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.

REST

Folgen Sie der API-Anleitung zum Aufrufen einer geplanten Sicherung mit dem APIs Explorer.

Häufige Probleme beheben

Nächste Schritte