Metadaten aus Dataproc Metastore exportieren

Auf dieser Seite wird erläutert, wie Sie Metadaten aus Dataproc Metastore exportieren.

Mit der Exportfunktion für Metadaten können Sie Ihre Metadaten in einem portablen Speicherformat speichern.

Nachdem Sie Ihre Daten exportiert haben, können Sie die Metadaten in eine andere Dataproc Metastore-Dienst oder selbst verwalteter Hive Metastore (HMS).

Metadaten exportieren

Wenn Sie Metadaten aus Dataproc Metastore exportieren, die Daten in einem der folgenden Dateiformate speichert:

  • Eine Reihe von Avro-Dateien, die in einem Ordner gespeichert sind.
  • Eine einzelne MySQL-Dumpdatei, die in einem Cloud Storage-Ordner gespeichert ist.

Avro

Avro-basierte Exporte werden nur für die Hive-Versionen 2.3.6 und 3.1.2 unterstützt. Wann? Avro-Dateien exportieren, erstellt Dataproc Metastore <table-name>.avro-Datei für jede Tabelle in Ihrer Datenbank.

Für den Export von Avro-Dateien kann Ihr Dataproc Metastore-Dienst den Datenbanktyp „MySQL“ oder „Spanner“ verwenden.

MySQL

MySQL-basierte Exporte werden für alle Hive-Versionen unterstützt. Beim Exportieren erstellt Dataproc Metastore eine einzelne SQL-Datei, enthält alle Tabelleninformationen.

Zum Exportieren von MySQL-Dateien muss der Dataproc Metastore-Dienst Folgendes verwenden: den MySQL-Datenbanktyp. MySQL-Datenbanktyp wird vom Spanner-Datenbanktyp nicht unterstützt Datenimport und -import.

Hinweise

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Exportieren von Metadaten in Dataproc Metastore benötigen, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Exportieren von Metadaten in den Dataproc Metastore erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Metadaten in Dataproc Metastore zu exportieren:

  • So exportieren Sie Metadaten: metastore.services.export im Metastore-Dienst
  • Wenn Sie das Cloud Storage-Objekt für den Export von MySQL- und Avro-Daten verwenden möchten, gewähren Sie Ihrem Nutzerkonto und dem Dataproc Metastore-Dienst-Agent: storage.objects.create für den Cloud Storage-Bucket

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie in der Übersicht zu Dataproc Metastore IAM.

Metadaten exportieren

Beachten Sie die folgenden Hinweise, bevor Sie Ihre Metadaten exportieren:

  • Während ein Export ausgeführt wird, können Sie keinen Dataproc Metastore-Dienst aktualisieren, z. B. keine Konfigurationseinstellungen ändern. Sie können es jedoch weiterhin für den normalen Betrieb verwenden, z. B. um über angehängte Dataproc- oder selbstverwaltete Cluster auf die Metadaten zuzugreifen.
  • Mit der Funktion zum Exportieren von Metadaten werden nur Metadaten exportiert. Daten, die von Apache Hive in internen Tabellen erstellt werden, werden nicht im Export repliziert.

Führen Sie die folgenden Schritte aus, um Metadaten aus einem Dataproc Metastore-Dienst zu exportieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, aus dem Sie Metadaten exportieren möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Detailseite des Dataproc Metastore-Dienstes

  3. Klicken Sie in der Navigationsleiste auf Exportieren.

    Die Seite Metadaten exportieren wird geöffnet.

  4. Wählen Sie im Abschnitt Ziel entweder MySQL oder Avro aus.

  5. Klicken Sie im Feld Ziel-URI auf Durchsuchen und wählen Sie den Cloud Storage-URI aus, unter dem Sie Ihre Dateien exportieren möchten.

    Sie können den Speicherort des Buckets auch in das dafür vorgesehene Textfeld eingeben. Verwenden Sie das folgende Format hat: bucket/object oder bucket/folder/object.

  6. Klicken Sie auf Senden, um den Export zu starten.

    Wenn der Export abgeschlossen ist, wird er in einer Tabelle auf der Seite Dienstdetails auf dem Tab Import/Export angezeigt.

    Nach Abschluss des Exports wird Dataproc Metastore in den Status "Aktiv" zurück, unabhängig davon, ob der Export erfolgreich war.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services export gcs-Befehl aus, um Metadaten aus einem Dienst zu exportieren:

    gcloud metastore services export gcs SERVICE \
    --location=LOCATION \
    --destination-folder=gs://bucket-name/path/to/folder \
    --dump-type=DUMP_TYPE

    Ersetzen Sie Folgendes:

    • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: die Google Cloud-Region, in der Ihr sich der Dataproc Metastore-Dienst befindet.
    • bucket-name/path/to/folder: der Cloud Storage-Zielordner, in dem der Export gespeichert werden soll.
    • DUMP_TYPE: Der Typ des Datenbankdumps, der durch den Export generiert werden soll. Zulässige Werte: mysql und avro. Der Standardwert ist mysql.

  2. Prüfen Sie, ob der Export erfolgreich war.

    Nach Abschluss des Exports wird Dataproc Metastore in den Status "Aktiv" zurück, unabhängig davon, ob der Export erfolgreich war.

REST

Folgen Sie der API-Anleitung zum Exportieren von Metadaten in einen Dienst mit dem APIs Explorer.

Wenn der Export abgeschlossen ist, wechselt der Dienst automatisch in den aktiven Zustand, unabhängig davon, ob er erfolgreich war oder nicht.

Exportverlauf ansehen

So rufen Sie den Exportverlauf eines Dataproc Metastore-Dienstes in der Führen Sie in der Google Cloud Console die folgenden Schritte aus:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.

  2. Klicken Sie in der Navigationsleiste auf Importieren/Exportieren.

    Der Exportverlauf wird in der Tabelle Exportverlauf angezeigt.

    Im Verlauf werden die letzten 25 Exporte angezeigt.

Beim Löschen eines Dataproc Metastore-Dienstes werden auch alle zugehörigen Exportverlauf.

Häufige Probleme beheben

Zu den häufigsten Problemen gehören:

Weitere Informationen zur Behebung häufiger Probleme finden Sie unter Import- und Exportfehler.

Nächste Schritte