Metadaten aus Dataproc Metastore exportieren

Auf dieser Seite wird erläutert, wie Sie Metadaten aus Dataproc Metastore exportieren.

Mit der Funktion zum Exportieren von Metadaten können Sie Ihre Metadaten in einem portablen Speicherformat speichern.

Nachdem Sie die Daten exportiert haben, können Sie die Metadaten in einen anderen Dataproc Metastore-Dienst oder einen selbstverwalteten Hive Metastore (HMS) importieren.

Metadaten exportieren

Wenn Sie Metadaten aus Dataproc Metastore exportieren, speichert der Dienst die Daten in einem der folgenden Dateiformate:

  • Eine Reihe von Avro-Dateien, die in einem Ordner gespeichert sind.
  • Eine einzelne MySQL-Dumpdatei, die in einem Cloud Storage-Ordner gespeichert ist.

Avro

Avro-basierte Exporte werden nur für die Hive-Versionen 2.3.6 und 3.1.2 unterstützt. Wenn Sie Avro-Dateien exportieren, erstellt Dataproc Metastore für jede Tabelle in Ihrer Datenbank eine <table-name>.avro-Datei.

Zum Exportieren von Avro-Dateien kann der Dataproc Metastore-Dienst den Datenbanktyp MySQL oder Spanner verwenden.

MySQL

MySQL-basierte Exporte werden für alle Hive-Versionen unterstützt. Wenn Sie MySQL-Dateien exportieren, erstellt Dataproc Metastore eine einzelne SQL-Datei, die alle Ihre Tabelleninformationen enthält.

Zum Exportieren von MySQL-Dateien muss der Dataproc Metastore-Dienst den MySQL-Datenbanktyp verwenden. Der Spanner-Datenbanktyp unterstützt keine MySQL-Importe.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Exportieren von Metadaten in Dataproc Metastore benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Exportieren von Metadaten nach Dataproc Metastore erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Metadaten in Dataproc Metastore zu exportieren:

  • So exportieren Sie Metadaten: metastore.services.export für den Metastore-Dienst
  • Damit MySQL und Avro das Cloud Storage-Objekt für den Export verwenden können, müssen Sie Ihrem Nutzerkonto und dem Dataproc Metastore-Dienst-Agent folgende Berechtigungen erteilen: storage.objects.create für den Cloud Storage-Bucket.

Möglicherweise können Sie diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie in der Übersicht über Dataproc Metastore-IAM.

Metadaten exportieren

Beachten Sie vor dem Exportieren Ihrer Metadaten Folgendes:

  • Während eines Exports können Sie einen Dataproc Metastore-Dienst nicht aktualisieren, z. B. keine Konfigurationseinstellungen. Sie können sie jedoch weiterhin für normale Vorgänge verwenden, z. B. für den Zugriff auf ihre Metadaten über angehängte Dataproc- oder selbstverwaltete Cluster.
  • Mit der Metadatenexportfunktion werden nur Metadaten exportiert. Daten, die von Apache Hive in internen Tabellen erstellt werden, werden im Export nicht repliziert.

Führen Sie die folgenden Schritte aus, um Metadaten aus einem Dataproc Metastore-Dienst zu exportieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, aus dem Sie Metadaten exportieren möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Detailseite des Dataproc Metastore-Dienstes
  3. Klicken Sie in der Navigationsleiste auf Exportieren.

    Die Seite Metadaten exportieren wird geöffnet.

  4. Wählen Sie im Abschnitt Ziel entweder MySQL oder Avro aus.

  5. Klicken Sie im Feld Ziel-URI auf Durchsuchen und wählen Sie den Cloud Storage-URI aus, in den Sie die Dateien exportieren möchten.

    Sie können den Bucket-Standort auch in das dafür vorgesehene Textfeld eingeben. Verwenden Sie das folgende Format: bucket/object oder bucket/folder/object.

  6. Klicken Sie auf Senden, um den Export zu starten.

    Wenn der Export abgeschlossen ist, wird der Export auf der Seite Dienstdetails auf dem Tab Import/Export in einer Tabelle angezeigt.

    Nach Abschluss des Exports kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob der Export erfolgreich war oder nicht.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services export gcs-Befehl aus, um Metadaten aus einem Dienst zu exportieren:

    gcloud metastore services export gcs SERVICE \
        --location=LOCATION \
        --destination-folder=gs://bucket-name/path/to/folder \
        --dump-type=DUMP_TYPE
    

    Ersetzen Sie Folgendes:

    • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.
    • bucket-name/path/to/folder ist der Cloud Storage-Zielordner, in dem Sie den Export speichern möchten.
    • DUMP_TYPE: Der Typ des Datenbank-Dumps, der durch den Export generiert werden soll. Zulässige Werte sind mysql und avro. Der Standardwert ist mysql.
  2. Prüfen Sie, ob der Export erfolgreich war.

    Nach Abschluss des Exports kehrt Dataproc Metastore automatisch in den aktiven Status zurück, unabhängig davon, ob der Export erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zum Exportieren von Metadaten in einen Dienst mit APIs Explorer.

Nach Abschluss des Exports kehrt der Dienst automatisch in den aktiven Status zurück, unabhängig davon, ob der Export erfolgreich war oder nicht.

Exportverlauf ansehen

So rufen Sie den Exportverlauf eines Dataproc Metastore-Dienstes in der Google Cloud Console auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
  2. Klicken Sie in der Navigationsleiste auf Importieren/Exportieren.

    Der Exportverlauf wird in der Tabelle Exportverlauf angezeigt.

    Im Verlauf werden die letzten 25 Exporte angezeigt.

Beim Löschen eines Dataproc Metastore-Dienstes wird auch der gesamte zugehörige Exportverlauf gelöscht.

Häufige Probleme beheben

Zu den häufigen Problemen gehören:

Weitere Hilfe zum Beheben häufiger Probleme finden Sie unter Szenarien für Import- und Exportfehler.

Nächste Schritte