Kurzanleitung: Selbstverwalteten MySQL-Metaspeicher zu Dataproc Metastore migrieren

Selbstverwalteten MySQL-Metaspeicher zu Dataproc Metastore migrieren

Auf dieser Seite erfahren Sie, wie Sie Ihren externen, selbstverwalteten MySQL-Metaspeicher zu Dataproc Metastore migrieren. Dazu erstellen Sie eine MySQL-Dumpdatei und importieren die Metadaten in einen vorhandenen Dataproc Metastore-Dienst.

Hinweise

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
  2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  3. Die Abrechnung für das Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für ein Projekt aktiviert ist.

  4. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  5. Die Abrechnung für das Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für ein Projekt aktiviert ist.

  6. Dataproc Metastore API aktivieren.

    Aktivieren Sie die API

Zugriffssteuerung

  • Wenn Sie VPC Service Controls verwenden, können Sie nur Daten aus einem Cloud Storage-Bucket importieren, der sich im selben Dienstperimeter wie der Dataproc Metastore-Dienst befindet.

  • Zum Erstellen eines Dienstes müssen Sie eine IAM-Rolle mit der IAM-Berechtigung metastore.services.create anfordern. Zum Importieren von Metadaten müssen Sie eine IAM-Rolle mit der IAM-Berechtigung metastore.imports.create anfordern. Die Dataproc Metastore-spezifischen Rollen roles/metastore.admin und roles/metastore.editor enthalten Berechtigungen zum Erstellen und Importieren.

  • Mit den Legacy-Rollen roles/owner und roles/editor können Sie Nutzern oder Gruppen Erstellungs- und Importberechtigungen erteilen.

  • Der Dataproc Metastore-Dienst-Agent (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) und der Nutzer, der die Metadaten importiert, müssen die Berechtigung storage.objects.get für das für den Import verwendete Cloud Storage-Objekt (SQL-Dumpdatei) haben.

Zum Abrufen und Festlegen von IAM-Richtlinien können Sie Folgendes verwenden:

Weitere Informationen finden Sie unter IAM- und Zugriffssteuerung von Dataproc Metastore.

Dataproc Metastore-Dienst erstellen

In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore-Dienst erstellen, zu dem Sie dann migrieren können:

Console

  1. Öffnen Sie in der Cloud Console die Seite Dienst erstellen:

    Seite "Dienst erstellen" in der Cloud Console öffnen

    Seite Dienst erstellen“
  2. Geben Sie im Feld Servicename example-service ein.

  3. Wählen Sie den Speicherort der Daten aus. Informationen zum Auswählen einer Region finden Sie unter Cloud-Standorte.

  4. Verwenden Sie für andere Dienstkonfigurationsoptionen die angegebenen Standardeinstellungen.

  5. Klicken Sie auf die Schaltfläche Senden, um den Dienst zu erstellen und zu starten.

Ihr neuer Dienst wird in der Liste der Dienste angezeigt.

gcloud

Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen Dienst zu erstellen:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Ersetzen Sie LOCATION durch die Compute Engine-Region, in der Sie den Dienst erstellen möchten. Sorgen Sie dafür, dass Dataproc Metastore in der Region verfügbar ist.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem API Explorer.

Vorbereitung auf die Migration

Sie müssen nun die in Ihrer Hive-Metaspeicher-Datenbank gespeicherten Metadaten für den Import vorbereiten. Erstellen Sie dazu eine MySQL-Dumpdatei und platzieren Sie sie in einem Cloud Storage-Bucket.

Die Schritte zur Vorbereitung auf die Migration finden Sie unter Import vorbereiten.

Metadaten importieren

Nachdem Sie die Dumpdatei vorbereitet haben, importieren Sie sie in den Dataproc Metastore-Dienst.

Die Schritte zum Importieren Ihrer Metadaten in den Dienst example-service finden Sie unter Import durchführen.

Dataproc-Cluster erstellen und anhängen

Nachdem Sie die Metadaten in den Dataproc Metastore example-service-Dienst importiert haben, erstellen und hängen Sie einen Dataproc-Cluster an, der den Dienst als Hive-Metastore verwendet.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

  1. Wechseln Sie in der Cloud Console zur Seite Ressourcen verwalten.

    Zur Seite „Ressourcen verwalten“

  2. Wenn das Projekt, das Sie löschen möchten, an eine Organisation geknüpft ist, maximieren Sie in der Spalte Name die Liste Organisation.
  3. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
  4. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Alternativ können Sie die in dieser Anleitung verwendeten Ressourcen löschen:

  1. Löschen Sie den Dataproc Metastore-Dienst.

    Console

    1. Öffnen Sie in der Cloud Console die Seite "Dataproc Metastore":

      Dataproc Metastore in der Cloud Console öffnen

    2. Wählen Sie links neben dem Dienstnamen example-service aus, indem Sie das Kästchen anklicken.

    3. Klicken Sie oben auf der Seite Dataproc Metastore auf Löschen, um den Dienst zu löschen.

    4. Klicken Sie im Dialogfeld auf Löschen, um den Löschvorgang zu bestätigen.

    Ihr Dienst wird nicht mehr in der Liste der Dienste angezeigt.

    gcloud

    Führen Sie den folgenden gcloud metastore services delete-Befehl aus, um einen Dienst zu löschen:

     gcloud metastore services delete example-service \
         --location=LOCATION
     

    Ersetzen Sie LOCATION durch die Compute Engine-Region, in der Sie den Dienst erstellt haben.

    REST

    Folgen Sie der API-Anleitung zum Löschen eines Dienstes mit dem API Explorer.

    Alle Löschvorgänge sind sofort erfolgreich.

  2. Löschen Sie den Cloud Storage-Bucket für den Dataproc Metastore-Dienst.

Nächste Schritte