Selbstverwalteten MySQL-Metastore zu Dataproc Metastore migrieren

Selbstverwalteten MySQL-Metastore zu Dataproc Metastore migrieren

Auf dieser Seite erfahren Sie, wie Sie Ihren externen selbstverwalteten MySQL-Metastore zu Dataproc Metastore migrieren. Dazu erstellen Sie eine MySQL-Dumpdatei und importieren die Metadaten in einen vorhandenen Dataproc Metastore-Dienst.

Hinweise

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Dataproc Metastore API.

   Enable the API

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc-Metastores und zum Importieren eines MySQL-Metastores benötigen:

• So erstellen Sie einen Dienst und importieren Metadaten:
  • Dataproc Metastore-Bearbeiter (roles/metastore.editor) für das Projekt
  • Dataproc Metastore-Administrator (roles/metastore.admin) für das Projekt
• So verwenden Sie das Cloud Storage-Objekt (SQL-Dumpdatei) für den Import:
  • Storage Object Viewer (roles/storage.objectViewer) für den Dataproc Metastore-Dienst-Agent Beispiel: [e-mail]
  • Storage-Objekt-Betrachter (roles/storage.objectViewer) für das Nutzerkonto

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten Die Berechtigungen, die zum Erstellen eines Dataproc Metastores und zum Importieren eines MYSQL-Metastores erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um einen Dataproc Metastore zu erstellen und einen MYSQL-Metastore zu importieren:

• So erstellen Sie einen Dienst: metastore.services.create für das Projekt.
• So importieren Sie Metadaten: metastore.imports.create für das Projekt.
• So verwenden Sie das Cloud Storage-Objekt (SQL-Dumpdatei) für den Import:
  • storage.objects.get im Dataproc Metastore-Dienst-Agent. z. B. [e-mail].
  • storage.objects.get für das Nutzerkonto.

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Dataproc-Zugriff mit IAM verwalten.

Dataproc Metastore-Dienst erstellen

In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore-Dienst erstellen, in den Sie Ihre SQL-Dumpdatei migrieren können.

Console

1. Öffnen Sie in der Google Cloud Console die Seite Dienst erstellen:

   Zur Seite „Dienst erstellen“

   

   Dataproc Metastore – Seite „Dienst erstellen“

2. Geben Sie im Feld Name des Dienstkontos example-service ein.

3. Wählen Sie den Speicherort der Daten aus. Informationen zum Auswählen einer Region finden Sie unter Cloud-Standorte:

4. Übernehmen Sie für die anderen Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.

5. Klicken Sie auf die Schaltfläche Senden, um den Dienst zu erstellen und zu starten.

Der neue Dienst wird in der Dienstliste angezeigt.

gcloud

Führen Sie den folgenden Befehl gcloud metastore services create aus, um einen Dienst zu erstellen:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Ersetzen Sie LOCATION durch die Compute Engine-Region, in der Sie den Dienst erstellen möchten. Prüfen Sie, ob Dataproc Metastore verfügbar ist. in der Region.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.

Migration vorbereiten

Sie müssen nun die in Ihrer Hive-Metaspeicher-Datenbank gespeicherten Metadaten für indem Sie eine MySQL-Dumpdatei erstellen und in Cloud Storage ablegen Bucket.

Weitere Informationen finden Sie unter Importdateien vor dem Import vorbereiten. .

Metadaten importieren

Nachdem Sie die Dumpdatei vorbereitet haben, importieren Sie sie in Ihren Dataproc Metastore-Dienst

Eine Anleitung zum Importieren von Metadaten in den example-service-Dienst finden Sie unter Dateien in Dataproc Metastore importieren.

Hinweis: Wenn Sie VPC Service Controls verwenden, können Sie nur Daten aus Cloud Storage-Buckets importieren, die sich im selben Dienstperimeter wie der Dataproc Metastore-Dienst befinden.

Dataproc-Cluster erstellen und anhängen

Nachdem Sie die Metadaten in den Dataproc Metastore-Dienst example-service importiert haben, erstellen Sie und hängen Sie einen Dataproc-Cluster an, der den Dienst als Hive-Metastore verwendet.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

Alternativ können Sie die Ressourcen löschen, die in dieser Anleitung verwendet werden:

1. Löschen Sie den Dataproc Metastore-Dienst.

   Console

   1. Öffnen Sie in der Google Cloud Console die Dataproc Metastore-Seite:

      Dataproc Metastore in der Google Cloud Console öffnen

   2. Klicken Sie links neben dem Dienstnamen auf das Kästchen für example-service.

   3. Klicken Sie oben auf der Seite Dataproc Metastore auf Löschen. um den Dienst zu löschen.

   4. Klicken Sie im Dialogfeld auf Löschen, um den Löschvorgang zu bestätigen.

   Ihr Dienst wird nicht mehr in der Liste der Dienste angezeigt.

   gcloud

   Führen Sie den folgenden Befehl gcloud metastore services delete aus, um einen Dienst zu löschen:

    gcloud metastore services delete example-service \
        --location=LOCATION

   Ersetzen Sie LOCATION durch die Compute Engine Region, in der Sie den Dienst erstellt haben.

   REST

   Folgen Sie der API-Anleitung, um einen Dienst mithilfe des APIs Explorers zu löschen.

   Alle Löschvorgänge werden sofort ausgeführt.

   Hinweis: Wenn Sie den Dienst selbst löschen, werden alle darin enthaltenen verschachtelten Importe gelöscht. .

2. Löschen Sie den Cloud Storage-Bucket für den Dataproc Metastore-Dienst.

   Hinweis: Wenn Sie den Dataproc Metastore-Dienst löschen, seinen Bucket.

Nächste Schritte

• Was ist Dataproc Metastore?
• Metadaten in einen Dienst importieren
• Dataproc- oder selbstverwalteten Cluster anhängen