将自行管理的 MySQL Metastore 迁移到 Dataproc Metastore

将自行管理的 MySQL Metastore 迁移到 Dataproc Metastore

本页面介绍如何通过创建 MySQL 转储文件并将元数据导入现有 Dataproc Metastore 服务，将外部自行管理的 MySQL 元存储区迁移到 Dataproc Metastore。

准备工作

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Dataproc Metastore API.

   Enable the API

所需的角色

如需获得创建 Dataproc Metastore 和导入 MYSQL Metastore 所需的权限，请让您的管理员为您授予以下 IAM 角色：

• 如需创建服务并导入元数据，请执行以下操作：
  • 针对项目的 Dataproc Metastore Editor (roles/metastore.editor)
  • 项目的 Dataproc Metastore Admin (roles/metastore.admin)。
• 如需使用 Cloud Storage 对象（SQL 转储文件）进行导入，请执行以下操作：
  • Storage Object Viewer (roles/storage.objectViewer) 。例如 [e-mail]。
  • 用户账号的 Storage Object Viewer (roles/storage.objectViewer) 角色。

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含 拥有创建 Dataproc Metastore 和导入 MYSQL Metastore 所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需创建 Dataproc Metastore 和导入 MYSQL Metastore，需要以下权限：

• 如需创建服务，请执行以下操作： metastore.services.create 项目级别
• 如需导入元数据：针对项目的 metastore.imports.create 权限。
• 如需使用 Cloud Storage 对象（SQL 转储文件）进行导入，请执行以下操作：
  • storage.objects.get 在 Dataproc Metastore 服务代理上。例如 [e-mail]
  • storage.objects.get（针对用户）

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需详细了解特定 Dataproc Metastore 角色和权限，请参阅使用 IAM 管理 Dataproc 访问权限。

创建 Dataproc Metastore 服务

以下说明演示了如何创建 Dataproc Metastore 您可以向其迁移 SQL 转储文件。

控制台

1. 在 Google Cloud 控制台中，打开创建服务页面：

   转到“创建服务”

   

   Dataproc Metastore“创建”服务页面

2. 在服务名称字段中，输入 example-service。

3. 选择数据位置。如需了解如何选择区域，请参阅 Cloud 位置。

4. 对于其他服务配置选项，请使用提供的默认值。

5. 要创建并启动该服务，请点击提交按钮。

您的新服务会显示在“服务”列表中。

gcloud

运行以下 gcloud metastore services create 命令创建服务：

 gcloud metastore services create example-service \
     --location=LOCATION
 

将 LOCATION 替换为您计划在其中创建服务的 Compute Engine 区域。确保该地区提供 Dataproc Metastore。

REST

按照 API 说明使用 API Explorer 创建服务。

准备迁移

现在，您必须创建一个 MySQL 转储文件并将其放入 Cloud Storage 存储桶中，以准备存储在 Hive Metastore 数据库中的元数据以进行导入。

请参阅在导入前准备导入文件 了解迁移准备工作的步骤。

导入元数据

现在您已准备好转储，请将其导入您的 Dataproc Metastore 服务。

请参阅将文件导入 Dataproc Metastore 了解将元数据导入 example-service 服务的步骤。

注意：如果您使用的是 VPC Service Controls，则只能从与 Dataproc Metastore 服务位于同一服务边界内的 Cloud Storage 存储桶导入数据。

创建并关联 Dataproc 集群

将元数据导入 Dataproc Metastore example-service 服务后，请创建并关联 Dataproc 集群，该集群将该服务用作其 Hive Metastore。

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用，请按照以下步骤操作。

注意：删除项目会产生以下影响：

• 项目中的所有内容都会被删除。如果您将现有项目用于本文档中的任务，则删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算探索多个架构、教程或快速入门，则重复使用项目可以帮助您避免超出项目配额限制。

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

或者，您可以删除本教程中使用的资源：

1. 删除 Dataproc Metastore 服务。

   控制台

   1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

      在 Google Cloud 控制台

   2. 通过选中相应的复选框，选择服务名称左侧的 example-service。

   3. 在 Dataproc Metastore 页面顶部，点击删除以删除该服务。

   4. 在对话框中，点击删除以确认删除。

   您的服务将不再出现在“服务”列表中。

   gcloud

   运行以下 gcloud metastore services delete 命令删除服务：

    gcloud metastore services delete example-service \
        --location=LOCATION

   将 LOCATION 替换为您创建服务的 Compute Engine 区域。

   REST

   按照 API 说明使用 API Explorer 删除服务。

   所有删除操作都会立即成功执行。

   注意：如果您删除服务本身，则系统会删除该服务下的所有嵌套导入操作。

2. 删除 Cloud Storage 存储桶 适用于 Dataproc Metastore 服务。

   注意：系统在删除 Dataproc Metastore 服务时不会删除其存储桶。

后续步骤

• 什么是 Dataproc Metastore？
• 将元数据导入服务
• 连接 Dataproc 集群或自行管理的集群