将自行管理的 MySQL Metastore 迁移到 Dataproc Metastore

快速入门：将自行管理的 MySQL Metastore 迁移到 Dataproc Metastore

将自行管理的 MySQL Metastore 迁移到 Dataproc Metastore

本页面介绍如何通过创建 MySQL 转储文件并将元数据导入现有的 Dataproc Metastore 服务，将外部自行管理的 MySQL Metastore 迁移到 Dataproc Metastore。

开始前须知

1. 登录您的 Google Cloud 帐号。如果您是 Google Cloud 新手，请创建一个帐号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

2. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

3. 确保您的 Cloud 项目已启用结算功能。了解如何检查项目是否已启用结算功能。

4. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

5. 确保您的 Cloud 项目已启用结算功能。了解如何检查项目是否已启用结算功能。

6. 启用 Dataproc Metastore API。

   启用 API

访问权限控制机制

• 如果您使用的是 VPC Service Controls，则只能从与 Dataproc Metastore 服务位于同一服务边界的 Cloud Storage 存储分区导入数据。

• 如需创建服务，您必须请求包含 metastore.services.create IAM 权限的 IAM 角色。如需导入元数据，您必须请求包含 metastore.imports.create IAM 权限的 IAM 角色。Dataproc Metastore 特定角色 roles/metastore.admin 和 roles/metastore.editor 具有创建和导入权限。

• 您可以使用 roles/owner 和 roles/editor 旧版角色为用户或组授予创建和导入权限。

• Dataproc Metastore 服务代理 ([e-mail]) 和导入元数据的用户必须对用于导入的 Cloud Storage 对象（SQL 转储文件）拥有 storage.objects.get 权限。

如需获取和设置 IAM 政策，您可以执行以下操作：

• Google Cloud Console：请参阅通过 Google Cloud Console 进行访问权限控制。
• REST API：请参阅通过 API 进行访问权限控制。
• gcloud 命令行：请参阅通过 Google Cloud CLI 进行访问权限控制。

如需了解详情，请参阅 Dataproc Metastore IAM 和访问权限控制。

创建 Dataproc Metastore 服务

以下说明演示了如何创建随后可以迁移到的 Dataproc Metastore 服务：

控制台

1. 在 Cloud Console 中，打开创建服务页面：

   在 Cloud Console 中打开“创建服务”页面

   

2. 在服务名称字段中，输入 example-service。

3. 选择数据位置。 如需了解如何选择区域，请参阅 Cloud 位置。

4. 对于其他服务配置选项，请使用提供的默认值。

5. 要创建并启动此服务，请点击提交按钮。

您的新服务会显示在“服务”列表中。

gcloud

运行以下 gcloud metastore services create 命令以创建服务：

 gcloud metastore services create example-service \
     --location=LOCATION
 

将 LOCATION 替换为您打算在其中创建服务的 Compute Engine 地区。确保相应地区提供 Dataproc Metastore。

REST

按照 API 说明使用 API Explorer 创建服务。

准备迁移

现在，您必须创建 MySQL 转储文件并将其放入 Cloud Storage 存储分区中，以准备存储在 Hive Metastore 数据库中的元数据。

有关准备迁移的步骤，请参阅准备导入。

导入元数据

现在您已准备好转储文件，请将其导入您的 Dataproc Metastore 服务。

如需了解将元数据导入 example-service 服务的步骤，请参阅执行导入。

创建并附加 Dataproc 集群

将元数据导入 Dataproc Metastore example-service 服务后，创建并连接使用该服务作为其 Hive Metastore 的 Dataproc 集群。

清理

为避免系统因本页面使用的资源向您的 Google Cloud 帐号收取费用，请按照以下步骤操作。

警告：删除项目会产生以下影响

• 项目中的所有内容都会被删除。如果您将现有项目用于本教程，则在删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算浏览多个教程和快速入门，重复使用项目可以帮助您避免超出项目配额上限。

1. 在 Cloud Console 中，转到管理资源页面。

   转到“管理资源”

2. 如果您打算删除的项目已附加到某个组织，请展开名称列中的组织列表。
3. 在项目列表中，选择要删除的项目，然后点击删除。
4. 在对话框中输入项目 ID，然后点击关闭以删除项目。

或者，您也可以删除本教程中使用的资源：

1. 删除 Dataproc Metastore 服务。

   控制台

   1. 在 Cloud Console 中，打开 Dataproc Metastore 页面：

      在 Cloud Console 中打开 Dataproc Metastore

   2. 选中服务名称左侧的 example-service 复选框。

   3. 在 Dataproc Metastore 页面顶部，点击删除以删除服务。

   4. 在对话框中，点击删除以确认删除。

   您的服务不会再显示在“服务”列表中。

   gcloud

   运行以下 gcloud metastore services delete 命令可删除服务：

    gcloud metastore services delete example-service \
        --location=LOCATION
    

   将 LOCATION 替换为您在其中创建了服务的 Compute Engine 区域。

   REST

   按照 API 说明，使用 API Explorer 删除服务。

   所有删除操作都会立即成功。

   注意：删除服务本身会删除该服务下的所有嵌套导入作业。

2. 删除 Dataproc Metastore 服务的 Cloud Storage 存储分区。

   注意：删除 Dataproc Metastore 服务不会删除其存储分区。

后续步骤

• 什么是 Dataproc Metastore？
• 将元数据导入服务
• 连接 Dataproc 集群