部署 Dataproc Metastore 服务

部署 Dataproc Metastore 服务

本页介绍了如何创建 Dataproc Metastore 服务，以及如何从 Dataproc 集群连接到该服务。之后，您通过 SSH 登录到 启动 Apache Hive 实例，并运行一些基本查询。

Dataproc Metastore 为您提供了完全兼容的 Hive Metastore (HMS)，这是开源大数据领域的成熟标准 用于管理技术元数据的生态系统。此服务可帮助您管理 元数据，并提供各种数据湖之间的互操作性， 和数据处理工具。

注意 ：本指南将介绍如何配置 Dataproc Metastore 使用提供的默认选项了解如何配置 Dataproc Metastore，请参阅创建 Metastore。

---

如需在 Google Cloud 控制台中直接遵循有关此任务的分步指导，请点击操作演示：

操作演示

---

准备工作

1. 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手，请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. 确保您的 Google Cloud 项目已启用结算功能。

4. Enable the Dataproc Metastore, Dataproc APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. 确保您的 Google Cloud 项目已启用结算功能。

7. Enable the Dataproc Metastore, Dataproc APIs.

   Enable the APIs

所需的角色

要获取创建 Dataproc Metastore 和 Dataproc 集群所需的权限， 请让管理员授予您 以下 IAM 角色：

• 要授予对所有 Dataproc Metastore 资源的完整访问权限（包括设置 IAM 权限），请执行以下操作： (roles/metastore.admin) 针对用户账号或服务账号
• 如需授予对 Dataproc Metastore 资源的完全控制权，请为用户账号或服务账号授予 Dataproc Metastore 编辑器 (roles/metastore.editor) 权限
• 如需创建 Dataproc 集群，请执行以下操作： (roles/dataproc.worker) 针对服务账号

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含 创建 Dataproc Metastore 和 Dataproc 集群所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需创建 Dataproc Metastore 和 Dataproc 集群，您需要具备以下权限：

• 如需创建 Dataproc Metastore 服务，请执行以下操作： metastore.services.create 针对用户账号或服务账号
• 如需创建 Dataproc 集群，请执行以下操作： Dataproc worker (roles/dataproc.worker) 针对服务账号

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需详细了解特定 Dataproc Metastore 角色和权限，请参阅 Dataproc Metastore IAM 概览。

创建 Dataproc Metastore 服务

以下说明介绍了如何创建基本的 Dataproc Metastore 服务。

控制台

1. 在 Google Cloud 控制台中，转到 Dataproc Metastore 页面。

   前往 Dataproc Metastore

2. 在导航菜单中，点击 +创建。

   系统随即会打开创建 Metastore 服务对话框。

3. 选择 Dataproc Metastore 2。

4. 在服务名称字段中，输入 example-service。

5. 在数据位置字段中，选择 us-central1。

6. 对于其余服务配置选项，请使用提供的默认值。

7. 如需创建并启动服务，请点击提交。

新的 Metastore 服务会显示在 Dataproc Metastore 页面上。通过 状态显示正在创建，直到服务准备就绪。时间 状态将变为有效。预配服务可能需要几分钟的时间。

以下屏幕截图显示了创建服务页面的示例 使用提供的一些默认值

gcloud CLI

如需使用提供的默认值创建 Metastore 服务，请执行以下操作： 运行以下 gcloud metastore services create 命令：

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

默认情况下，此命令将创建一个名为 example-service 的服务。 区域 (us-central1) 和默认实例大小 (MEDIUM)。

REST

按照 API 说明使用 APIs Explorer 创建服务。

创建 Dataproc 集群并连接到 Dataproc Metastore

接下来，您将创建 Dataproc 集群并连接到您的 Metastore 从集群中移除之后，您的集群会使用 Metastore 服务作为 HMS。 您在此处创建的集群会使用提供的默认设置。

控制台

1. 在 Google Cloud 控制台中，转到 Dataproc 集群页面。

   前往 Dataproc 集群

2. 在导航栏中，选择 +创建集群。

   系统会打开创建集群对话框，供您选择 供您选择。

3. 在 Compute Engine 上的集群行中，选择创建。

   系统随即会打开在 Compute Engine 上创建 Dataproc 集群页面。

4. 在集群名称字段中，输入 example-cluster。

5. 在区域和可用区菜单中，选择 us-central1。

6. 对于其余设置集群选项，请使用提供的默认值。

7. 在导航菜单中，点击自定义集群（可选）标签页。

8. 在 Dataproc Metastore 部分中，选择您之前创建的 Metastore 服务。

   如果您按原样学习本教程，它将被命名为 example-service。

9. 对于其余服务配置选项，请使用提供的默认值。

10. 如需创建集群，请点击创建。

    您的新集群会显示在集群列表中。集群状态 显示预配，直到集群可供使用。准备就绪后，状态会变为有效。预配集群 请稍等几分钟。

    注意 ：Dataproc 集群创建过程可能会失败 如果您的服务账号没有适当的角色，则会发生该错误。有关 相关信息，请参阅由于角色不足而导致集群创建失败。

gcloud CLI

如需使用提供的默认设置创建集群，请运行以下命令： 正在关注gcloud dataproc clusters create 命令：

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

将 PROJECT_ID 替换为 项目中创建 Dataproc Metastore 服务。

注意 ： 服务账号没有适当的角色。如需更多信息 请参阅由于角色不足而导致集群创建失败。

REST

按照 API 说明使用 API Explorer 创建集群。

使用 Dataproc 集群连接到 Apache Hive

接下来的步骤将向您展示如何在 Apache Hive 中运行一些示例命令 数据库和表

接下来，在 Dataproc 集群上打开 SSH 会话并启动 Hive 会话。

1. 在 Google Cloud 控制台中，前往虚拟机 实例页面。
2. 在虚拟机实例列表中，点击 example-cluster 旁边的 SSH。

该节点上的主目录中会打开一个浏览器窗口，并显示如下输出： 更改为以下代码：

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

如需启动 Hive 并创建数据库和表，请在 SSH 会话中运行以下命令：

1. 启动 Hive。

   hive
   

2. 创建一个名为 myDatabase 的数据库。

   create database myDatabase;
   

3. 显示您创建的数据库。

   show databases;
   

4. 使用您创建的数据库。

   use myDatabase;
   

5. 创建一个名为 myTable 的表。

   create table myTable(id int,name string);
   

6. 列出 myDatabase 下的表。

   show tables;
   

7. 描述您创建的表的架构。

   desc MyTable;
   

运行这些命令会显示类似于以下内容的输出：

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用，请按照以下步骤操作。

注意：删除项目会产生以下影响：

• 项目中的所有内容都会被删除。如果您将现有项目用于本文档中的任务，则删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算探索多个架构、教程或快速入门，则重复使用项目可以帮助您避免超出项目配额限制。

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

或者，您可以删除本教程中使用的资源：

1. 删除 Dataproc Metastore 服务。

   控制台

   1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

      前往 Dataproc Metastore

   2. 在服务列表中，选择 example-service。

   3. 在导航栏中，点击删除。

      系统随即会打开删除服务对话框。

   4. 在该对话框中，点击删除

      您的服务不会再显示在服务列表中。

   gcloud CLI

   如需删除服务，请运行以下 gcloud metastore services delete 命令。

    gcloud metastore services delete example-service \
        --location=us-central1

   REST

   按照 API 说明使用 APIs Explorer 删除服务。

   所有删除操作都会立即成功执行。

2. 删除 Cloud Storage 存储桶 适用于 Dataproc Metastore 服务。

   注意：删除 Dataproc Metastore 服务不会自动删除其存储桶。

3. 删除 Dataproc 集群 。

后续步骤

• 向用户授予基本的 Dataproc Metastore IAM 角色
• 将元数据导入服务
• Dataproc Metastore 概览