快速入门:部署 Dataproc Metastore

本页面介绍如何创建 Dataproc Metastore 服务以及将该服务用作 Hive Metastore 的 Dataproc 集群。

准备工作

  1. 登录您的 Google Cloud 帐号。如果您是 Google Cloud 新手,请创建一个帐号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金,用于运行、测试和部署工作负载。
  2. 在 Google Cloud Console 的项目选择器页面上,选择或创建一个 Google Cloud 项目。

    转到“项目选择器”

  3. 确保您的 Cloud 项目已启用结算功能。 了解如何确认您的项目是否已启用结算功能

  4. 启用 Dataproc Metastore API。

    启用 API

访问权限控制机制

  • 如需创建服务,您必须具有一个包含 metastore.services.create IAM 权限的 IAM 角色。Dataproc Metastore 特定角色 roles/metastore.adminroles/metastore.editor 包含创建权限。

  • 您也可以使用 roles/ownerroles/editor 旧版角色向用户或群组授予创建权限。

如需了解详情,请参阅 Dataproc Metastore IAM 和访问权限控制

创建 Dataproc Metastore 服务

以下说明介绍了如何使用 Google Cloud Console、gcloud 工具或 Dataproc Metastore API 创建 Dataproc Metastore 服务。

控制台

  1. 在 Cloud Console 中,打开创建服务页面:

    在 Cloud Console 中打开“创建服务”页面

    “创建服务”页面
  2. 服务名称字段中,输入 example-service

  3. 选择数据位置。如需了解如何选择区域,请参阅可用区域

  4. 对于其他服务配置选项,请使用提供的默认值。

  5. 要创建并启动该服务,请点击提交按钮。

您的新服务会显示在“服务”列表中。

gcloud

运行以下 gcloud metastore services create 命令创建服务:

 gcloud metastore services create example-service \
     --location=LOCATION
 

LOCATION 替换为要在其中创建服务的 Compute Engine 区域。确保 Dataproc Metastore 可用在该位置可用。

REST

按照 API 说明使用 APIs Explorer 创建服务

创建使用服务的 Dataproc 集群

创建服务后,您可以创建并附加使用该服务作为其 Hive Metastore 的 Dataproc 集群。

Dataproc 映像与 Dataproc Metastore Hive 版本必须兼容。检查以下映像版本控制页面,以确保 Hive 版本兼容:

如需了解详情,请参阅 Dataproc 映像版本列表

控制台

  1. 在 Cloud Console 中,打开 Dataproc 创建集群页面:

    打开 Cloud Console 中的“创建集群”页面

  2. 集群名称字段中,输入 example-cluster

  3. 区域可用区菜单上,为集群选择区域和可用区。您可以选择不同的区域,以在指定的区域内隔离资源和元数据存储位置。如果您选择不同的区域,则可以为可用区选择“无偏好”,以便让 Dataproc 为您的集群选择所选区域内的可用区(请参阅 Dataproc 自动选择可用区)。

  4. 将提供的默认值用于所有其他选项。

  5. 点击自定义集群标签页。

  6. 网络配置部分中,选择创建 Metastore 服务期间指定的同一网络。

  7. Dataproc Metastore 部分,选择 example-service

  8. 点击创建以创建集群。

新集群会显示在“集群”列表中。在集群准备好投入使用之前,集群状态会被列为“正在预配”,然后,其状态会更改为“正在运行”。

gcloud

运行以下 gcloud dataproc clusters create 命令以创建集群。

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

PROJECT_ID 替换为您在其中创建了 Dataproc Metastore 服务的项目的 ID。

LOCATION 替换为您为 Dataproc Metastore 服务指定的区域。

REST

按照 API 说明使用 API Explorer 创建集群

清理

为避免系统因本页中使用的资源向您的 Google Cloud 帐号收取费用,请按照以下步骤操作。

  1. 在 Cloud Console 中,转到管理资源页面。

    转到“管理资源”

  2. 如果您打算删除的项目已附加到某个组织,请展开名称列中的组织列表。
  3. 在项目列表中,选择要删除的项目,然后点击删除
  4. 在对话框中输入项目 ID,然后点击关闭以删除项目。

或者,您可以删除本教程中使用的资源:

  1. 删除 Dataproc Metastore 服务。

    控制台

    1. 在 Cloud Console 中,打开 Dataproc Metastore 页面:

      在 Cloud Console 中打开 Dataproc Metastore

    2. 通过选中相应的复选框,选择服务名称左侧的 example-service

    3. Dataproc Metastore 页面顶部,点击删除以删除该服务。

    4. 在对话框中,点击删除以确认删除。

    您的服务将不再出现在“服务”列表中。

    gcloud

    使用以下 gcloud metastore services delete 命令删除服务:

     gcloud metastore services delete example-service \
         --location=LOCATION
     

    LOCATION 替换为创建了服务的 Compute Engine 区域。

    REST

    按照 API 说明使用 APIs Explorer 删除服务

    所有删除操作都会立即成功执行。

  2. 删除 Dataproc Metastore 服务的 Cloud Storage 存储分区

  3. 删除使用 Dataproc Metastore 服务的 Dataproc 集群

后续步骤