快速入门:创建 Dataproc Metastore 服务和集群

创建 Dataproc Metastore 服务和集群

本页面介绍如何创建 Dataproc Metastore 服务以及使用该服务作为 Hive Metastore 的 Dataproc 集群。

开始前须知

  1. 登录您的 Google Cloud 帐号。如果您是 Google Cloud 新手,请创建一个帐号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金,用于运行、测试和部署工作负载。
  2. 在 Google Cloud Console 中的项目选择器页面上,选择或创建一个 Google Cloud 项目

    转到“项目选择器”

  3. 确保您的 Cloud 项目已启用结算功能。了解如何检查项目是否已启用结算功能

  4. 在 Google Cloud Console 中的项目选择器页面上,选择或创建一个 Google Cloud 项目

    转到“项目选择器”

  5. 确保您的 Cloud 项目已启用结算功能。了解如何检查项目是否已启用结算功能

  6. 启用 Dataproc Metastore API。

    启用 API

访问权限控制机制

  • 如需创建服务,您必须请求包含 metastore.services.create IAM 权限的 IAM 角色。Dataproc Metastore 特定角色 roles/metastore.adminroles/metastore.editor 包含创建权限。

  • 您可以使用 roles/ownerroles/editor 旧版角色为用户或组授予创建权限。

如需获取和设置 IAM 政策,您可以执行以下操作:

如需了解详情,请参阅 Dataproc Metastore IAM 和访问权限控制

创建 Dataproc Metastore 服务

以下说明演示了如何使用 Google Cloud Console、gcloud CLI 或 Dataproc Metastore API 创建 Dataproc Metastore 服务。

控制台

  1. 在 Cloud Console 中,打开创建服务页面:

    在 Cloud Console 中打开“创建服务”页面

    创建服务页面
  2. 服务名称字段中,输入 example-service

  3. 选择数据位置。 如需了解如何选择区域,请参阅 Cloud 位置

  4. 对于其他服务配置选项,请使用提供的默认值。

  5. 要创建并启动此服务,请点击提交按钮。

您的新服务会显示在“服务”列表中。

gcloud

运行以下 gcloud metastore services create 命令以创建服务:

 gcloud metastore services create example-service \
     --location=LOCATION
 

LOCATION 替换为要创建服务的 Compute Engine 地区。确保 Dataproc Metastore 位于该位置

REST

按照 API 说明使用 API Explorer 创建服务

创建使用该服务的 Dataproc 集群

创建服务后,您可以创建并附加使用该服务作为其 Hive Metastore 的 Dataproc 集群。

Dataproc 映像和 Dataproc Metastore Hive 版本必须兼容。请检查以下映像版本控制页面,以确保 Hive 版本兼容:

如需了解详情,请参阅 Dataproc 映像版本列表

控制台

  1. 在 Cloud Console 中,打开 Dataproc 创建集群页面:

    在 Cloud Console 中打开“创建集群”页面

  2. 集群名称字段中,输入 example-cluster

  3. 区域地区菜单上,为集群选择一个地区和区域。您可以选择一个不同的区域来隔离指定区域内的资源和元数据存储位置。如果选择不同的区域,您可以为该区域选择“无偏好”,让 Dataproc 为您的集群选择所选区域内的地区(请参阅 Dataproc 自动选择地区)。

  4. 对于所有其他选项,请使用提供的默认值。

  5. 点击自定义集群标签页。

  6. 网络配置部分,选择在 Metastore 服务创建期间指定的网络。

  7. Dataproc Metastore 部分中,选择 example-service

  8. 点击创建以创建集群。

您的新集群应显示在“集群”列表中。在集群准备就绪后,集群状态才会列为“正在预配”。其状态随后会变为“正在运行”。

gcloud

运行以下 gcloud dataproc clusters create 命令以创建集群:

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

PROJECT_ID 替换为您创建 Dataproc Metastore 服务的项目的项目 ID。

LOCATION 替换为您为 Dataproc Metastore 服务指定的区域。

REST

按照 API 说明使用 API Explorer 创建集群

清理

为避免系统因本页面使用的资源向您的 Google Cloud 帐号收取费用,请按照以下步骤操作。

  1. 在控制台中,打开管理资源页面。

    打开“管理资源”

  2. 如果您打算删除的项目已附加到某个组织,请展开名称列中的组织列表。
  3. 在项目列表中,选择要删除的项目,然后点击删除
  4. 在对话框中输入项目 ID,然后点击关闭以删除项目。

或者,您也可以删除本教程中使用的资源:

  1. 删除 Dataproc Metastore 服务。

    控制台

    1. 在 Cloud Console 中,打开 Dataproc Metastore 页面:

      在 Cloud Console 中打开 Dataproc Metastore

    2. 选中服务名称左侧的 example-service 复选框。

    3. Dataproc Metastore 页面顶部,点击删除以删除服务。

    4. 在对话框中,点击删除以确认删除。

    您的服务不会再显示在“服务”列表中。

    gcloud

    运行以下 gcloud metastore services delete 命令可删除服务:

     gcloud metastore services delete example-service \
         --location=LOCATION
     

    LOCATION 替换为创建了服务的 Compute Engine 地区。

    REST

    按照 API 说明,使用 API Explorer 删除服务

    所有删除操作都会立即成功。

  2. 删除 Dataproc Metastore 服务的 Cloud Storage 存储分区

  3. 删除使用 Dataproc Metastore 服务的 Dataproc 集群

后续步骤