更新 Dataproc Metastore 服务

本页面介绍了如何更新 Dataproc Metastore 服务。

您可以更新 Dataproc Metastore 服务以更改配置设置，或者启用或停用可选功能。

准备工作

所需的角色

如需获取更新 Dataproc Metastore 服务所需的权限，请让管理员根据最小权限原则向您授予项目的以下 IAM 角色：

如需详细了解如何授予角色，请参阅管理访问权限。

此预定义角色包含 metastore.services.update 权限，这是更新 Dataproc Metastore 服务所需的权限。

您也可以使用自定义角色或其他预定义角色来获取此权限。

如需详细了解特定的 Dataproc Metastore 角色和权限，请参阅 Dataproc Metastore IAM 概览。

关于更新服务

您可以更新以下 Dataproc Metastore 参数。

  • 端口号。更新 Apache Thrift 接口的 TCP 端口号。
  • 服务层级。在开发者服务层级或企业服务层级之间切换。这些层级会影响服务的容量。
  • Data Catalog 同步。开启或关闭 Data Catalog 同步功能。
  • 维护窗口。更改维护窗口的频率，包括星期几和时段。
  • Kerberos。启用或停用 Kerberos 身份验证。如果之前已启用，您可以更新 Kerberos 配置文件。
  • Hive Metastore 配置。更新 Hive 仓库目录的位置。
  • 辅助版本配置（预览版）。启用、停用或添加其他辅助版本。
  • 标签。添加或移除用于描述元数据的可选标签。
  • 缩放比例。更改缩放比例。您可以启用或停用自动伸缩，并更新最小或最大伸缩系数。

更新服务

在运行更新之前，请注意以下事项：

  • 一次只能运行一个更新作业（针对每项 Dataproc Metastore 服务）。
  • 您可以在单个更新作业中更新多个参数。
  • 在更新 Dataproc Metastore 时，您仍然可以使用它。

更新成功后，Dataproc Metastore 会自动进入活跃状态。如果更新失败，Dataproc Metastore 服务会回滚到先前的正常运行状态。

以下说明介绍了如何更新 Dataproc Metastore 服务。

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    打开 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击要更新的服务的服务名称。

    服务详细信息页面会打开。

    “服务详细信息”页面
    Dataproc Metastore 服务详情页面

  3. 在配置标签页上，点击修改。

    系统随即会打开修改服务页面。

  4. 选择要为服务更新的值。

  5. 点击提交。

    返回 Dataproc Metastore 页面，并验证您的服务是否已成功更新。

gcloud CLI

  1. 如需更新服务，请运行以下 gcloud metastore services update 命令：

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    替换以下内容：

    • SERVICE：您的 Dataproc Metastore 服务的名称。
    • LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • PORT（可选）：与 Dataproc Metastore 服务搭配使用的 Thrift 接口的 TCP 端口。
    • TIER：可选：Dataproc Metastore 服务的层级容量。
    • MAINTENANCE_WINDOW_DAY：可选：服务窗口期在星期几开始。
    • MAINTENANCE_WINDOW_HOUR（可选）：服务窗口期的开始时间。
    • KERBEROS_PRINCIPAL：可选：keytab 和 KDC 都存在的 Kerberos 主帐号。典型的主账号采用“primary/instance@REALM”这种形式，但没有确切的格式。
    • KEYTAB：可选：Kerberos keytab 文件用于向具有 Kerberos 密钥分发中心的服务正文进行身份验证。
    • KRB5_CONFIG（可选）：krb5.config 文件指定 KDC 和 Kerberos 大区信息，其中包括 KDC 的位置以及大区和 Kerberos 应用的默认值。
    • [KEY, ...]：可选：您要更新的 Hive Metastore 配置。如果此字段中存在变量，则其值会更新。否则，系统会创建一个新变量。 如果设置了此标志，系统也会自动设置 -clear-hive-metastore-configs。
    • [KEY, ...]（可选）：要移除的 Hive Metastore 配置。
    • [KEY=VALUE, ...]：可选：要更新的标签或 Hive Metastore 键值对配置。
    • [KEY, ...]：可选：要移除的标签或 Hive Metastore 键值对配置。

  2. 验证更新是否成功。

REST

按照 API 说明使用 API Explorer 更新服务。

更新 Hive Metastore 仓库配置

如果您的 Hive 仓库目录位于 Cloud Storage 上，则应设置 Metastore 配置替换。此替换将您的特定数据仓库设置为 Dataproc Metastore 的默认仓库目录

在设置此替换项之前，请确保您的 Dataproc Metastore 服务具有访问仓库目录的对象读写权限。如需了解详情，请参阅 Hive 仓库目录。

以下说明介绍了如何更新 Hive Metastore 配置替换。

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    打开 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击要更新的服务的服务名称。

    服务详细信息页面会打开。

  3. 在配置标签页上，点击修改。

    系统随即会打开修改服务页面。

  4. 在 Metastore 配置替换中，输入以下内容：

    • 键：输入以下值：hive.metastore.warehouse.dir。
    • 值：仓库目录的 Cloud Storage 位置。例如：gs://my-bucket/path/to/location。

  5. 点击提交。

    返回 Dataproc Metastore 页面，并验证您的服务是否已成功更新。

gcloud

  1. 如需更新服务，请运行以下 gcloud metastore services update 命令：

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    替换以下内容：

    • SERVICE：您的 Dataproc Metastore 服务的名称。
    • LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • CUSTOMER_DIR：仓库目录的 Cloud Storage 位置。例如 gs://my-bucket/path/to/location

  2. 验证更新是否成功。

后续步骤