更新 Dataproc Metastore 服务

本页面介绍了如何更新 Dataproc Metastore 服务。

您可以更新 Dataproc Metastore 服务，以更改配置设置，或启用或停用可选功能。

准备工作

所需的角色

要获得更新 Dataproc Metastore 服务所需的权限， 请让管理员授予您 基于最小权限原则，为您的项目分配以下 IAM 角色：

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色包含 metastore.services.update 权限 需要 更新 Dataproc Metastore 服务。

您也可以使用自定义角色或其他预定义角色来获取此权限。

如需详细了解特定 Dataproc Metastore 角色和权限，请参阅 Dataproc Metastore IAM 概览。

关于更新服务

您可以更新以下 Dataproc Metastore 参数。

  • 端口号。更新 Apache Thrift 接口的 TCP 端口号。
  • 服务层级。在开发者服务层级或企业版服务层级之间切换。这些层级会影响服务的容量。
  • Data Catalog 同步。开启或关闭 Data Catalog 同步功能。
  • 维护窗口。更改维护窗口的频率，包括星期几和时段。
  • Kerberos。启用或停用 Kerberos 身份验证。您可以更新 Kerberos 配置文件（如果之前已启用）。
  • Hive Metastore 配置。更新 Hive 仓库目录的位置。
  • 辅助版本配置（预览版）。启用、停用或添加其他辅助版本。
  • 标签。添加或移除用于描述元数据的可选标签。
  • 缩放比例。更改缩放比例。您可以启用或停用自动伸缩功能，并更新伸缩系数的下限或上限。

更新服务

在运行更新之前，请注意以下注意事项：

  • 一次只能运行一个更新作业（对于每项 Dataproc Metastore 服务）。
  • 您可以在单个更新作业中更新多个参数。
  • 在 Dataproc Metastore 更新时，您仍可使用它。

更新成功后，Dataproc Metastore 将自动进入活动状态。如果更新失败 那么 Dataproc Metastore 服务将回滚到之前的正常运行状态。

以下说明介绍了如何更新 Dataproc Metastore 服务。

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    打开 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击 您要更新的服务

    服务详细信息页面会打开。

    “服务详细信息”页面
    Dataproc Metastore 服务详情页面

  3. 在配置标签页上，点击修改。

    系统随即会打开修改服务页面。

  4. 选择要为服务更新的值。

  5. 点击提交。

    返回 Dataproc Metastore 页面，然后 验证您的服务是否已成功更新。

gcloud CLI

  1. 如需更新服务，请运行以下 gcloud metastore services update 命令：

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    替换以下内容：

    • SERVICE：您的 Dataproc Metastore 服务的名称。
    • LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • PORT（可选）：用于 Dataproc Metastore 服务的 Thrift 接口的 TCP 端口。
    • TIER（可选）：Dataproc Metastore 服务的层级容量。
    • MAINTENANCE_WINDOW_DAY：可选：星期几 启动服务。
    • MAINTENANCE_WINDOW_HOUR（可选）：一天中的时段 启动服务。
    • KERBEROS_PRINCIPAL（可选）：Kerberos Keytab 和 KDC 中都存在的主账号。典型的主账号格式为“primary/instance@REALM”，但系统没有规定确切的格式。
    • KEYTAB（可选）：一个 Kerberos keytab 文件， 用于通过 Kerberos 密钥对服务正文进行身份验证 分发中心。
    • KRB5_CONFIG（可选）：krb5.config 文件指定 KDC 和 Kerberos 大区信息，其中包括 KDC 的位置以及大区和 Kerberos 应用的默认值。
    • [KEY, ...]（可选）：Hive Metastore 要更新的配置 如果此字段中存在变量，则更新其值。否则，系统会创建一个新变量。 如果设置此标志，系统也会自动设置 -clear-hive-metastore-configs。
    • [KEY, ...]（可选）：Hive Metastore 要移除的配置
    • [KEY=VALUE, ...]（可选）：标签或 Hive Metastore 键值对配置 要更新的广告系列。
    • [KEY, ...]（可选）：标签或 Hive Metastore 键值对配置 删除的数据

  2. 验证更新是否成功。

REST

按照 API 说明使用 API Explorer 更新服务。

更新 Hive Metastore 仓库配置

如果您的 Hive 仓库目录位于 Cloud Storage 上，则应设置 Metastore 配置替换。此替换项会将您的特定数据仓库设置为 Dataproc Metastore 的默认仓库目录

在设置此替换之前，请确保您的 Dataproc Metastore 服务 具有访问仓库目录的对象读写权限。 如需了解详情，请参阅 Hive 仓库目录。

以下说明介绍了如何更新 Hive Metastore 配置替换项。

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    打开 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击 更新服务。

    服务详细信息页面会打开。

  3. 在配置标签页上，点击修改。

    系统随即会打开修改服务页面。

  4. 在 Metastore 配置替换中，输入以下内容：

    • 键：输入以下值：hive.metastore.warehouse.dir。
    • 值：仓库目录的 Cloud Storage 位置。例如：gs://my-bucket/path/to/location。

  5. 点击提交。

    返回 Dataproc Metastore 页面，然后 验证您的服务是否已成功更新。

gcloud

  1. 如需更新服务，请运行以下 gcloud metastore services update 命令：

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    替换以下内容：

    • SERVICE：您的 Dataproc Metastore 服务的名称。
    • LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • CUSTOMER_DIR：仓库目录的 Cloud Storage 位置。例如 gs://my-bucket/path/to/location

  2. 验证更新是否成功。

后续步骤