更新 Dataproc Metastore 服务

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

本页面介绍了如何更新 Dataproc Metastore 服务。

您可以更新 Dataproc Metastore 服务以更改配置设置,或启用或停用可选功能。

准备工作

所需的角色

如需获取更新 Dataproc Metastore 服务所需的权限,请让管理员根据最小权限原则为您的项目授予以下 IAM 角色:

  • 授予对 Dataproc Metastore 资源 (roles/metastore.editor) 的完全控制权
  • 授予对所有 Dataproc Metastore 资源的完整访问权限,包括 IAM 政策管理 (roles/metastore.admin)

如需详细了解如何授予角色,请参阅管理访问权限

此预定义角色包含更新 Dataproc Metastore 服务所需的 metastore.services.update 权限。您也可以使用自定义角色或其他预定义角色来获取此权限。

如需详细了解 Dataproc Metastore 角色和权限,请参阅 Dataproc Metastore IAM 概览

关于更新服务

您可以更新以下 Dataproc Metastore 参数。

  • 端口号。更新 Apache Thrift 接口的 TCP 端口号。
  • 服务层级。在开发者服务层级或企业服务层级之间切换。这些层级会影响服务的容量。
  • Data Catalog 同步。开启或关闭 Data Catalog 同步功能。
  • 维护窗口。更改维护窗口的频率,包括星期几时段
  • Kerberos。启用或停用 Kerberos 身份验证。如果先前已启用,您可以更新 Kerberos 配置文件。
  • Hive Metastore 配置。更新 Hive 仓库目录的位置。
  • 辅助版本配置。启用、停用或添加其他辅助版本。
  • 标签。添加或移除描述您的元数据的可选标签。

更新服务

在运行更新之前,请注意以下注意事项:

  • 一次只能运行一项更新作业(每项 Dataproc Metastore 服务)。
  • 您可以在单个更新作业中更新多个参数。
  • 在更新 Dataproc Metastore 时,您仍可以使用它。

更新成功后,Dataproc Metastore 会自动进入活跃状态。如果更新失败,Dataproc Metastore 服务将回滚到先前的正常运行状态。

以下说明介绍了如何更新 Dataproc Metastore 服务。

控制台

  1. 在 Google Cloud Console 中,打开 Dataproc Metastore 页面:

    打开 Dataproc Metastore

  2. Dataproc Metastore 页面上,点击要更新的服务的服务名称。

    服务详细信息页面会打开。

    “服务详细信息”页面
  3. 配置标签页上,点击修改

    系统会打开修改服务页面。

  4. 选择您要为服务更新的值。

  5. 点击提交

    返回 Dataproc Metastore 页面,验证您的服务已成功更新。

gcloud CLI

  1. 如需更新服务,请运行以下 gcloud metastore services update 命令:

    gcloud metastore services update SERVICE \
        --location=LOCATION \
        --port=PORT \
        --tier=TIER \
        --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
        --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
        --kerberos_principal=KERBEROS_PRINCIPAL \
        --keytab=KEYTAB \
        --krb5-config=KRB5_CONFIG \
        --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
        --clear-hive-metastore-configs \
        --remove-hive-metastore-configs=[KEY, ...] \
        --update-labels=[KEY=VALUE, ...] \
        --clear-labels \
        --remove-labels=[KEY, ...]
    

    请替换以下内容:

    • SERVICE:您的 Dataproc Metastore 服务的名称。
    • LOCATION:您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • PORT(可选):要与 Dataproc Metastore 服务搭配使用的 Thrift 接口的 TCP 端口。
    • TIER(可选):Dataproc Metastore 服务的层级容量。
    • MAINTENANCE_WINDOW_DAY(可选):服务窗口开始的星期几。
    • MAINTENANCE_WINDOW_HOUR(可选):服务窗口开始的时段。
    • KERBEROS_PRINCIPAL(可选):Keytab 和 KDC 中均存在的 Kerberos 主帐号。典型的正文格式为“primary/instance@REALM”,但不具有确切的格式。
    • KEYTAB(可选):Kerberos 密钥标签页文件,用于通过 Kerberos 密钥分发中心对服务主帐号进行身份验证。
    • KRB5_CONFIG(可选):krb5.config 文件指定 KDC 和 Kerberos 大区信息,其中包括 KDC 的位置以及大区和 Kerberos 应用的默认值。
    • [KEY, ...](可选):要更新的 Hive Metastore 配置。如果字段中存在某个变量,系统会更新其值。否则,会创建一个新变量。 如果设置了此标志,系统也会自动设置 -clear-hive-metastore-configs
    • [KEY, ...](可选):您要移除的 Hive Metastore 配置。
    • [KEY=VALUE, ...](可选):您要更新的标签或 Hive Metastore 键值对配置。
    • [KEY, ...](可选):您要移除的标签或 Hive Metastore 键值对配置。
  2. 验证更新是否成功。

REST

按照 API 说明使用 API Explorer 更新服务

更新 Hive Metastore 仓库配置

如果您的 Hive 仓库目录位于 Cloud Storage 上,您应设置 Metastore 配置覆盖。此替换会将您的特定数据仓库设置为 Dataproc Metastore 的默认仓库目录。

在设置此替换值之前,请确保您的 Dataproc Metastore 服务具有访问仓库目录的对象读写权限。如需了解详情,请参阅 Hive 仓库目录

以下说明介绍了如何更新 Hive Metastore 配置替换。

控制台

  1. 在 Google Cloud Console 中,打开 Dataproc Metastore 页面:

    打开 Dataproc Metastore

  2. Dataproc Metastore 页面上,点击要更新的服务的服务名称。

    服务详细信息页面会打开。

  3. 配置标签页上,点击修改

    系统会打开修改服务页面。

  4. Metastore 配置替换中,输入以下内容:

    • :输入以下值:hive.metastore.warehouse.dir
    • :仓库目录的 Cloud Storage 位置。例如:gs://my-bucket/path/to/location
  5. 点击提交

    返回 Dataproc Metastore 页面,验证您的服务已成功更新。

gcloud

  1. 如需更新服务,请运行以下 gcloud metastore services update 命令:

    gcloud metastore services update SERVICE \
        --location=LOCATION \
        --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
    

    请替换以下内容:

    • SERVICE:您的 Dataproc Metastore 服务的名称。
    • LOCATION:您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
    • CUSTOMER_DIR:仓库目录的 Cloud Storage 位置。例如:gs://my-bucket/path/to/location
  2. 验证更新是否成功。

后续步骤