辅助版本

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

本页面介绍了如何将辅助版本功能与 Dataproc Metastore 搭配使用。

借助辅助版本,您可以将 Hive Metastore 的两个不同版本连接到单个 Dataproc Metastore 服务。此配置可让您支持需要在不同的 Hive Metastore 版本上运行的多个数据处理引擎。

例如,使用辅助版本,您可以将多个 Dataproc 集群连接到同一 Dataproc Metastore 服务。在此配置中,一个集群可以运行 Dataproc 版本 2.0,而另一个集群可以运行 Dataproc 版本 1.5。Dataproc 2.0 集群可以连接到公开 Hive 3.1.2 版本的端点,而 Dataproc 1.5 集群可以连接到公开 Hive 2.3.6 版本的端点。

辅助版本的工作原理

启用辅助版本时,Dataproc Metastore 会为每个 Hive Metastore 版本公开一个单独的端点。不过,这两个端点会继续共享相同的元数据数据库。

请注意,此功能无法让您通过单个 Dataproc Metastore 服务使用一组不同的元数据。而是可扩展并增强服务之间的兼容性。

注意事项

  • 您只能为每个 Dataproc Metastore 服务创建一个辅助版本。

  • 辅助版本必须配置为使用低于主要版本的 Hive Metastore 版本。

  • 辅助版本不支持以下功能:

    与元数据相关的功能(导入/导出/备份/恢复)只能用于主要版本,因为两个版本之间的后端元数据是共享的。

  • 某些 Hive 方法可能在辅助版本和主要版本之间不兼容。这种兼容性取决于您使用的主要版本和辅助版本的 Hive 版本以及 Hive 版本兼容的方法。

  • 辅助版本会维护一个与主要版本不同的日志文件。如需调试 Hive Metastore 问题,您可以使用 Cloud Logging

版本间的共享属性

创建辅助版本时,某些属性是共享的,并且在辅助版本和主要版本之间保持通用。 其他属性则不可共享,并且两个版本之间是分开的。

下表列出了这些差异。

属性 常用 拆分
端点
Hive 配置替换*
Kerberos 配置
端点协议 (Thrift/gRPC)
旧端口
工件 Cloud Storage 存储桶
层级
维护时段
发布版本
加密配置
数据库类型
Data Catalog 同步切换开关
请求数指标

* Hive 配置替换在辅助版本和主要版本之间保持独立。不过,辅助版本引用了替换的合并列表(primary+auxiliary)。在这种情况下,辅助配置的优先级高于主要配置。

准备工作

必需的角色

如需获取创建使用辅助版本的 Dataproc Metastore 所需的权限,请让管理员根据最小权限原则为您的项目授予以下 IAM 角色:

  • 授予对 Dataproc Metastore 资源 (roles/metastore.editor) 的完全控制权
  • 授予对所有 Dataproc Metastore 资源的完整访问权限,包括 IAM 政策管理 (roles/metastore.admin)

如需详细了解如何授予角色,请参阅管理访问权限

此预定义角色包含 metastore.services.create 权限,创建使用辅助版本的 Dataproc Metastore 需要该权限。您也可以使用自定义角色或其他预定义角色来获取此权限。

如需详细了解特定的 Dataproc Metastore 角色和权限,请参阅使用 IAM 管理 Dataproc 访问权限

为新服务创建辅助版本

以下示例展示了启用辅助版本的步骤的简化版本。如需查看您必须遵循的整个过程的完整分步说明,请参阅创建 Dataproc Metastore

控制台

  1. 在 Google Cloud Console 中,打开 Dataproc Metastore 页面:

    打开 Dataproc Metastore

  2. Dataproc Metastore 页面顶部,点击创建按钮。

    此时会打开创建服务页面。

  3. Auxiliary version config 下,启用辅助版本。

  4. 点击 Add auxiliary Version

    1. 输入辅助版本的名称。

    2. 为您的辅助版本选择一个版本。

    3. 可选:要将映射应用于辅助版本,请点击 + 添加覆盖设置

    4. 点击完成

  5. 根据需要为服务选择其余配置

  6. 点击提交

gcloud CLI

  1. 如需创建具有辅助版本的 Dataproc Metastore 服务,请运行以下 gcloud beta metastore services create 命令之一:

    gcloud beta metastore services create SERVICE \
        --location=LOCATION \
        --auxiliary-versions=AUXILIARY_VERSIONS, ...
    

    gcloud beta metastore services create SERVICE \
        --location=LOCATION \
        --auxiliary-versions-from-file=AUXILIARY_VERSIONS_FROM_FILE
    

    请替换以下内容:

    • SERVICE:您的新 Dataproc Metastore 服务的名称。
    • LOCATION:要在其中创建 Dataproc Metastore 服务的区域。
    • AUXILIARY_VERSIONS:要为您的辅助版本部署的 Hive Metastore 版本列表(以英文逗号分隔)。目前仅支持一个辅助版本。请使用以下格式:"2.3.6"
    • AUXILIARY_VERSIONS_FROM_FILE:包含辅助版本配置的 YAML 文件的路径。如需了解详情并查看示例,请参阅 SDK 文档
  2. 验证创建操作是否成功。

curl

如需创建具有辅助版本的 Dataproc Metastore 服务,请使用 create 方法。

curl -X POST -s -i \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
     -H "Content-Type:application/json" \
     https://metastore.googleapis.com/v1beta/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID

请替换以下内容:

  • SERVICE_ID:您的新 Dataproc Metastore 服务的名称。
  • PROJECT_ID:要在其中创建 Dataproc Metastore 服务集群的 Google Cloud 项目 ID。
  • LOCATION:您的 Dataproc Metastore 所在的区域。
  • AUX_VERSIONS:要部署的辅助 Hive Metastore 版本列表(以英文逗号分隔)。目前仅支持一个辅助版本。

更新现有服务的辅助版本

以下说明介绍了如何使用辅助版本更新现有 Dataproc Metastore 服务。

运行更新操作时,您可以完成以下任务:

  • 添加新的辅助版本。
  • 删除现有的辅助版本。
  • 添加或修改现有的辅助版本。

控制台

  1. 在 Google Cloud Console 中,打开 Dataproc Metastore 页面:

    打开 Dataproc Metastore

  2. Dataproc Metastore 页面上,点击要更新的服务的服务名称。

    服务详细信息页面会打开。

  3. 配置标签页上,点击修改

    系统会打开修改服务页面。

  4. Auxiliary version config 部分中,点击切换开关以启用或停用辅助版本。

    您可以完成以下任务:

    1. 如需删除现有的辅助版本,请点击删除

    2. 如需添加新的辅助版本,请点击添加辅助版本

    3. 要将替换映射应用于辅助版本,请点击 + 添加替换值

  5. 点击提交

gcloud CLI

  1. 如需使用辅助版本更新 Dataproc Metastore 服务,请运行以下 gcloud beta metastore services update 命令之一:

    gcloud beta metastore services update SERVICE \
       --location=LOCATION \
       --add-auxiliary-versions=AUXILIARY_VERSIONS, ...
    

    gcloud beta metastore services update SERVICE \
       --location=LOCATION \
       --update-auxiliary-versions-from-file=AUXILIARY_VERSIONS_FROM_FILE
    

    请替换以下内容:

    • SERVICE:您的 Dataproc Metastore 服务的名称。
    • LOCATION:您的 Dataproc Metastore 所在的区域。
    • AUXILIARY_VERSIONS:要部署的辅助 Hive Metastore 版本列表(以英文逗号分隔)。
    • AUXILIARY_VERSIONS_FROM_FILE:包含辅助版本配置的 YAML 文件的路径;如需了解详情和示例,请参阅 SDK 文档
  2. 验证更新是否成功。

curl

如需使用辅助版本更新 Dataproc Metastore 服务,请使用 patch 方法。

curl -X PATCH -s -i \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
   -H "Content-Type:application/json" \
   https://metastore.googleapis.com/v1beta/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions

请替换以下内容:

  • SERVICE_ID:您的 Dataproc Metastore 服务的名称。
  • PROJECT_ID:要在其中创建 Dataproc Metastore 服务集群的 Google Cloud 项目 ID。
  • LOCATION:您的 Dataproc Metastore 所在的区域。
  • AUX_VERSIONS:要部署的辅助 Hive Metastore 版本列表(以英文逗号分隔)。

后续步骤