Hive Metastore

Dataproc Metastore 是在 Google Cloud 上运行的全代管式无服务器 Apache Hive Metastore (HMS)，具备自动修复功能，

为了全面管理您的元数据，Dataproc Metastore 会将您的数据映射到 Apache Hive 表。

支持的 Apache Hive 版本

Dataproc Metastore 仅支持特定版本的 Apache Hive。如需了解详情，请参阅 Hive 版本政策。

Hive 如何处理元数据

由于 Dataproc Metastore 是 Hive Metastore，因此请务必了解它如何管理元数据。

默认情况下，所有 Hive 应用都可以具有代管式内部表或非代管式外部表。这意味着，您存储在 Dataproc Metastore 服务中的元数据可以同时存在于内部表和外部表中。

修改数据时，Dataproc Metastore 服务 (Hive) 会以不同方式处理内部和外部表。

  • 内部表。管理元数据和表数据。
  • 外部表。仅管理元数据。

例如，如果使用 DROP TABLE Hive SQL 语句删除表定义：

drop table foo

  • 内部表。Dataproc Metastore 会删除所有元数据。它还会删除与表关联的文件。

  • 外部表。Dataproc Metastore 仅删除元数据。它会保留与表关联的数据。

Hive 仓库目录

Dataproc Metastore 使用 Hive 仓库目录来管理您的内部表。Hive 仓库目录是存储实际数据的位置。

当您使用 Dataproc Metastore 服务时，默认的 Hive 仓库目录是 Cloud Storage 存储桶。Dataproc Metastore 仅支持将 Cloud Storage 存储分区用于仓库目录。相比之下，这与本地 HMS 不同，在本地 HMS 中，Hive 仓库目录通常指向本地目录。

每次创建 Dataproc Metastore 服务时，系统都会自动为您创建此存储桶。您可以通过在 hive.metastore.warehouse.dir 属性上设置 Hive Metastore 配置替换来更改此值。

工件 Cloud Storage 存储分区

工件存储桶用于存储您的 Dataproc Metastore 工件，例如导出的元数据和代管式内部表数据。

创建 Dataproc Metastore 服务时，系统会在您的项目中自动为您创建 Cloud Storage 存储桶。默认情况下，工件存储桶和仓库目录均指向同一存储桶。您无法更改工件存储桶的位置，但您可以更改 Hive 仓库目录的位置。

工件存储桶位于以下位置：

  • gs://your-artifacts-bucket/hive-warehouse.
  • 例如 gs://gcs-your-project-name-0825d7b3-0627-4637-8fd0-cc6271d00eb4。

访问 Hive 仓库目录

自动为您创建存储桶后，请确保您的 Dataproc Metastore 虚拟机服务帐号有权访问 Hive 仓库目录。如需访问仓库目录，请使用 roles/storage.objectAdmin 角色授予 Dataproc Metastore 虚拟机服务代理对存储桶的存储对象的读写权限。此角色必须在存储桶级别或更高级别设置。

查找 Hive 仓库目录

  1. 打开 Dataproc Metastore 页面。

  2. 点击相应服务的名称。

    系统会打开服务详情页面。

  3. 在配置表中，找到 Metastore config override（Metastore 配置覆盖）> hive.metastore.warehouse.dir。

  4. 找到以 gs:// 开头的值。

    此值是您的 Hive 仓库目录的位置。

    hive.metastore.warehouse.dir 值

更改 Hive 仓库目录

如需将您自己的 Cloud Storage 存储桶与 Dataproc Metastore 搭配使用，请将 Hive Metastore 配置替换设置为指向新的存储桶位置。

如果您更改默认仓库目录，请遵循以下建议。

  • 请勿使用 Cloud Storage 存储桶根目录 (gs://mybucket) 存储 Hive 表。

  • 确保您的 Dataproc Metastore 虚拟机服务帐号有权访问 Hive 仓库目录。

  • 为获得最佳结果，请使用与您的 Dataproc Metastore 服务位于同一区域的 Cloud Storage 存储桶。虽然 Dataproc Metastore 允许跨区域存储分区，但共置资源的性能更好。例如，欧盟多区域存储桶不适合与 us-central1 服务搭配使用。跨区域访问会导致延迟时间更长、缺乏区域故障隔离，并且还会产生跨区域网络带宽费用。

如需更改 Hive 仓库目录，请执行以下操作：

  1. 打开 Dataproc Metastore 页面。

  2. 点击相应服务的名称。

    系统会打开服务详情页面。

  3. 在配置表中，找到 Metastore config override > hive.metastore.warehouse.dir 部分。

  4. 将 hive.metastore.warehouse.dir 值更改为新存储桶的位置。例如 gs://my-bucket/path/to/location。

删除存储桶

删除 Dataproc Metastore 服务不会自动删除 Cloud Storage 工件存储桶。您的存储桶不会自动删除，因为它可能包含有用的服务后数据。如需删除您的存储桶，请运行 Cloud Storage 删除操作。

后续步骤