此页面由 Cloud Translation API 翻译。

Dataproc Metastore 管理控制台

本页介绍了如何使用 Dataproc Metastore 管理控制台。

管理控制台为您提供了一个集中式工具，可用于检查和管理存储在 Dataproc Metastore 服务中的元数据，而无需连接到 Dataproc 集群或 Hive 实例。不过，您可以使用 gcloud CLI 或 Dataproc Metastore API 管理元数据。

例如，您可以使用管理员界面直接对后端元数据运行 SQL 查询，以提取特定表名称。与典型工作流相比，此流程需要遵循的步骤更少，例如创建 Dataproc 集群、使用 SSH 连接到集群、启动 Hive 实例，最后运行查询（例如 SELECT * FROM table_name）。

因此，管理控制台可以帮助您节省时间，并减少检索数据所需的资源量。 Google Cloud

准备工作

所需的角色

如需获得使用 Dataproc Metastore 管理员界面所需的权限，请让您的管理员根据最小特权原则为您授予项目的以下 IAM 角色：

如需查询 Dataproc Metastore 元数据，请执行以下操作：用户账号或服务账号的元数据查询管理员 (roles/metastore.metadataQueryAdmin)
如需更改元数据（包括数据库、表和分区）的资源位置，或将表移至其他数据库，请执行以下操作：
- 用户账号或服务账号的元数据更改管理员 (roles/metastore.metadataMutateAdmin)
- 用户账号或服务账号上的 Dataproc Metastore 编辑器 (roles/metastore.editor)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含使用 Dataproc Metastore 管理控制台所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

使用 Dataproc Metastore 管理控制台需要以下权限：

如需查询 Dataproc Metastore 元数据，请执行以下操作： metastore.services.queryMetadata
如需更改或移动 Dataproc Metastore 表，请执行以下操作： metastore.services.mutateMetadata

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需详细了解特定 Dataproc Metastore 角色和权限，请参阅 Dataproc Metastore IAM 概览。

支持的管理员操作

您只能使用 gcloud CLI 或 Dataproc Metastore API 运行管理控制台操作。Google Cloud 控制台不支持管理控制台操作。

管理员界面支持以下操作。

只读操作。
- 查询元数据。
警告：请仅以交互方式运行只读查询。请勿对生产关键流程自动执行或运行非交互式只读查询。如果底层数据库架构在未通知的情况下发生更改，运行非 Interactive 查询可能会导致问题。
读写操作。
- 更改元数据（包括数据库、表和分区）的资源位置。
- 更改表属性，例如自定义键值对。
- 将表移至其他数据库。

查询元数据

借助此操作，您可以使用 SQL 查询在数据库中查找元数据信息。运行查询后，结果会被转储到您的工件 Google Cloud 存储分区中。

在运行此操作之前，请注意以下注意事项：

支持的操作仅包括 read-only MySQL 或 Spanner 查询。如果查询尝试修改数据，则操作会失败。
输出文件最多包含 1,000 行。此配置无法更改。
系统不会自动删除输出文件。而是必须手动从您的 Google Cloud 存储分区中删除它们。如果不删除这些文件，您可能会产生额外的存储费用。

gcloud CLI

如需查询元数据，请运行以下 gcloud metastore services query-metadata 命令：
```
gcloud metastore services query-metadata SERVICE \
  --location=LOCATION \
  --query=QUERY
```
替换以下内容：
- SERVICE：您的 Dataproc Metastore 服务的名称。
- LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
- QUERY：用于定位元数据的 SQL 查询。
  - 如果您使用的是 MySQL 数据库，请使用常规 MySQL 查询。
  - 如果您使用的是 Spanner 数据库，请使用 GoogleSQL 查询。
在工件 Google Cloud 存储分区中查看输出文件。

REST

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -X POST -d '{"query": "QUERY"}' \
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:queryMetadata

替换以下内容：

QUERY：您用于定位元数据的 SQL 查询。
- 如果您使用的是 MySQL 数据库，请使用常规 MySQL 查询。
- 如果您使用的是 Spanner 数据库，请使用 GoogleSQL 查询。
PROJECT_ID：Dataproc Metastore 服务所在的 Google Cloud 项目 ID。
SERVICE：您的 Dataproc Metastore 服务的名称。
LOCATION：您的 Dataproc Metastore 所在的区域。

以下示例展示了一个示例命令，该命令会从名为 DBS 的数据库运行 select * 查询。

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" -X POST -d  '{"query": "select * from DBS;"}' \
  https://metastore.googleapis.com/projects/dpms/locations/us-central1/services/dpms1:queryMetadata

解读查询元数据操作的输出

当您首次运行查询元数据命令时，Dataproc Metastore 会自动在工件存储分区中创建一个文件夹。 Google Cloud Google Cloud 此文件夹名为 query-results。每次成功执行查询（API 调用）后，系统都会在 query-results 文件夹中创建一个新文件夹（使用随机生成的 UUID 进行命名）。

每个新文件夹都包含一个包含查询结果的 result manifest 文件。此文件夹的位置会在 API 调用的响应中返回。

例如，在响应中，resultManifestUri 字段包含文件的位置。

"response": {
    "@type": "type.googleapis.com/google.cloud.metastore.QueryMetadataResponse",
    "resultManifestUri": "gs://gcs-bucket-6a3638b8-e319-46363-ad33-e632a5e/query-results/800156f5-2d13-4b80-bec3-2345a9e880f6/result-manifest"
  }

result manifest 文件的输出类似于以下内容：

{
  "status": {
    "code": 0,
    "message": "Query results are successfully uploaded to cloud storage",
    "details": []
  },
  "filenames": ["result-001"]
}

结果清单文件详情：

status 字段显示查询是成功还是失败。
如果查询执行成功，filenames 字段会列出创建的所有文件。这些文件与 result manifest 文件位于同一文件夹中。
如果查询失败，details 字段会显示错误消息。

更改元数据的资源位置

通过此操作，您可以更改数据库、表或分区的资源位置。

运行此命令时，它只会更新父目录或相应的元数据资源。此命令不会将任何现有数据传输到新位置。

gcloud CLI

如需更改元数据的资源位置，请运行以下 gcloud metastore services alter-metadata-resource-location 命令：
```
gcloud metastore services alter-metadata-resource-location SERVICE \
  --location=LOCATION \
  --resource_name=RESOURCE_NAME \
  --location_uri=LOCATION_URI
```
替换以下内容：
- SERVICE：您的 Dataproc Metastore 服务的名称。
- LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
- RESOURCE_NAME：要更改的数据库、表或分区的名称。
- LOCATION_URI：RESOURCE_NAME 内容的新 Cloud Storage 路径。此值是您要将元数据资源位置移到的路径。此路径必须以 gs:// 开头。例如 gs://bucket/object。
验证资源位置更改是否成功。

REST

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"resource_name": "RESOURCE_NAME", "location_uri":"LOCATION_URI"}' \
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:alterLocation

替换以下内容：

PROJECT_ID：Dataproc Metastore 服务所在的 Google Cloud 项目 ID。
SERVICE：您的 Dataproc Metastore 服务的名称。
LOCATION：您的 Dataproc Metastore 所在的区域。
RESOURCE_NAME：要更改的数据库、表或分区的名称。
LOCATION_URI：RESOURCE_NAME 内容的新 Cloud Storage 路径。此值是您要将元数据资源位置移到的路径。此路径必须以 gs:// 开头。例如 gs://bucket/object。

以下示例展示了一个示例命令，该命令会将名为 test-table2 的表移至新的 Cloud Storage 存储分区。

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -X POST -d  '{"resource_name": "databases/testdb1/tables/test-table2",
   "location_uri":"gs://gcs-bucket-dpms1-9425bd83-b794-4f1c-9e79-2d833f758cc1/empty"}'
   https://metastore.googleapis.com/projects/dpms/locations/us-central1/services/dpms1:alterLocation

修改表属性

通过此操作，您可以更改表的属性，例如您用于存储数据的自定义键值对。例如，您可以将 properties.customerID_1 的键值对更改为 properties.customerID_2。

gcloud CLI

如需更改表属性，请运行以下 gcloud metastore services alter-table-properties 命令：
```
gcloud metastore services alter-table-properties SERVICE \
  --location=LOCATION \
  --table-name=TABLE_NAME \
  --update-mask=UPDATE_MASK \
  --properties=PROPERTIES
```
替换以下内容：
- SERVICE：您的 Dataproc Metastore 服务的名称。
- LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
- TABLE_NAME：包含要更改的媒体资源的表的名称，格式为 databases/{database_id}/tables/{table_id}。
- UPDATE_MASK：您要更新的现有媒体资源价值。使用以英文逗号分隔的列表来描述键值对，例如 properties.1,properties.2,properties.3,...。
- PROPERTIES：表的新属性。使用英文逗号分隔列表来描述键值对。例如 a=1,b=2,c=3,...。您在此处列出的值会覆盖 UPDATE_MASK 中的值。

REST

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"table_name": "TABLE_NAME", "update_mask":"UPDATE_MASK", "properties":PROPERTIES}'\
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:alterTableProperties

替换以下内容：

SERVICE：您的 Dataproc Metastore 服务的名称。
LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
TABLE_NAME：包含要更改的媒体资源的表的名称，格式为 databases/{database_id}/tables/{table_id}。
UPDATE_MASK：要更新的现有房源值。使用以英文逗号分隔的列表来描述键值对，例如 properties.1,properties.2,properties.3,...。
PROPERTIES：表的新属性。使用以英文逗号分隔的列表来描述键值对，例如 a=1,b=2,c=3,...。您在此处列出的值会覆盖 UPDATE_MASK 中的值。

以下示例展示了一个用于更改名为 test-table 的表的表格属性的命令示例。在此示例中，现有键值对 properties.customerID_1 会更新为新值 properties.customerID_2

  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json"
   -X POST -d  '{"table_name": "databases/default/tables/test-table", "update_mask":{"paths":"properties.customerID_1"}, "properties":{"customerID_1":"customerID_2"}}' https://metastore.googleapis.com/projects/dpms-p

将表移至其他数据库

通过此操作，您可以将内部表（受管理的表）移至其他数据库。在这种情况下，系统会同时移动数据库父目录及其数据。

您无法移动存储在外部表中的数据。

gcloud CLI

如需将表移至其他数据库，请运行以下 gcloud metastore services move-table-to-database 命令：
```
gcloud metastore services move-table-to-database SERVICE \
  --location=LOCATION \
  --db_name=DB_NAME \
  --table_name=TABLE_NAME \
  --destination_db_name=DESTINATION_DB_NAME
```
替换以下内容：
- SERVICE：您的 Dataproc Metastore 服务的名称。
- LOCATION：您的 Dataproc Metastore 服务所在的 Google Cloud 区域。
- DB_NAME：包含要移动的表的源数据库的名称。
- TABLE_NAME：您要移动的表的名称。
- DESTINATION_DB_NAME：您要将表移到的目标新数据库的名称。
验证表更改是否成功。

REST

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"table_name": "TABLE_NAME", "db_name": "DB_NAME", "destination_db_name": "DESTINATION_DB_NAME"}'\
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:moveTableToDatabase

替换以下内容：

PROJECT_ID：您的 Dataproc Metastore 服务所在的 Google Cloud 项目 ID。
SERVICE：您的 Dataproc Metastore 服务的名称。
LOCATION：您的 Dataproc Metastore 所在的区域。
DB_NAME：包含要移动的表的源数据库的名称。
TABLE_NAME：您要移动的表的名称。
DESTINATION_DB_NAME：要将表移到的目标新数据库的名称。

以下示例展示了一个示例命令，该命令会将名为 testdb1 的数据库移至名为 testdb2 的其他数据库。

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
 -H "Content-Type: application/json"
 -X POST -d  '{"table_name": "testtb1", "db_name": "testdb1",
 "destination_db_name": "testdb2"}' https://metastore.googleapis.com/projects/dpms/locations/asia-northeast2/services/dpms1:moveTableToDatabase

Dataproc Metastore 管理控制台

准备工作

所需的角色

所需权限

支持的管理员操作

查询元数据

gcloud CLI

REST

解读查询元数据操作的输出

更改元数据的资源位置

gcloud CLI

REST

修改表属性

gcloud CLI

REST

将表移至其他数据库

gcloud CLI

REST

后续步骤