- 资源:服务
- JSON 表示法
- HiveMetastoreConfig
- KerberosConfig
- Secret
- EndpointProtocol
- AuxiliaryVersionConfig
- NetworkConfig
- 使用方
- 状态
- 层级
- MetadataIntegration
- DataCatalogConfig
- MaintenanceWindow
- MetadataManagementActivity
- MetadataExport
- 状态
- 恢复
- 状态
- RestoreType
- ReleaseChannel
- EncryptionConfig
- DatabaseType
- TelemetryConfig
- LogFormat
- ScalingConfig
- InstanceSize
- AutoscalingConfig
- LimitConfig
- ScheduledBackup
- LatestBackup
- 状态
- 方法
资源:服务
用于处理元数据查询的托管式 Metastore 服务。
JSON 表示法 |
---|
{ "name": string, "createTime": string, "updateTime": string, "labels": { string: string, ... }, "network": string, "endpointUri": string, "port": integer, "state": enum ( |
字段 | |
---|---|
name |
不可变。元存储空间服务的相对资源名称,格式如下:
|
createTime |
仅限输出。Metastore 服务的创建时间。 时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例: |
updateTime |
仅限输出。上次更新元数据存储服务的时间。 时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例: |
labels |
Metastore 服务的用户定义标签。 包含一系列 |
network |
不可变。可以在其中访问实例的 VPC 网络的相对资源名称。其格式如下:
|
endpointUri |
仅限输出。用于访问 Metastore 服务的端点的 URI。 |
port |
用于访问 Metastore 服务的 TCP 端口。默认端口:9083。 |
state |
仅限输出。元存储空间服务的当前状态。 |
stateMessage |
仅限输出。有关 Metastore 服务当前状态的更多信息(如果有)。 |
artifactGcsUri |
仅限输出。一个 Cloud Storage URI(以 |
tier |
服务层级。 |
metadataIntegration |
可选。用于定义 Metastore 元数据应如何与外部服务和系统集成的设置。 |
maintenanceWindow |
Metastore 服务的一小时维护窗口。这用于指定何时可以重启服务以进行维护(以世界协调时间 [UTC] 为单位)。使用 SPANNER 数据库类型的服务不需要维护时间窗口。 |
uid |
仅限输出。元存储空间服务的全局唯一资源标识符。 |
metadataManagementActivity |
仅限输出。Metastore 服务的元数据管理活动。 |
releaseChannel |
不可变。服务的发布渠道。如果未指定,则默认为 |
encryptionConfig |
不可变。用于配置 Dataproc Metastore 服务以加密客户端静态数据的信息。无法更新。 |
networkConfig |
用于指定 Dataproc Metastore 服务的网络设置的配置。 |
databaseType |
不可变。Metastore 服务存储其数据的数据库类型。 |
telemetryConfig |
用于指定 Dataproc Metastore 服务遥测设置的配置。如果未指定,则默认为 |
scalingConfig |
Metastore 服务的扩缩配置。 |
scheduledBackup |
可选。Metastore 服务的定期备份配置。 |
deletionProtection |
可选。指明是否应保护 Dataproc Metastore 免遭意外删除。 |
联合字段 metastore_config 。特定于底层元数据存储服务技术(用于处理元数据存储查询的软件)的配置属性。metastore_config 只能是下列其中一项: |
|
hiveMetastoreConfig |
特定于将 Hive Metastore 软件作为 Metastore 服务运行的配置信息。 |
HiveMetastoreConfig
指定特定于将 Hive Metastore 软件作为 Metastore 服务运行的配置信息。
JSON 表示法 |
---|
{ "version": string, "configOverrides": { string: string, ... }, "kerberosConfig": { object ( |
字段 | |
---|---|
version |
不可变。Hive Metastore 架构版本。 |
configOverrides |
要应用于 Hive Metastore(在 包含一系列 |
kerberosConfig |
用于将 Hive Metastore 服务配置为 Kerberos 域中的服务主账号的信息。如需停用 Kerberos,请使用 |
endpointProtocol |
要为 Metastore 服务端点使用的协议。如果未指定,则默认为 |
auxiliaryVersions |
将 Hive Metastore 版本映射到辅助版本配置。在指定此项之后,系统会随主服务一并创建辅助 Hive Metastore 服务。所有辅助版本都必须低于服务的主要版本。键是辅助服务名称,必须与正则表达式 a-z? 匹配。这意味着第一个字符必须是小写字母,且所有后续字符必须是连字符、小写字母或数字,但最后一个字符不能是连字符。 包含一系列 |
KerberosConfig
Kerberos 正文的配置信息。
JSON 表示法 |
---|
{
"keytab": {
object ( |
字段 | |
---|---|
keytab |
可用于通过 Kerberos 密钥分发中心 (KDC) 对服务主账号进行身份验证的 Kerberos keytab 文件。 |
principal |
同时存在于 keytab 和 KDC 中的 Kerberos 主账号,用于进行身份验证。典型主账号的形式为 |
krb5ConfigGcsUri |
用于指定 krb5.conf 文件路径的 Cloud Storage URI。其格式为 |
Secret
安全存储的值。
JSON 表示法 |
---|
{ // Union field |
字段 | |
---|---|
联合字段
|
|
cloudSecret |
Secret Manager Secret 版本的相对资源名称,采用以下格式:
|
EndpointProtocol
可用于提供 Metastore 服务端点的协议。
枚举 | |
---|---|
ENDPOINT_PROTOCOL_UNSPECIFIED |
未设置协议。 |
THRIFT |
为 Metastore 服务端点使用旧版 Apache Thrift 协议。 |
GRPC |
为 Metastore 服务端点使用现代化 gRPC 协议。 |
AuxiliaryVersionConfig
关于辅助服务版本的配置信息。
JSON 表示法 |
---|
{
"version": string,
"configOverrides": {
string: string,
...
},
"networkConfig": {
object ( |
字段 | |
---|---|
version |
辅助服务的 Hive Metastore 版本。该版本必须低于主要 Hive Metastore 服务的版本。 |
configOverrides |
除了主要版本的替换项之外,要应用于辅助 Hive Metastore(在 包含一系列 |
networkConfig |
仅限输出。网络配置包含辅助 Hive Metastore 服务的端点 URI。 |
NetworkConfig
Dataproc Metastore 服务的网络配置。
JSON 表示法 |
---|
{
"consumers": [
{
object ( |
字段 | |
---|---|
consumers[] |
不可变。Dataproc Metastore 实例的使用方网络配置。 |
使用方
包含客户网络配置的信息。
JSON 表示法 |
---|
{ "endpointUri": string, "endpointLocation": string, // Union field |
字段 | |
---|---|
endpointUri |
仅限输出。用于访问 Metastore 服务的端点的 URI。 |
endpointLocation |
仅限输出。端点 URI 的位置。格式: |
联合字段
|
|
subnetwork |
不可变。客户项目的子网,系统会从中预留一个 IP 地址,并将其用作 Dataproc Metastore 服务的端点。子网中的主机以及同一区域和同一网络中子网中的所有主机都可以访问该网关。子网的主要范围中必须至少有一个可用的 IP 地址。子网按以下格式指定:
|
州
元存储空间服务的当前状态。
枚举 | |
---|---|
STATE_UNSPECIFIED |
Metastore 服务的状态未知。 |
CREATING |
Metastore 服务正在创建中。 |
ACTIVE |
Metastore 服务正在运行,可以处理查询。 |
SUSPENDING |
Metastore 服务即将进入暂停状态。其查询服务可能会意外中止。 |
SUSPENDED |
Metastore 服务已暂停,无法处理查询。 |
UPDATING |
Metastore 服务正在更新。该应用仍可使用,但目前无法接受其他更新请求,也无法被删除。 |
DELETING |
Metastore 服务正在删除中。无法使用。 |
ERROR |
Metastore 服务遇到了错误,无法使用。应删除 Metastore 服务。 |
AUTOSCALING |
Dataproc Metastore 服务 2 正在扩容或缩容。 |
MIGRATING |
Metastore 服务正在处理托管式迁移。 |
层级
可用的服务层级。
枚举 | |
---|---|
TIER_UNSPECIFIED |
未设置层级。 |
DEVELOPER |
开发者层级提供有限的可伸缩性,且没有容错能力。此层级适合低成本概念验证。 |
ENTERPRISE |
企业层级面向企业级 Dataproc Metastore 工作负载,提供了多可用区高可用性和充分的可伸缩性。 |
MetadataIntegration
指定 Metastore 元数据应如何与外部服务集成。
JSON 表示法 |
---|
{
"dataCatalogConfig": {
object ( |
字段 | |
---|---|
dataCatalogConfig |
可选。Data Catalog 服务的集成配置。 |
DataCatalogConfig
指定 Metastore 元数据应如何与 Data Catalog 服务集成。
JSON 表示法 |
---|
{ "enabled": boolean } |
字段 | |
---|---|
enabled |
可选。定义是否应将元存储空间元数据同步到 Data Catalog。默认值是停用将元存储空间元数据同步到 Data Catalog 的功能。 |
MaintenanceWindow
维护期。这用于指定 Dataproc Metastore 可对服务执行系统维护操作的时间。
JSON 表示法 |
---|
{
"hourOfDay": integer,
"dayOfWeek": enum ( |
字段 | |
---|---|
hourOfDay |
时段开始时的小时数 (0-23)。 |
dayOfWeek |
时间段的开始日期(星期几)。 |
MetadataManagementActivity
Metastore 服务的元数据管理活动。
JSON 表示法 |
---|
{ "metadataExports": [ { object ( |
字段 | |
---|---|
metadataExports[] |
仅限输出。Metastore 服务的最新元数据导出内容。 |
restores[] |
仅限输出。Metastore 服务的最新恢复。 |
MetadataExport
元数据导出操作的详细信息。
JSON 表示法 |
---|
{ "startTime": string, "endTime": string, "state": enum ( |
字段 | |
---|---|
startTime |
仅限输出。导出开始的时间。 时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例: |
endTime |
仅限输出。导出结束的时间。 时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例: |
state |
仅限输出。导出的当前状态。 |
databaseDumpType |
仅限输出。数据库转储的类型。 |
联合字段
|
|
destinationGcsUri |
仅限输出。元数据导出到的文件夹的 Cloud Storage URI,格式为 |
州
元数据导出的当前状态。
枚举 | |
---|---|
STATE_UNSPECIFIED |
元数据导出的状态未知。 |
RUNNING |
元数据导出正在运行。 |
SUCCEEDED |
元数据导出已成功完成。 |
FAILED |
元数据导出失败。 |
CANCELLED |
元数据导出操作已取消。 |
恢复
元数据恢复操作的详细信息。
JSON 表示法 |
---|
{ "startTime": string, "endTime": string, "state": enum ( |
字段 | |
---|---|
startTime |
仅限输出。恢复开始的时间。 时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例: |
endTime |
仅限输出。恢复结束的时间。 时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例: |
state |
仅限输出。恢复的当前状态。 |
backup |
仅限输出。要从中恢复的 Metastore 服务备份的相对资源名称,格式如下:
|
type |
仅限输出。恢复类型。 |
details |
仅限输出。包含要恢复到的服务修订版本的恢复详情,采用 JSON 格式。 |
backupLocation |
可选。用于指定备份工件存储位置的 Cloud Storage URI,格式为 |
州
恢复的当前状态。
枚举 | |
---|---|
STATE_UNSPECIFIED |
元数据恢复状态未知。 |
RUNNING |
元数据恢复正在运行。 |
SUCCEEDED |
元数据恢复已成功完成。 |
FAILED |
元数据恢复失败。 |
CANCELLED |
元数据恢复已取消。 |
RestoreType
恢复类型。如果未指定,则默认为 METADATA_ONLY
。
枚举 | |
---|---|
RESTORE_TYPE_UNSPECIFIED |
恢复类型未知。 |
FULL |
系统会恢复服务的元数据和配置。 |
METADATA_ONLY |
系统只会恢复服务的元数据。 |
ReleaseChannel
发布渠道捆绑不同稳定性级别的功能。较新功能可能最初会引入到不太稳定的发布渠道,然后可以自动升级到更稳定的发布渠道。
枚举 | |
---|---|
RELEASE_CHANNEL_UNSPECIFIED |
未指定发布渠道。 |
CANARY |
CANARY 发布渠道包含最新功能,这些功能可能还不稳定,并且可能会出现尚无已知解决方法的未解决问题。使用 CANARY 发布渠道的服务不在任何服务等级协议 (SLA) 的涵盖范围内。 |
STABLE |
STABLE 发布渠道包含会被视为稳定且经过验证适合生产使用的功能。 |
EncryptionConfig
服务的加密设置。
JSON 表示法 |
---|
{ "kmsKey": string } |
字段 | |
---|---|
kmsKey |
客户提供的要用于客户数据加密的完全限定 Cloud KMS 密钥名称,格式如下:
|
DatabaseType
Metastore 服务的后端数据库类型。
枚举 | |
---|---|
DATABASE_TYPE_UNSPECIFIED |
未设置 DATABASE_TYPE。 |
MYSQL |
MySQL 用于保留元数据存储库数据。 |
SPANNER |
Spanner 用于保留元存储空间数据。 |
TelemetryConfig
Dataproc Metastore 服务的遥测配置。
JSON 表示法 |
---|
{
"logFormat": enum ( |
字段 | |
---|---|
logFormat |
Dataproc Metastore 服务日志的输出格式。 |
LogFormat
枚举 | |
---|---|
LOG_FORMAT_UNSPECIFIED |
未设置 LOG_FORMAT。 |
LEGACY |
日志输出使用旧版 textPayload 格式。 |
JSON |
日志输出使用 jsonPayload 格式。 |
ScalingConfig
表示元存储空间服务的扩缩配置。
JSON 表示法 |
---|
{ "autoscalingConfig": { object ( |
字段 | |
---|---|
autoscalingConfig |
可选。自动扩缩配置。 |
联合字段 scaling_model 。表示预先确定的实例大小或数值缩放因子。scaling_model 只能是下列其中一项: |
|
instanceSize |
可读取实例大小的枚举,每个实例大小都映射到一个浮点值(例如,InstanceSize.EXTRA_SMALL = scalingFactor(0.1)) |
scalingFactor |
缩放比例,小于 1.0 的值以 0.1 为增量,大于 1.0 的值以 1.0 为增量。 |
InstanceSize
Metastore 实例大小。
枚举 | |
---|---|
INSTANCE_SIZE_UNSPECIFIED |
未指定实例大小 |
EXTRA_SMALL |
超小实例大小,对应于扩缩系数 0.1。 |
SMALL |
实例大小较小,对应于缩放系数 0.5。 |
MEDIUM |
中等实例大小,对应于缩放系数 1.0。 |
LARGE |
实例大小较大,对应于缩放系数 3.0。 |
EXTRA_LARGE |
超大型实例大小,对应于缩放系数 6.0。 |
AutoscalingConfig
表示元存储空间服务的自动扩缩配置。
JSON 表示法 |
---|
{
"autoscalingFactor": number,
"autoscalingEnabled": boolean,
"limitConfig": {
object ( |
字段 | |
---|---|
autoscalingFactor |
仅限输出。启用了自动扩缩功能的服务的扩缩系数。 |
autoscalingEnabled |
可选。是否为此服务启用了自动扩缩。 |
limitConfig |
可选。服务的 LimitConfig。 |
LimitConfig
表示元存储空间服务的自动扩缩限制配置。
JSON 表示法 |
---|
{ "maxScalingFactor": number, "minScalingFactor": number } |
字段 | |
---|---|
maxScalingFactor |
可选。服务应自动扩缩到的最高扩缩系数。 |
minScalingFactor |
可选。服务应自动扩缩到的最低缩放系数。 |
ScheduledBackup
这会指定定期备份的配置。
JSON 表示法 |
---|
{
"enabled": boolean,
"cronSchedule": string,
"timeZone": string,
"nextScheduledTime": string,
"backupLocation": string,
"latestBackup": {
object ( |
字段 | |
---|---|
enabled |
可选。用于定义是否启用了定期备份。默认值为 false。 |
cronSchedule |
可选。安排的间隔时间(采用 Cron 格式),请参阅 https://en.wikipedia.org/wiki/Cron。默认值为空:未启用定期备份。必须指定此参数才能启用计划备份。 |
timeZone |
可选。指定解析 cronSchedule 时要使用的时区。必须是时区数据库 (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) 中的时区名称,例如 America/Los_Angeles 或 Africa/Abidjan。如果未指定,则默认为世界协调时间 (UTC)。 |
nextScheduledTime |
仅限输出。安排的下一次备份执行的开始时间。 时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例: |
backupLocation |
可选。文件夹的 Cloud Storage URI,格式为 |
latestBackup |
仅限输出。最新的定期备份的详细信息。 |
LatestBackup
最新的定期备份的详细信息。
JSON 表示法 |
---|
{
"backupId": string,
"startTime": string,
"state": enum ( |
字段 | |
---|---|
backupId |
仅限输出。正在进行的计划备份的 ID。如果没有任何备份正在进行,则为空。 |
startTime |
仅限输出。开始备份的时间。 时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例: |
state |
仅限输出。备份的当前状态。 |
duration |
仅限输出。备份完成所需的时间。 该时长以秒为单位,最多包含九个小数位,以“ |
州
备份的当前状态。
枚举 | |
---|---|
STATE_UNSPECIFIED |
备份的状态未知。 |
IN_PROGRESS |
正在备份。 |
SUCCEEDED |
备份已完成。 |
FAILED |
备份失败。 |
方法 |
|
---|---|
|
更改元数据资源位置。 |
|
更改元数据表属性。 |
|
取消正在进行的“受管理的迁移”流程。 |
|
完成托管式迁移流程。 |
|
在项目和位置中创建 Metastore 服务。 |
|
删除单项服务。 |
|
从服务导出元数据。 |
|
获取单项服务的详细信息。 |
|
获取资源的访问权限控制政策。 |
|
列出项目和位置中的服务。 |
|
将表移至其他数据库。 |
|
更新单个服务的参数。 |
|
查询 Dataproc Metastore 元数据。 |
|
从备份恢复服务。 |
|
针对指定资源设置访问权限控制政策。 |
|
启动“受管理的迁移”流程。 |
|
返回调用者对指定资源拥有的权限。 |