REST Resource: projects.locations.services

资源:服务

用于处理元数据查询的托管式 Metastore 服务。

JSON 表示法
{
  "name": string,
  "createTime": string,
  "updateTime": string,
  "labels": {
    string: string,
    ...
  },
  "network": string,
  "endpointUri": string,
  "port": integer,
  "state": enum (State),
  "stateMessage": string,
  "artifactGcsUri": string,
  "tier": enum (Tier),
  "metadataIntegration": {
    object (MetadataIntegration)
  },
  "maintenanceWindow": {
    object (MaintenanceWindow)
  },
  "uid": string,
  "metadataManagementActivity": {
    object (MetadataManagementActivity)
  },
  "releaseChannel": enum (ReleaseChannel),
  "encryptionConfig": {
    object (EncryptionConfig)
  },
  "networkConfig": {
    object (NetworkConfig)
  },
  "databaseType": enum (DatabaseType),
  "telemetryConfig": {
    object (TelemetryConfig)
  },
  "scalingConfig": {
    object (ScalingConfig)
  },
  "scheduledBackup": {
    object (ScheduledBackup)
  },
  "deletionProtection": boolean,

  // Union field metastore_config can be only one of the following:
  "hiveMetastoreConfig": {
    object (HiveMetastoreConfig)
  }
  // End of list of possible types for union field metastore_config.
}
字段
name

string

不可变。元存储空间服务的相对资源名称,格式如下:

projects/{projectNumber}/locations/{locationId}/services/{serviceId}

createTime

string (Timestamp format)

仅限输出。Metastore 服务的创建时间。

时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例:"2014-10-02T15:01:23Z""2014-10-02T15:01:23.045123456Z"

updateTime

string (Timestamp format)

仅限输出。上次更新元数据存储服务的时间。

时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例:"2014-10-02T15:01:23Z""2014-10-02T15:01:23.045123456Z"

labels

map (key: string, value: string)

Metastore 服务的用户定义标签。

包含一系列 "key": value 对的对象。示例:{ "name": "wrench", "mass": "1.3kg", "count": "3" }

network

string

不可变。可以在其中访问实例的 VPC 网络的相对资源名称。其格式如下:

projects/{projectNumber}/global/networks/{network_id}

endpointUri

string

仅限输出。用于访问 Metastore 服务的端点的 URI。

port

integer

用于访问 Metastore 服务的 TCP 端口。默认端口:9083。

state

enum (State)

仅限输出。元存储空间服务的当前状态。

stateMessage

string

仅限输出。有关 Metastore 服务当前状态的更多信息(如果有)。

artifactGcsUri

string

仅限输出。一个 Cloud Storage URI(以 gs:// 开头),用于指定与元存储空间服务相关的工件存储位置。

tier

enum (Tier)

服务层级。

metadataIntegration

object (MetadataIntegration)

可选。用于定义 Metastore 元数据应如何与外部服务和系统集成的设置。

maintenanceWindow

object (MaintenanceWindow)

Metastore 服务的一小时维护窗口。这用于指定何时可以重启服务以进行维护(以世界协调时间 [UTC] 为单位)。使用 SPANNER 数据库类型的服务不需要维护时间窗口。

uid

string

仅限输出。元存储空间服务的全局唯一资源标识符。

metadataManagementActivity

object (MetadataManagementActivity)

仅限输出。Metastore 服务的元数据管理活动。

releaseChannel

enum (ReleaseChannel)

不可变。服务的发布渠道。如果未指定,则默认为 STABLE

encryptionConfig

object (EncryptionConfig)

不可变。用于配置 Dataproc Metastore 服务以加密客户端静态数据的信息。无法更新。

networkConfig

object (NetworkConfig)

用于指定 Dataproc Metastore 服务的网络设置的配置。

databaseType

enum (DatabaseType)

不可变。Metastore 服务存储其数据的数据库类型。

telemetryConfig

object (TelemetryConfig)

用于指定 Dataproc Metastore 服务遥测设置的配置。如果未指定,则默认为 JSON

scalingConfig

object (ScalingConfig)

Metastore 服务的扩缩配置。

scheduledBackup

object (ScheduledBackup)

可选。Metastore 服务的定期备份配置。

deletionProtection

boolean

可选。指明是否应保护 Dataproc Metastore 免遭意外删除。

联合字段 metastore_config。特定于底层元数据存储服务技术(用于处理元数据存储查询的软件)的配置属性。metastore_config 只能是下列其中一项:
hiveMetastoreConfig

object (HiveMetastoreConfig)

特定于将 Hive Metastore 软件作为 Metastore 服务运行的配置信息。

HiveMetastoreConfig

指定特定于将 Hive Metastore 软件作为 Metastore 服务运行的配置信息。

JSON 表示法
{
  "version": string,
  "configOverrides": {
    string: string,
    ...
  },
  "kerberosConfig": {
    object (KerberosConfig)
  },
  "endpointProtocol": enum (EndpointProtocol),
  "auxiliaryVersions": {
    string: {
      object (AuxiliaryVersionConfig)
    },
    ...
  }
}
字段
version

string

不可变。Hive Metastore 架构版本。

configOverrides

map (key: string, value: string)

要应用于 Hive Metastore(在 hive-site.xml 中配置)的 Hive Metastore 配置键值对的映射。映射会替换系统默认设置(某些键无法替换)。这些替换项也会应用于辅助版本,并且可以在辅助版本的 AuxiliaryVersionConfig 中进一步自定义。

包含一系列 "key": value 对的对象。示例:{ "name": "wrench", "mass": "1.3kg", "count": "3" }

kerberosConfig

object (KerberosConfig)

用于将 Hive Metastore 服务配置为 Kerberos 域中的服务主账号的信息。如需停用 Kerberos,请使用 services.patch 方法,并在请求的 updateMask 中指定此字段的路径 (hiveMetastoreConfig.kerberos_config),同时从请求的 service 中省略此字段。

endpointProtocol

enum (EndpointProtocol)

要为 Metastore 服务端点使用的协议。如果未指定,则默认为 THRIFT

auxiliaryVersions

map (key: string, value: object (AuxiliaryVersionConfig))

将 Hive Metastore 版本映射到辅助版本配置。在指定此项之后,系统会随主服务一并创建辅助 Hive Metastore 服务。所有辅助版本都必须低于服务的主要版本。键是辅助服务名称,必须与正则表达式 a-z? 匹配。这意味着第一个字符必须是小写字母,且所有后续字符必须是连字符、小写字母或数字,但最后一个字符不能是连字符。

包含一系列 "key": value 对的对象。示例:{ "name": "wrench", "mass": "1.3kg", "count": "3" }

KerberosConfig

Kerberos 正文的配置信息。

JSON 表示法
{
  "keytab": {
    object (Secret)
  },
  "principal": string,
  "krb5ConfigGcsUri": string
}
字段
keytab

object (Secret)

可用于通过 Kerberos 密钥分发中心 (KDC) 对服务主账号进行身份验证的 Kerberos keytab 文件。

principal

string

同时存在于 keytab 和 KDC 中的 Kerberos 主账号,用于进行身份验证。典型主账号的形式为 primary/instance@REALM,但并没有确切格式要求。

krb5ConfigGcsUri

string

用于指定 krb5.conf 文件路径的 Cloud Storage URI。其格式为 gs://{bucket_name}/path/to/krb5.conf,但文件无需明确命名为 krb5.conf。

Secret

安全存储的值。

JSON 表示法
{

  // Union field value can be only one of the following:
  "cloudSecret": string
  // End of list of possible types for union field value.
}
字段

联合字段 value

value 只能是下列其中一项:

cloudSecret

string

Secret Manager Secret 版本的相对资源名称,采用以下格式:

projects/{projectNumber}/secrets/{secret_id}/versions/{version_id}

EndpointProtocol

可用于提供 Metastore 服务端点的协议。

枚举
ENDPOINT_PROTOCOL_UNSPECIFIED 未设置协议。
THRIFT 为 Metastore 服务端点使用旧版 Apache Thrift 协议。
GRPC 为 Metastore 服务端点使用现代化 gRPC 协议。

AuxiliaryVersionConfig

关于辅助服务版本的配置信息。

JSON 表示法
{
  "version": string,
  "configOverrides": {
    string: string,
    ...
  },
  "networkConfig": {
    object (NetworkConfig)
  }
}
字段
version

string

辅助服务的 Hive Metastore 版本。该版本必须低于主要 Hive Metastore 服务的版本。

configOverrides

map (key: string, value: string)

除了主要版本的替换项之外,要应用于辅助 Hive Metastore(在 hive-site.xml 中配置)的 Hive Metastore 配置键值对的映射。如果辅助版本的替换项和主要版本的替换项中都存在键,则辅助版本替换项中的值优先。

包含一系列 "key": value 对的对象。示例:{ "name": "wrench", "mass": "1.3kg", "count": "3" }

networkConfig

object (NetworkConfig)

仅限输出。网络配置包含辅助 Hive Metastore 服务的端点 URI。

NetworkConfig

Dataproc Metastore 服务的网络配置。

JSON 表示法
{
  "consumers": [
    {
      object (Consumer)
    }
  ]
}
字段
consumers[]

object (Consumer)

不可变。Dataproc Metastore 实例的使用方网络配置。

使用方

包含客户网络配置的信息。

JSON 表示法
{
  "endpointUri": string,
  "endpointLocation": string,

  // Union field vpc_resource can be only one of the following:
  "subnetwork": string
  // End of list of possible types for union field vpc_resource.
}
字段
endpointUri

string

仅限输出。用于访问 Metastore 服务的端点的 URI。

endpointLocation

string

仅限输出。端点 URI 的位置。格式:projects/{project}/locations/{location}

联合字段 vpc_resource

vpc_resource 只能是下列其中一项:

subnetwork

string

不可变。客户项目的子网,系统会从中预留一个 IP 地址,并将其用作 Dataproc Metastore 服务的端点。子网中的主机以及同一区域和同一网络中子网中的所有主机都可以访问该网关。子网的主要范围中必须至少有一个可用的 IP 地址。子网按以下格式指定:

projects/{projectNumber}/regions/{region_id}/subnetworks/{subnetwork_id}

元存储空间服务的当前状态。

枚举
STATE_UNSPECIFIED Metastore 服务的状态未知。
CREATING Metastore 服务正在创建中。
ACTIVE Metastore 服务正在运行,可以处理查询。
SUSPENDING Metastore 服务即将进入暂停状态。其查询服务可能会意外中止。
SUSPENDED Metastore 服务已暂停,无法处理查询。
UPDATING Metastore 服务正在更新。该应用仍可使用,但目前无法接受其他更新请求,也无法被删除。
DELETING Metastore 服务正在删除中。无法使用。
ERROR Metastore 服务遇到了错误,无法使用。应删除 Metastore 服务。
AUTOSCALING Dataproc Metastore 服务 2 正在扩容或缩容。
MIGRATING Metastore 服务正在处理托管式迁移。

层级

可用的服务层级。

枚举
TIER_UNSPECIFIED 未设置层级。
DEVELOPER 开发者层级提供有限的可伸缩性,且没有容错能力。此层级适合低成本概念验证。
ENTERPRISE 企业层级面向企业级 Dataproc Metastore 工作负载,提供了多可用区高可用性和充分的可伸缩性。

MetadataIntegration

指定 Metastore 元数据应如何与外部服务集成。

JSON 表示法
{
  "dataCatalogConfig": {
    object (DataCatalogConfig)
  }
}
字段
dataCatalogConfig

object (DataCatalogConfig)

可选。Data Catalog 服务的集成配置。

DataCatalogConfig

指定 Metastore 元数据应如何与 Data Catalog 服务集成。

JSON 表示法
{
  "enabled": boolean
}
字段
enabled

boolean

可选。定义是否应将元存储空间元数据同步到 Data Catalog。默认值是停用将元存储空间元数据同步到 Data Catalog 的功能。

MaintenanceWindow

维护期。这用于指定 Dataproc Metastore 可对服务执行系统维护操作的时间。

JSON 表示法
{
  "hourOfDay": integer,
  "dayOfWeek": enum (DayOfWeek)
}
字段
hourOfDay

integer

时段开始时的小时数 (0-23)。

dayOfWeek

enum (DayOfWeek)

时间段的开始日期(星期几)。

MetadataManagementActivity

Metastore 服务的元数据管理活动。

JSON 表示法
{
  "metadataExports": [
    {
      object (MetadataExport)
    }
  ],
  "restores": [
    {
      object (Restore)
    }
  ]
}
字段
metadataExports[]

object (MetadataExport)

仅限输出。Metastore 服务的最新元数据导出内容。

restores[]

object (Restore)

仅限输出。Metastore 服务的最新恢复。

MetadataExport

元数据导出操作的详细信息。

JSON 表示法
{
  "startTime": string,
  "endTime": string,
  "state": enum (State),
  "databaseDumpType": enum (Type),

  // Union field destination can be only one of the following:
  "destinationGcsUri": string
  // End of list of possible types for union field destination.
}
字段
startTime

string (Timestamp format)

仅限输出。导出开始的时间。

时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例:"2014-10-02T15:01:23Z""2014-10-02T15:01:23.045123456Z"

endTime

string (Timestamp format)

仅限输出。导出结束的时间。

时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例:"2014-10-02T15:01:23Z""2014-10-02T15:01:23.045123456Z"

state

enum (State)

仅限输出。导出的当前状态。

databaseDumpType

enum (Type)

仅限输出。数据库转储的类型。

联合字段 destination

destination 只能是下列其中一项:

destinationGcsUri

string

仅限输出。元数据导出到的文件夹的 Cloud Storage URI,格式为 gs://<bucket_name>/<path_inside_bucket>/<export_folder>,其中 <export_folder> 由系统自动生成。

元数据导出的当前状态。

枚举
STATE_UNSPECIFIED 元数据导出的状态未知。
RUNNING 元数据导出正在运行。
SUCCEEDED 元数据导出已成功完成。
FAILED 元数据导出失败。
CANCELLED 元数据导出操作已取消。

恢复

元数据恢复操作的详细信息。

JSON 表示法
{
  "startTime": string,
  "endTime": string,
  "state": enum (State),
  "backup": string,
  "type": enum (RestoreType),
  "details": string,
  "backupLocation": string
}
字段
startTime

string (Timestamp format)

仅限输出。恢复开始的时间。

时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例:"2014-10-02T15:01:23Z""2014-10-02T15:01:23.045123456Z"

endTime

string (Timestamp format)

仅限输出。恢复结束的时间。

时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例:"2014-10-02T15:01:23Z""2014-10-02T15:01:23.045123456Z"

state

enum (State)

仅限输出。恢复的当前状态。

backup

string

仅限输出。要从中恢复的 Metastore 服务备份的相对资源名称,格式如下:

projects/{projectId}/locations/{locationId}/services/{serviceId}/backups/{backupId}

type

enum (RestoreType)

仅限输出。恢复类型。

details

string

仅限输出。包含要恢复到的服务修订版本的恢复详情,采用 JSON 格式。

backupLocation

string

可选。用于指定备份工件存储位置的 Cloud Storage URI,格式为 gs://<bucket_name>/<path_inside_bucket>

恢复的当前状态。

枚举
STATE_UNSPECIFIED 元数据恢复状态未知。
RUNNING 元数据恢复正在运行。
SUCCEEDED 元数据恢复已成功完成。
FAILED 元数据恢复失败。
CANCELLED 元数据恢复已取消。

RestoreType

恢复类型。如果未指定,则默认为 METADATA_ONLY

枚举
RESTORE_TYPE_UNSPECIFIED 恢复类型未知。
FULL 系统会恢复服务的元数据和配置。
METADATA_ONLY 系统只会恢复服务的元数据。

ReleaseChannel

发布渠道捆绑不同稳定性级别的功能。较新功能可能最初会引入到不太稳定的发布渠道,然后可以自动升级到更稳定的发布渠道。

枚举
RELEASE_CHANNEL_UNSPECIFIED 未指定发布渠道。
CANARY CANARY 发布渠道包含最新功能,这些功能可能还不稳定,并且可能会出现尚无已知解决方法的未解决问题。使用 CANARY 发布渠道的服务不在任何服务等级协议 (SLA) 的涵盖范围内。
STABLE STABLE 发布渠道包含会被视为稳定且经过验证适合生产使用的功能。

EncryptionConfig

服务的加密设置。

JSON 表示法
{
  "kmsKey": string
}
字段
kmsKey

string

客户提供的要用于客户数据加密的完全限定 Cloud KMS 密钥名称,格式如下:

projects/{projectNumber}/locations/{locationId}/keyRings/{key_ring_id}/cryptoKeys/{crypto_key_id}

DatabaseType

Metastore 服务的后端数据库类型。

枚举
DATABASE_TYPE_UNSPECIFIED 未设置 DATABASE_TYPE。
MYSQL MySQL 用于保留元数据存储库数据。
SPANNER Spanner 用于保留元存储空间数据。

TelemetryConfig

Dataproc Metastore 服务的遥测配置。

JSON 表示法
{
  "logFormat": enum (LogFormat)
}
字段
logFormat

enum (LogFormat)

Dataproc Metastore 服务日志的输出格式。

LogFormat

枚举
LOG_FORMAT_UNSPECIFIED 未设置 LOG_FORMAT。
LEGACY 日志输出使用旧版 textPayload 格式。
JSON 日志输出使用 jsonPayload 格式。

ScalingConfig

表示元存储空间服务的扩缩配置。

JSON 表示法
{
  "autoscalingConfig": {
    object (AutoscalingConfig)
  },

  // Union field scaling_model can be only one of the following:
  "instanceSize": enum (InstanceSize),
  "scalingFactor": number
  // End of list of possible types for union field scaling_model.
}
字段
autoscalingConfig

object (AutoscalingConfig)

可选。自动扩缩配置。

联合字段 scaling_model。表示预先确定的实例大小或数值缩放因子。scaling_model 只能是下列其中一项:
instanceSize

enum (InstanceSize)

可读取实例大小的枚举,每个实例大小都映射到一个浮点值(例如,InstanceSize.EXTRA_SMALL = scalingFactor(0.1))

scalingFactor

number

缩放比例,小于 1.0 的值以 0.1 为增量,大于 1.0 的值以 1.0 为增量。

InstanceSize

Metastore 实例大小。

枚举
INSTANCE_SIZE_UNSPECIFIED 未指定实例大小
EXTRA_SMALL 超小实例大小,对应于扩缩系数 0.1。
SMALL 实例大小较小,对应于缩放系数 0.5。
MEDIUM 中等实例大小,对应于缩放系数 1.0。
LARGE 实例大小较大,对应于缩放系数 3.0。
EXTRA_LARGE 超大型实例大小,对应于缩放系数 6.0。

AutoscalingConfig

表示元存储空间服务的自动扩缩配置。

JSON 表示法
{
  "autoscalingFactor": number,
  "autoscalingEnabled": boolean,
  "limitConfig": {
    object (LimitConfig)
  }
}
字段
autoscalingFactor

number

仅限输出。启用了自动扩缩功能的服务的扩缩系数。

autoscalingEnabled

boolean

可选。是否为此服务启用了自动扩缩。

limitConfig

object (LimitConfig)

可选。服务的 LimitConfig。

LimitConfig

表示元存储空间服务的自动扩缩限制配置。

JSON 表示法
{
  "maxScalingFactor": number,
  "minScalingFactor": number
}
字段
maxScalingFactor

number

可选。服务应自动扩缩到的最高扩缩系数。

minScalingFactor

number

可选。服务应自动扩缩到的最低缩放系数。

ScheduledBackup

这会指定定期备份的配置。

JSON 表示法
{
  "enabled": boolean,
  "cronSchedule": string,
  "timeZone": string,
  "nextScheduledTime": string,
  "backupLocation": string,
  "latestBackup": {
    object (LatestBackup)
  }
}
字段
enabled

boolean

可选。用于定义是否启用了定期备份。默认值为 false。

cronSchedule

string

可选。安排的间隔时间(采用 Cron 格式),请参阅 https://en.wikipedia.org/wiki/Cron。默认值为空:未启用定期备份。必须指定此参数才能启用计划备份。

timeZone

string

可选。指定解析 cronSchedule 时要使用的时区。必须是时区数据库 (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) 中的时区名称,例如 America/Los_Angeles 或 Africa/Abidjan。如果未指定,则默认为世界协调时间 (UTC)。

nextScheduledTime

string (Timestamp format)

仅限输出。安排的下一次备份执行的开始时间。

时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例:"2014-10-02T15:01:23Z""2014-10-02T15:01:23.045123456Z"

backupLocation

string

可选。文件夹的 Cloud Storage URI,格式为 gs://<bucket_name>/<path_inside_bucket>。系统会在其下方存储包含备份文件的子文件夹 <backup_folder>

latestBackup

object (LatestBackup)

仅限输出。最新的定期备份的详细信息。

LatestBackup

最新的定期备份的详细信息。

JSON 表示法
{
  "backupId": string,
  "startTime": string,
  "state": enum (State),
  "duration": string
}
字段
backupId

string

仅限输出。正在进行的计划备份的 ID。如果没有任何备份正在进行,则为空。

startTime

string (Timestamp format)

仅限输出。开始备份的时间。

时间戳采用 RFC3339 世界协调时间(UTC,即“祖鲁时”)格式,精确到纳秒,最多九个小数位。示例:"2014-10-02T15:01:23Z""2014-10-02T15:01:23.045123456Z"

state

enum (State)

仅限输出。备份的当前状态。

duration

string (Duration format)

仅限输出。备份完成所需的时间。

该时长以秒为单位,最多包含九个小数位,以“s”结尾。示例:"3.5s"

备份的当前状态。

枚举
STATE_UNSPECIFIED 备份的状态未知。
IN_PROGRESS 正在备份。
SUCCEEDED 备份已完成。
FAILED 备份失败。

方法

alterLocation

更改元数据资源位置。

alterTableProperties

更改元数据表属性。

cancelMigration

取消正在进行的“受管理的迁移”流程。

completeMigration

完成托管式迁移流程。

create

在项目和位置中创建 Metastore 服务。

delete

删除单项服务。

exportMetadata

从服务导出元数据。

get

获取单项服务的详细信息。

getIamPolicy

获取资源的访问权限控制政策。

list

列出项目和位置中的服务。

moveTableToDatabase

将表移至其他数据库。

patch

更新单个服务的参数。

queryMetadata

查询 Dataproc Metastore 元数据。

restore

从备份恢复服务。

setIamPolicy

针对指定资源设置访问权限控制政策。

startMigration

启动“受管理的迁移”流程。

testIamPermissions

返回调用者对指定资源拥有的权限。