Package google.cloud.metastore.v1beta

索引

DataprocMetastore

配置和管理 Metastore 服务。Metastore 服务是技术元数据管理软件的全代管式高可用性 OSS 原生部署,具有自动扩缩和自动修复功能。每个元数据存储服务都会公开一个网络端点,用于提供元数据查询。元数据查询可以来自各种来源,包括 Apache Hive、Apache Presto 和 Apache Spark。

Dataproc Metastore API 定义了以下资源模型:

  • 该服务可与一系列 Google Cloud 项目搭配使用,这些项目的名称为:/projects/*
  • 每个项目都有一系列可用位置,命名为:/locations/*(位置必须引用 Google Cloud region
  • 每个位置都有一组服务,名为:/services/*
  • Dataproc Metastore 服务是采用以下格式的资源:

/projects/{project_number}/locations/{location_id}/services/{service_id}

AlterMetadataResourceLocation

rpc AlterMetadataResourceLocation(AlterMetadataResourceLocationRequest) returns (Operation)

更改元数据资源位置。元数据资源可以是数据库、表或分区。此功能仅会更新相应元数据资源的父目录,不会将任何现有数据转移到新位置。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

AlterTableProperties

rpc AlterTableProperties(AlterTablePropertiesRequest) returns (Operation)

更改元数据表属性。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

CancelMigration

rpc CancelMigration(CancelMigrationRequest) returns (Operation)

取消正在进行的“受管理的迁移”流程。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

CompleteMigration

rpc CompleteMigration(CompleteMigrationRequest) returns (Operation)

完成托管式迁移流程。在迁移成功后,Dataproc Metastore 服务将切换为使用自己的后端数据库。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

CreateBackup

rpc CreateBackup(CreateBackupRequest) returns (Operation)

在给定的项目和位置中创建一个新备份。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

CreateMetadataImport

rpc CreateMetadataImport(CreateMetadataImportRequest) returns (Operation)

在给定的项目和位置中创建新的 MetadataImport。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

CreateService

rpc CreateService(CreateServiceRequest) returns (Operation)

在项目和位置中创建 Metastore 服务。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

DeleteBackup

rpc DeleteBackup(DeleteBackupRequest) returns (Operation)

删除单个备份。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

DeleteMigrationExecution

rpc DeleteMigrationExecution(DeleteMigrationExecutionRequest) returns (Operation)

删除单次迁移执行。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

DeleteService

rpc DeleteService(DeleteServiceRequest) returns (Operation)

删除单项服务。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ExportMetadata

rpc ExportMetadata(ExportMetadataRequest) returns (Operation)

从服务导出元数据。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

GetBackup

rpc GetBackup(GetBackupRequest) returns (Backup)

获取单个备份的详细信息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

GetMetadataImport

rpc GetMetadataImport(GetMetadataImportRequest) returns (MetadataImport)

获取单次导入的详细信息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

GetMigrationExecution

rpc GetMigrationExecution(GetMigrationExecutionRequest) returns (MigrationExecution)

获取单次迁移执行的详细信息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

GetService

rpc GetService(GetServiceRequest) returns (Service)

获取单项服务的详细信息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ListBackups

rpc ListBackups(ListBackupsRequest) returns (ListBackupsResponse)

列出服务中的备份。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ListMetadataImports

rpc ListMetadataImports(ListMetadataImportsRequest) returns (ListMetadataImportsResponse)

列出服务中的导入内容。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ListMigrationExecutions

rpc ListMigrationExecutions(ListMigrationExecutionsRequest) returns (ListMigrationExecutionsResponse)

列出服务上的迁移作业。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ListServices

rpc ListServices(ListServicesRequest) returns (ListServicesResponse)

列出项目和位置中的服务。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

MoveTableToDatabase

rpc MoveTableToDatabase(MoveTableToDatabaseRequest) returns (Operation)

将表移至其他数据库。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

QueryMetadata

rpc QueryMetadata(QueryMetadataRequest) returns (Operation)

查询 Dataproc Metastore 元数据。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

RemoveIamPolicy

rpc RemoveIamPolicy(RemoveIamPolicyRequest) returns (RemoveIamPolicyResponse)

移除资源关联的 IAM 政策

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

RestoreService

rpc RestoreService(RestoreServiceRequest) returns (Operation)

从备份恢复服务。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

StartMigration

rpc StartMigration(StartMigrationRequest) returns (Operation)

启动“受管理的迁移”流程。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

UpdateMetadataImport

rpc UpdateMetadataImport(UpdateMetadataImportRequest) returns (Operation)

更新单个导入。仅支持更新 MetadataImport 的说明字段。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

UpdateService

rpc UpdateService(UpdateServiceRequest) returns (Operation)

更新单个服务的参数。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

DataprocMetastoreFederation

配置和管理元存储空间联合服务。Dataproc Metastore 联邦服务支持联邦化一系列后端元存储空间,例如 BigQuery、Dataplex Lake 和其他 Dataproc Metastore。联邦服务会公开一个 gRPC 网址,用于在查询时提供来自后端元数据存储区的元数据。

Dataproc Metastore Federation API 定义了以下资源模型:* 该服务可与一系列 Google Cloud 项目搭配使用。* 每个项目都有一系列可用位置。* 每个位置都有一系列联盟。* Dataproc Metastore 联合是指名称采用以下格式的资源:projects/{project_number}/locations/{location_id}/federations/{federation_id}

创建联邦

rpc CreateFederation(CreateFederationRequest) returns (Operation)

在项目和位置中创建元存储空间联合。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

DeleteFederation

rpc DeleteFederation(DeleteFederationRequest) returns (Operation)

删除单个联邦。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

GetFederation

rpc GetFederation(GetFederationRequest) returns (Federation)

获取单个联邦的详细信息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ListFederations

rpc ListFederations(ListFederationsRequest) returns (ListFederationsResponse)

列出项目和位置中的联邦。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

UpdateFederation

rpc UpdateFederation(UpdateFederationRequest) returns (Operation)

更新联盟的字段。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

AlterMetadataResourceLocationRequest

DataprocMetastore.AlterMetadataResourceLocation 的请求消息。

字段
service

string

必需。用于更改元数据的 Metastore 服务的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.services.mutateMetadata
resource_name

string

必需。采用以下格式的相对元数据资源名称。

databases/{database_id}databases/{database_id}/tables/{table_id}databases/{database_id}/tables/{table_id}/partitions/{partition_id}

location_uri

string

必需。元数据资源的新位置 URI。

AlterMetadataResourceLocationResponse

此类型没有字段。

DataprocMetastore.AlterMetadataResourceLocation 的响应消息。

AlterTablePropertiesRequest

DataprocMetastore.AlterTableProperties 的请求消息。

字段
service

string

必需。用于更改元数据表属性的 Dataproc Metastore 服务的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.services.mutateMetadata
table_name

string

必需。包含要更改的房源的表的名称,格式如下。

databases/{database_id}/tables/{table_id}

update_mask

FieldMask

用于指定更新将覆盖的元数据表属性的字段掩码。update_mask 中指定的字段与资源相关,而不是与完整请求相关。如果字段在掩码中,则会被覆盖。

例如,给定以下目标属性:

properties {
  a: 1
  b: 2
}

以及更新属性:

properties {
  a: 2
  b: 3
  c: 4
}

则如果字段掩码为:

paths: ["properties.b", "properties.c"]

则结果将如下所示:

properties {
  a: 1
  b: 3
  c: 4
}
properties

map<string, string>

用于描述要更改的所需值的映射。如果 update_mask 为空,系统将不会更新相应媒体资源。否则,这些属性只会更改更新掩码中存在关联路径的值

AlterTablePropertiesResponse

此类型没有字段。

DataprocMetastore.AlterTableProperties 的响应消息。

AutoscalingConfig

表示元存储空间服务的自动扩缩配置。

字段
autoscaling_factor

float

仅限输出。启用了自动扩缩功能的服务的扩缩系数。

autoscaling_enabled

bool

可选。是否为此服务启用了自动扩缩。

limit_config

LimitConfig

可选。服务的 LimitConfig。

AuxiliaryVersionConfig

关于辅助服务版本的配置信息。

字段
version

string

辅助服务的 Hive Metastore 版本。该版本必须低于主要 Hive Metastore 服务的版本。

config_overrides

map<string, string>

除了主要版本的替换项之外,要应用于辅助 Hive Metastore(在 hive-site.xml 中配置)的 Hive Metastore 配置键值对的映射。如果辅助版本的替换项和主要版本的替换项中都存在键,则辅助版本替换项中的值优先。

network_config

NetworkConfig

仅限输出。网络配置包含辅助 Hive Metastore 服务的端点 URI。

BackendMetastore

表示联邦的后端元存储空间。

字段
name

string

要联邦的元存储空间的相对资源名称。目前受支持的元存储空间的相对资源名称格式如下所示:

  • BigQuery
    • projects/{project_id}
  • Dataproc Metastore
    • projects/{project_id}/locations/{location}/services/{service_id}
metastore_type

MetastoreType

后端元存储空间的类型。

MetastoreType

后端元存储空间的类型。

枚举
METASTORE_TYPE_UNSPECIFIED 未设置元存储类型。
DATAPLEX 后端元数据存储库是 Dataplex。
BIGQUERY 后端元数据存储是 BigQuery。
DATAPROC_METASTORE 后端元存储空间是 Dataproc Metastore。

备份

备份资源的详细信息。

字段
name

string

不可变。备份的相对资源名称,采用以下格式:

projects/{project_number}/locations/{location_id}/services/{service_id}/backups/{backup_id}

create_time

Timestamp

仅限输出。开始备份的时间。

end_time

Timestamp

仅限输出。备份创建完成的时间。

state

State

仅限输出。备份的当前状态。

service_revision

Service

仅限输出。备份时服务的修订版本。

description

string

备份的说明。

restoring_services[]

string

仅限输出。正在使用备份进行恢复的服务。

备份的当前状态。

枚举
STATE_UNSPECIFIED 备份的状态未知。
CREATING 正在创建备份。
DELETING 正在删除备份。
ACTIVE 备份已生效,可以使用。
FAILED 备份失败。
RESTORING 正在恢复备份。

CancelMigrationRequest

DataprocMetastore.CancelMigration 的请求消息。

字段
service

string

必需。要取消迁移到的元存储空间服务的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.migrations.cancel

CancelMigrationResponse

DataprocMetastore.CancelMigration 的响应消息。

字段
migration_execution

string

迁移执行的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

CompleteMigrationRequest

DataprocMetastore.CompleteMigration 的请求消息。

字段
service

string

必需。要完成迁移到的 Metastore 服务的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.migrations.complete

CompleteMigrationResponse

DataprocMetastore.CompleteMigration 的响应消息。

字段
migration_execution

string

迁移执行的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

CreateBackupRequest

DataprocMetastore.CreateBackup 的请求消息。

字段
parent

string

必需。要在其中创建备份的服务的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • metastore.backups.create
backup_id

string

必需。备份的 ID,将用作备份名称的最后一个组成部分。

此值的长度必须介于 1 到 64 个字符之间,以字母开头,以字母或数字结尾,并且由 ASCII 字母数字字符或连字符组成。

backup

Backup

必需。要创建的备份。系统会忽略 name 字段。您必须在请求的 backup_id 字段中提供创建的备份的 ID。

request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

CreateFederationRequest

CreateFederation 的请求消息。

字段
parent

string

必需。要创建联邦服务的营业地点的相对资源名称,采用以下格式:

projects/{project_number}/locations/{location_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • metastore.federations.create
federation_id

string

必需。元存储空间联合的 ID,该 ID 将用作元存储空间联合名称的最后一个组成部分。

此值的长度必须介于 2 到 63 个字符之间(包括这两个数值),以字母开头,以字母或数字结尾,并且由 ASCII 字母数字字符或连字符组成。

federation

Federation

必需。要创建的 Metastore Federation。系统会忽略 name 字段。必须在请求的 federation_id 字段中提供创建的元存储空间联盟的 ID。

request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

CreateMetadataImportRequest

DataprocMetastore.CreateMetadataImport 的请求消息。

字段
parent

string

必需。要在其中创建 Metastore 导入的服务的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • metastore.imports.create
metadata_import_id

string

必需。元数据导入的 ID,该 ID 将用作元数据导入名称的最终组成部分。

此值的长度必须介于 1 到 64 个字符之间,以字母开头,以字母或数字结尾,并且由 ASCII 字母数字字符或连字符组成。

metadata_import

MetadataImport

必需。要创建的元数据导入。系统会忽略 name 字段。您必须在请求的 metadata_import_id 字段中提供创建的元数据导入的 ID。

request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

CreateServiceRequest

DataprocMetastore.CreateService 的请求消息。

字段
parent

string

必需。要在其中创建 Metastore 服务的位置的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • metastore.services.create
service_id

string

必需。Metastore 服务的 ID,该 ID 将用作 Metastore 服务名称的最终组成部分。

此值的长度必须介于 2 到 63 个字符之间(包括这两个数值),以字母开头,以字母或数字结尾,并且由 ASCII 字母数字字符或连字符组成。

service

Service

必需。要创建的 Metastore 服务。系统会忽略 name 字段。必须在请求的 service_id 字段中提供创建的 Metastore 服务的 ID。

request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

DataCatalogConfig

指定 Metastore 元数据应如何与 Data Catalog 服务集成。

字段
enabled

bool

可选。定义是否应将元存储空间元数据同步到 Data Catalog。默认值是停用将元存储空间元数据同步到 Data Catalog 的功能。

DatabaseDumpSpec

此类型没有字段。

要导入或导出到的数据库转储的规范。

类型

数据库转储的类型。

枚举
TYPE_UNSPECIFIED 数据库转储的类型未知。
MYSQL 数据库转储文件是 MySQL 转储文件。
AVRO 数据库转储文件包含 Avro 文件。

DataplexConfig

指定 Metastore 元数据应如何与 Dataplex 服务集成。

字段
lake_resources

map<string, Lake>

对此元存储服务所附加的数据湖资源的引用。键是数据湖资源名称。示例:projects/{project_number}/locations/{location_id}/lakes/{lake_id}

DeleteBackupRequest

DataprocMetastore.DeleteBackup 的请求消息。

字段
name

string

必需。要删除的备份的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/backups/{backup_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • metastore.backups.delete
request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

DeleteFederationRequest

DeleteFederation 的请求消息。

字段
name

string

必需。要删除的元存储空间联邦的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/federations/{federation_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • metastore.federations.delete
request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

DeleteMigrationExecutionRequest

DataprocMetastore.DeleteMigrationExecution 的请求消息。

字段
name

string

必需。要删除的 migrationExecution 的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • metastore.migrations.delete
request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

DeleteServiceRequest

DataprocMetastore.DeleteService 的请求消息。

字段
name

string

必需。要删除的元存储服务的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • metastore.services.delete
request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

EncryptionConfig

服务的加密设置。

字段
kms_key

string

客户提供的要用于客户数据加密的完全限定 Cloud KMS 密钥名称,格式如下:

projects/{project_number}/locations/{location_id}/keyRings/{key_ring_id}/cryptoKeys/{crypto_key_id}

ErrorDetails

DataprocMetastore.QueryMetadata 的公开错误消息中的错误详情。

字段
details

map<string, string>

有关此错误的其他结构化详细信息。

键用于定义失败项。值用于描述商品的异常情况或详细信息。

ExportMetadataRequest

DataprocMetastore.ExportMetadata 的请求消息。

字段
service

string

必需。要运行导出的 Metastore 服务的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.services.export
request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

database_dump_type

Type

可选。数据库转储的类型。如果未指定,则默认为 MYSQL

联合字段 destination。必需。元数据的导出目标位置。destination 只能是下列其中一项:
destination_gcs_folder

string

文件夹的 Cloud Storage URI,格式为 gs://<bucket_name>/<path_inside_bucket>。系统会在该文件夹下创建一个包含导出文件的子文件夹 <export_folder>

联盟

表示多个后端元存储空间的联合。

字段
name

string

不可变。联邦的相对资源名称,格式为:projects/{project_number}/locations/{location_id}/federations/{federation_id}`。

create_time

Timestamp

仅限输出。元存储空间联邦的创建时间。

update_time

Timestamp

仅限输出。上次更新元数据存储空间联邦的时间。

labels

map<string, string>

元数据存储空间联盟的用户定义标签。

version

string

不可变。联邦的 Apache Hive Metastore 版本。所有后端元存储版本都必须与联邦版本兼容。

backend_metastores

map<int32, BackendMetastore>

一个映射,用于将 BackendMetastore 排名映射到 BackendMetastore,联合服务会在查询时从这些 BackendMetastore 提供元数据。映射键表示在查询时解析数据库名称时应对 BackendMetastore 求值的顺序,并且应大于或等于零。编号较小的 BackendMetastore 会优先于编号较大的 BackendMetastore 进行评估。

endpoint_uri

string

仅限输出。联合端点。

state

State

仅限输出。联盟的当前状态。

state_message

string

仅限输出。有关元数据存储空间联邦当前状态的更多信息(如果有)。

uid

string

仅限输出。元存储空间联邦的全局唯一资源标识符。

联盟的当前状态。

枚举
STATE_UNSPECIFIED 元存储空间联邦的状态未知。
CREATING 元数据存储库联合正在创建中。
ACTIVE 元数据存储空间联邦正在运行,可以处理查询。
UPDATING 元数据存储空间联邦正在更新。该应用仍可使用,但目前无法接受其他更新请求,也无法被删除。
DELETING Metastore 联合正在删除中。无法使用。
ERROR Metastore 联合遇到错误,无法使用。应删除元数据存储空间联合。

GetBackupRequest

DataprocMetastore.GetBackup 的请求消息。

字段
name

string

必需。要检索的备份的相对资源名称,采用以下格式:

projects/{project_number}/locations/{location_id}/services/{service_id}/backups/{backup_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • metastore.backups.get

GetFederationRequest

GetFederation 的请求消息。

字段
name

string

必需。要检索的元存储空间联邦的相对资源名称,采用以下格式:

projects/{project_number}/locations/{location_id}/federations/{federation_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • metastore.federations.get

GetMetadataImportRequest

DataprocMetastore.GetMetadataImport 的请求消息。

字段
name

string

必需。要检索的元数据导入的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/metadataImports/{import_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • metastore.imports.get

GetMigrationExecutionRequest

DataprocMetastore.GetMigrationExecution 的请求消息。

字段
name

string

必需。要检索的迁移执行的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • metastore.migrations.get

GetServiceRequest

DataprocMetastore.GetService 的请求消息。

字段
name

string

必需。要检索的元存储空间服务的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • metastore.services.get

HiveMetastoreConfig

指定特定于将 Hive Metastore 软件作为 Metastore 服务运行的配置信息。

字段
version

string

不可变。Hive Metastore 架构版本。

config_overrides

map<string, string>

要应用于 Hive Metastore(在 hive-site.xml 中配置)的 Hive Metastore 配置键值对的映射。映射会替换系统默认设置(某些键无法替换)。这些替换项也会应用于辅助版本,并且可以在辅助版本的 AuxiliaryVersionConfig 中进一步自定义。

kerberos_config

KerberosConfig

用于将 Hive Metastore 服务配置为 Kerberos 域中的服务主账号的信息。如需停用 Kerberos,请使用 UpdateService 方法,并在请求的 update_mask 中指定此字段的路径 (hive_metastore_config.kerberos_config),同时从请求的 service 中省略此字段。

endpoint_protocol

EndpointProtocol

要为 Metastore 服务端点使用的协议。如果未指定,则默认为 THRIFT

auxiliary_versions

map<string, AuxiliaryVersionConfig>

将 Hive Metastore 版本映射到辅助版本配置。在指定此项之后,系统会随主服务一并创建辅助 Hive Metastore 服务。所有辅助版本都必须低于服务的主要版本。键是辅助服务名称,必须与正则表达式 a-z? 匹配。这意味着第一个字符必须是小写字母,且所有后续字符必须是连字符、小写字母或数字,但最后一个字符不能是连字符。

EndpointProtocol

可用于提供 Metastore 服务端点的协议。

枚举
ENDPOINT_PROTOCOL_UNSPECIFIED 未设置协议。
THRIFT 为 Metastore 服务端点使用旧版 Apache Thrift 协议。
GRPC 为 Metastore 服务端点使用现代化 gRPC 协议。

KerberosConfig

Kerberos 正文的配置信息。

字段
keytab

Secret

可用于通过 Kerberos 密钥分发中心 (KDC) 对服务主账号进行身份验证的 Kerberos keytab 文件。

principal

string

同时存在于 keytab 和 KDC 中的 Kerberos 主账号,用于进行身份验证。典型主账号的形式为 primary/instance@REALM,但并没有确切格式要求。

krb5_config_gcs_uri

string

用于指定 krb5.conf 文件路径的 Cloud Storage URI。其格式为 gs://{bucket_name}/path/to/krb5.conf,但文件无需明确命名为 krb5.conf。

表示 Lake 资源

字段
name

string

数据湖资源名称。示例:projects/{project_number}/locations/{location_id}/lakes/{lake_id}

LatestBackup

最新的定期备份的详细信息。

字段
backup_id

string

仅限输出。正在进行的计划备份的 ID。如果没有任何备份正在进行,则为空。

start_time

Timestamp

仅限输出。开始备份的时间。

state

State

仅限输出。备份的当前状态。

duration

Duration

仅限输出。备份完成所需的时间。

备份的当前状态。

枚举
STATE_UNSPECIFIED 备份的状态未知。
IN_PROGRESS 正在备份。
SUCCEEDED 备份已完成。
FAILED 备份失败。

LimitConfig

表示元存储空间服务的自动扩缩限制配置。

字段
max_scaling_factor

float

可选。服务应自动扩缩到的最高扩缩系数。

min_scaling_factor

float

可选。服务应自动扩缩到的最低扩缩系数。

ListBackupsRequest

DataprocMetastore.ListBackups 的请求消息。

字段
parent

string

必需。要列出其备份的服务的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/backups

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • metastore.backups.list
page_size

int32

可选。要返回的备份的最大数量。响应中包含的数量可能少于上限。如果未指定,则最多返回 500 个备份。最大值为 1,000;大于 1,000 的值会更改为 1,000。

page_token

string

可选。从之前的 DataprocMetastore.ListBackups 调用接收的页面令牌。提供此令牌以检索后续页面。

如需检索第一页,请提供空的页面令牌。

进行分页时,提供给 DataprocMetastore.ListBackups 的其他参数必须与提供页面令牌的调用匹配。

filter

string

可选。要应用于列表结果的过滤条件。

order_by

string

可选。指定结果的排序,如排序顺序中所述。如果未指定,结果将按默认顺序排序。

ListBackupsResponse

DataprocMetastore.ListBackups 的响应消息。

字段
backups[]

Backup

指定服务的备份。

next_page_token

string

可作为 page_token 发送并用于检索下一页的令牌。如果省略此字段,则不存在后续页面。

unreachable[]

string

无法到达的位置。

ListFederationsRequest

ListFederations 的请求消息。

字段
parent

string

必需。要列出的 Metastore 联合位置的相对资源名称,格式为:projects/{project_number}/locations/{location_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • metastore.federations.list
page_size

int32

可选。要返回的联盟的最大数量。响应中包含的数量可能少于上限。如果未指定,则最多返回 500 项服务。最大值为 1,000;大于 1,000 的值会更改为 1,000。

page_token

string

可选。从之前的 ListFederationServices 调用接收的页面令牌。提供此令牌以检索后续页面。

如需检索第一页,请提供空的页面令牌。

进行分页时,提供给 ListFederationServices 的其他参数必须与提供页面令牌的调用匹配。

filter

string

可选。要应用于列表结果的过滤条件。

order_by

string

可选。指定结果的排序,如排序顺序中所述。如果未指定,结果将按默认顺序排序。

ListFederationsResponse

ListFederations 的响应消息

字段
federations[]

Federation

指定位置的服务。

next_page_token

string

可作为 page_token 发送并用于检索下一页的令牌。如果省略此字段,则不存在后续页面。

unreachable[]

string

无法到达的位置。

ListMetadataImportsRequest

DataprocMetastore.ListMetadataImports 的请求消息。

字段
parent

string

必需。要将元数据导入到列表中的服务的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/metadataImports

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • metastore.imports.list
page_size

int32

可选。要返回的导入的最大数量。响应中包含的数量可能少于上限。如果未指定,则最多返回 500 项导入。最大值为 1,000;大于 1,000 的值会更改为 1,000。

page_token

string

可选。从之前的 DataprocMetastore.ListServices 调用接收的页面令牌。提供此令牌以检索后续页面。

如需检索第一页,请提供空的页面令牌。

进行分页时,提供给 DataprocMetastore.ListServices 的其他参数必须与提供页面令牌的调用匹配。

filter

string

可选。要应用于列表结果的过滤条件。

order_by

string

可选。指定结果的排序,如排序顺序中所述。如果未指定,结果将按默认顺序排序。

ListMetadataImportsResponse

DataprocMetastore.ListMetadataImports 的响应消息。

字段
metadata_imports[]

MetadataImport

指定服务中的导入项。

next_page_token

string

可作为 page_token 发送并用于检索下一页的令牌。如果省略此字段,则不存在后续页面。

unreachable[]

string

无法到达的位置。

ListMigrationExecutionsRequest

DataprocMetastore.ListMigrationExecutions 的请求消息。

字段
parent

string

必需。要列出的迁移执行的服务的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • metastore.migrations.list
page_size

int32

可选。要返回的迁移执行次数上限。响应中包含的数量可能少于上限。如果未指定,则最多返回 500 次迁移执行。最大值为 1,000;大于 1,000 的值会更改为 1,000。

page_token

string

可选。从之前的 DataprocMetastore.ListMigrationExecutions 调用接收的页面令牌。提供此令牌以检索后续页面。

如需检索第一页,请提供空的页面令牌。

进行分页时,提供给 DataprocMetastore.ListMigrationExecutions 的其他参数必须与提供页面令牌的调用匹配。

filter

string

可选。要应用于列表结果的过滤条件。

order_by

string

可选。指定结果的排序,如排序顺序中所述。如果未指定,结果将按默认顺序排序。

ListMigrationExecutionsResponse

DataprocMetastore.ListMigrationExecutions 的响应消息。

字段
migration_executions[]

MigrationExecution

指定服务上的迁移执行情况。

next_page_token

string

可作为 page_token 发送并用于检索下一页的令牌。如果省略此字段,则不存在后续页面。

unreachable[]

string

无法到达的位置。

ListServicesRequest

DataprocMetastore.ListServices 的请求消息。

字段
parent

string

必需。要列出的 Metastore 服务所在位置的相对资源名称,采用以下格式:

projects/{project_number}/locations/{location_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • metastore.services.list
page_size

int32

可选。要返回的服务的最大数量。响应中包含的数量可能少于上限。如果未指定,则最多返回 500 项服务。最大值为 1,000;大于 1,000 的值会更改为 1,000。

page_token

string

可选。从之前的 DataprocMetastore.ListServices 调用接收的页面令牌。提供此令牌以检索后续页面。

如需检索第一页,请提供空的页面令牌。

进行分页时,提供给 DataprocMetastore.ListServices 的其他参数必须与提供页面令牌的调用匹配。

filter

string

可选。要应用于列表结果的过滤条件。

order_by

string

可选。指定结果的排序,如排序顺序中所述。如果未指定,结果将按默认顺序排序。

ListServicesResponse

DataprocMetastore.ListServices 的响应消息。

字段
services[]

Service

指定位置的服务。

next_page_token

string

可作为 page_token 发送并用于检索下一页的令牌。如果省略此字段,则不存在后续页面。

unreachable[]

string

无法到达的位置。

LocationMetadata

与某个营业地点的服务相关的元数据。

字段
supported_hive_metastore_versions[]

HiveMetastoreVersion

在此位置创建新 Metastore 服务时可以使用的 Hive Metastore 版本。服务器会保证列表中的只有一个 HiveMetastoreVersion 将设置 is_default

multi_region_metadata

MultiRegionMetadata

如果当前区域为多区域,则为多区域元数据。

custom_region_metadata[]

CustomRegionMetadata

如果当前区域是自定义区域,则支持的可能配置。

CustomRegionMetadata

有关自定义区域的元数据。只有在地区是自定义地区时,系统才会填充此字段。对于单个/多个区域,此字段将为空。

字段
required_read_write_regions[]

string

此自定义区域的读写地区。

optional_read_only_regions[]

string

此自定义区域的只读区域。

witness_region

string

此自定义区域的 Spanner 见证者区域。

HiveMetastoreVersion

支持的 Hive Metastore 软件版本的规范。

字段
version

string

Hive Metastore 软件的语义版本。

is_default

bool

如果使用省略 versionHiveMetastoreConfig 创建元数据存储服务,服务器是否会选择 version

MultiRegionMetadata

包含组成区域的多区域的元数据。只有在地区为多区域时,系统才会填充元数据。对于单区域或自定义双区域,此字段将为空。

字段
constituent_regions[]

string

构成多区域的区域。

MaintenanceWindow

维护期。这用于指定 Dataproc Metastore 可对服务执行系统维护操作的时间。

字段
hour_of_day

Int32Value

时段开始时的小时数 (0-23)。

day_of_week

DayOfWeek

时间段的开始日期(星期几)。

MetadataExport

元数据导出操作的详细信息。

字段
start_time

Timestamp

仅限输出。导出开始的时间。

end_time

Timestamp

仅限输出。导出结束的时间。

state

State

仅限输出。导出的当前状态。

database_dump_type

Type

仅限输出。数据库转储的类型。

联合字段 destination

destination 只能是下列其中一项:

destination_gcs_uri

string

仅限输出。元数据导出到的文件夹的 Cloud Storage URI,格式为 gs://<bucket_name>/<path_inside_bucket>/<export_folder>,其中 <export_folder> 由系统自动生成。

元数据导出的当前状态。

枚举
STATE_UNSPECIFIED 元数据导出的状态未知。
RUNNING 元数据导出正在运行。
SUCCEEDED 元数据导出已成功完成。
FAILED 元数据导出失败。
CANCELLED 元数据导出操作已取消。

MetadataImport

用于导入元数据的元存储空间资源。

字段
name

string

不可变。元数据导入的相对资源名称,格式为:

projects/{project_number}/locations/{location_id}/services/{service_id}/metadataImports/{metadata_import_id}

description

string

元数据导入的说明。

create_time

Timestamp

仅限输出。元数据导入的开始时间。

update_time

Timestamp

仅限输出。上次更新元数据导入内容的时间。

end_time

Timestamp

仅限输出。元数据导入完成的时间。

state

State

仅限输出。元数据导入的当前状态。

联合字段 metadata。要导入的元数据。metadata 只能是下列其中一项:
database_dump

DatabaseDump

不可变。现有元存储空间数据库中的数据库转储。

DatabaseDump

用于指定关系型数据库管理系统中数据库转储文件的位置和元数据的规范。

字段
database_type
(deprecated)

DatabaseType

数据库的类型。

gcs_uri

string

Cloud Storage 对象或文件夹 URI,用于指定要从中导入元数据的来源。该路径必须以 gs:// 开头。

source_database
(deprecated)

string

来源数据库的名称。

type

Type

可选。数据库转储的类型。如果未指定,则默认为 MYSQL

DatabaseType

数据库的类型。

枚举
DATABASE_TYPE_UNSPECIFIED 来源数据库的类型未知。
MYSQL 来源数据库的类型为 MySQL。

元数据导入的当前状态。

枚举
STATE_UNSPECIFIED 元数据导入状态未知。
RUNNING 元数据导入正在运行。
SUCCEEDED 元数据导入已成功完成。
UPDATING 正在更新元数据导入。
FAILED 元数据导入失败,并且尝试进行的元数据更改已回滚。

MetadataIntegration

指定 Metastore 元数据应如何与外部服务集成。

字段
data_catalog_config

DataCatalogConfig

可选。Data Catalog 服务的集成配置。

dataplex_config

DataplexConfig

Dataplex 服务的集成配置。

MetadataManagementActivity

Metastore 服务的元数据管理活动。

字段
metadata_exports[]

MetadataExport

仅限输出。Metastore 服务的最新元数据导出内容。

restores[]

Restore

仅限输出。Metastore 服务的最新恢复。

MigrationExecution

迁移执行资源的详细信息。

字段
name

string

仅限输出。迁移执行的相对资源名称,格式如下:projects/{project_number}/locations/{location_id}/services/{service_id}/migrationExecutions/{migration_execution_id}

create_time

Timestamp

仅限输出。迁移执行的开始时间。

end_time

Timestamp

仅限输出。迁移执行完成的时间。

state

State

仅限输出。迁移执行的当前状态。

phase

Phase

仅限输出。迁移执行的当前阶段。

state_message

string

仅限输出。有关迁移执行当前状态的更多信息。

联合字段 migration_config。Dataproc Metastore 为启动迁移流程 migration_config 而需要的配置信息只能是以下任一项:
cloud_sql_migration_config

CloudSQLMigrationConfig

专门针对从 Google Cloud 上使用 Cloud SQL 作为后端数据库的自行管理的 Hive Metastore 迁移到 Dataproc Metastore 的配置信息。

CloudSQLMigrationConfig

使用 Cloud SQL 作为后端数据库,从 Google Cloud 上自行管理的 Hive Metastore 迁移到 Dataproc Metastore 的配置信息。

字段
cdc_config

CdcConfig

必需。此配置信息用于启动从客户数据库到 Dataproc Metastore 后端数据库的变更数据捕获 (CDC) 数据流。在迁移的割接阶段之后,Dataproc Metastore 会切换为使用其后端数据库。

cloud_sql_connection_config

CloudSQLConnectionConfig

必需。用来在迁移的割接阶段之前建立客户数据库连接的配置信息

CdcConfig

此配置信息用于启动从客户数据库到 Dataproc Metastore 后端数据库的变更数据捕获 (CDC) 数据流。

字段
vpc_network

string

必需。Cloud SQL 实例的 VPC 网络的完全限定名称,或是 Datastream 要进行对等互连的共享 VPC 网络的完全限定名称,格式为:projects/{project_id}/locations/global/networks/{network_id}。如需了解更多背景信息,请参阅 https://cloud.google.com/datastream/docs/network-connectivity-options#privateconnectivity

subnet_ip_range

string

必需。与 Datastream 进行对等互连的 /29 CIDR IP 范围。

username

string

必需。Datastream 服务应用于 MySQL 连接的用户名。

password

string

必需。仅限输入。Datastream 服务应用于 MySQL 连接的用户的密码。系统不会在请求时返回此字段。

reverse_proxy_subnet

string

必需。这是一个子网资源的网址,托管反向代理的虚拟机实例将在此子网资源中创建。如需了解更多背景信息,请参阅 https://cloud.google.com/datastream/docs/private-connectivity#reverse-csql-proxy。此子网应位于 Datastream 要进行对等互连的请求所指定的网络内,并且应与 Datastream 处于同一个区域,采用以下格式。projects/{project_id}/regions/{region_id}/subnetworks/{subnetwork_id}

bucket

string

可选。要将中间流事件数据写入其中的存储桶。存储分区名称不得包含任何类似“gs://”的前缀。请参阅存储分区命名要求。此字段是可选字段。如果未设置,系统将使用制品 Cloud Storage 存储桶。

root_path

string

可选。Cloud Storage 存储分区内的根路径。流事件数据将写入此路径。默认值为 /migration

CloudSQLConnectionConfig

用来在迁移的割接阶段之前建立客户数据库连接的配置信息

字段
instance_connection_name

string

必需。Cloud SQL 数据库连接名称(project_id:region:instance_name)

ip_address

string

必需。Cloud SQL 实例的专用 IP 地址。

port

int32

必需。数据库的网络端口。

hive_database_name

string

必需。Hive 数据库名称。

username

string

必需。Dataproc Metastore 服务在连接到数据库时要使用的用户名。

password

string

必需。仅限输入。Dataproc Metastore 服务在连接到数据库时要使用的用户的密码。系统不会在请求时返回此字段。

proxy_subnet

string

必需。要在其中部署 SOCKS5 代理服务的子网的相对资源名称。该子网应位于可访问 Cloud SQL 实例的网络内。资源名称应采用 projects/{project_id}/regions/{region_id}/subnetworks/{subnetwork_id} 格式

nat_subnet

string

必需。要为 Private Service Connect 使用的子网的相对资源名称。请注意,此子网不能是常规子网,且仅可用于 NAT。https://cloud.google.com/vpc/docs/about-vpc-hosted-services#psc-subnets此子网用于发布 SOCKS5 代理服务。子网大小必须至少为 /29,并且应位于可访问 Cloud SQL 实例的网络内。资源名称应采用 projects/{project_id}/regions/{region_id}/subnetworks/{subnetwork_id} 格式

阶段

迁移执行的当前阶段。

枚举
PHASE_UNSPECIFIED 迁移执行阶段未知。
REPLICATION 复制阶段是指 Dataproc Metastore 运行流水线将客户数据库中的更改复制到其后端数据库的迁移阶段。在此阶段,Dataproc Metastore 使用客户数据库作为 Hive Metastore 后端数据库。
CUTOVER 割接阶段是指 Dataproc Metastore 切换为使用自己的后端数据库的迁移阶段。当客户将所有集群/工作负载迁移到 Dataproc Metastore 并触发 CompleteMigration 时,迁移会进入此阶段。

迁移执行的当前状态。

枚举
STATE_UNSPECIFIED 迁移执行状态未知。
STARTING 迁移执行任务正在启动。
RUNNING 迁移执行任务正在运行。
CANCELLING 迁移执行任务正在取消。
AWAITING_USER_ACTION 迁移执行任务正在等待用户操作。
SUCCEEDED 迁移执行已成功完成。
FAILED 迁移执行任务失败。
CANCELLED 迁移执行任务已取消。
DELETING 正在删除迁移执行任务。

MoveTableToDatabaseRequest

DataprocMetastore.MoveTableToDatabase 的请求消息。

字段
service

string

必需。用于更改元数据的 Metastore 服务的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.services.mutateMetadata
table_name

string

必需。要移动的表的名称。

db_name

string

必需。表所在数据库的名称。

destination_db_name

string

必需。要将表移至其中的数据库的名称。

MoveTableToDatabaseResponse

此类型没有字段。

DataprocMetastore.MoveTableToDatabase 的响应消息。

MultiRegionConfig

Dataproc Metastore 服务的多区域配置。

字段
certificates[]
(deprecated)

RootCACertificate

仅限输出。gRPC 客户端用于连接到多区域 Dataproc Metastore 服务的根 CA 证书列表。

custom_region_config

CustomRegionConfig

CustomRegionConfig

用于指定 Metastore 服务运行的区域的自定义配置。目前仅在 us 多区域中受支持。

字段
read_write_regions[]

string

必需。运行 Metastore 服务的读写区域列表。这些区域应属于多区域的一部分(或子集)。

read_only_regions[]

string

可选。运行 Metastore 服务的只读区域的列表。这些区域应属于多区域的一部分(或子集)。

RootCACertificate

gRPC 客户端必须安装所有根 CA 证书,才能连接到多区域 Dataproc Metastore 服务并实现故障切换。

字段
certificate
(deprecated)

string

采用 PEM 格式的根 CA 证书。长度上限为 65536 字节。

expiration_time
(deprecated)

Timestamp

证书到期时间(采用时间戳格式)。

NetworkConfig

Dataproc Metastore 服务的网络配置。

字段
consumers[]

Consumer

不可变。Dataproc Metastore 实例的使用方网络配置。

custom_routes_enabled

bool

支持为 Dataproc Metastore 服务的对等互连 VPC 网络导入和导出自定义路由。

使用方

包含客户网络配置的信息。

字段
endpoint_uri

string

仅限输出。用于访问 Metastore 服务的端点的 URI。

endpoint_location

string

仅限输出。端点 URI 的位置。格式:projects/{project}/locations/{location}

联合字段 vpc_resource

vpc_resource 只能是下列其中一项:

subnetwork

string

不可变。客户项目的子网,系统会从中预留一个 IP 地址,并将其用作 Dataproc Metastore 服务的端点。子网中的主机以及同一区域和同一网络中子网中的所有主机都可以访问该网关。子网的主要范围中必须至少有一个可用的 IP 地址。子网按以下格式指定:

projects/{project_number}/regions/{region_id}/subnetworks/{subnetwork_id}

OperationMetadata

表示长时间运行的操作的元数据。

字段
create_time

Timestamp

仅供输出。操作的创建时间。

end_time

Timestamp

仅供输出。操作完成运行的时间。

target

string

仅限输出。由服务器定义的操作目标的资源路径。

verb

string

仅限输出。操作执行的谓词的名称。

status_message

string

仅限输出。人类可读的操作状态(如果有)。

requested_cancellation

bool

仅限输出。标识调用方是否已请求取消操作。已成功取消的操作具有 [Operation.error][] 值且 google.rpc.Status.code 为 1,对应于 Code.CANCELLED

api_version

string

仅限输出。用于启动操作的 API 版本。

QueryMetadataRequest

DataprocMetastore.QueryMetadata 的请求消息。

字段
service

string

必需。用于查询元数据的 Metastore 服务的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.services.queryMetadata
query

string

必需。要对元数据数据库执行的只读 SQL 查询。查询无法更改或修改数据。

QueryMetadataResponse

DataprocMetastore.QueryMetadata 的响应消息。

字段
result_manifest_uri

string

清单 URI 是指向 Cloud Storage 中的 JSON 实例的链接。此实例会立即与 QueryMetadataResponse 一起显示。只有在针对元数据的长时间运行操作查询完成后,才能检索 URI 的内容。

RemoveIamPolicyRequest

DataprocMetastore.RemoveIamPolicy 的请求消息。

字段
resource

string

必需。要移除 IAM 政策的数据平面资源的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}/databases/{database_id}projects/{project_id}/locations/{location_id}/services/{service_id}/databases/{database_id}/tables/{table_id}

asynchronous

bool

可选。在 IAM 政策设置后,异步移除与数据库或表关联的 IAM 政策。默认值为 false。

RemoveIamPolicyResponse

DataprocMetastore.RemoveIamPolicy 的响应消息。

字段
success

bool

如果政策已成功移除,则为 True。

恢复

元数据恢复操作的详细信息。

字段
start_time

Timestamp

仅限输出。恢复开始的时间。

end_time

Timestamp

仅限输出。恢复结束的时间。

state

State

仅限输出。恢复的当前状态。

backup

string

仅限输出。要从中恢复的 Metastore 服务备份的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}

type

RestoreType

仅限输出。恢复类型。

details

string

仅限输出。包含要恢复到的服务修订版本的恢复详情,采用 JSON 格式。

backup_location

string

可选。用于指定备份工件存储位置的 Cloud Storage URI,格式为 gs://<bucket_name>/<path_inside_bucket>

RestoreType

恢复类型。如果未指定,则默认为 METADATA_ONLY

枚举
RESTORE_TYPE_UNSPECIFIED 恢复类型未知。
FULL 系统会恢复服务的元数据和配置。
METADATA_ONLY 系统只会恢复服务的元数据。

恢复的当前状态。

枚举
STATE_UNSPECIFIED 元数据恢复状态未知。
RUNNING 元数据恢复正在运行。
SUCCEEDED 元数据恢复已成功完成。
FAILED 元数据恢复失败。
CANCELLED 元数据恢复已取消。

RestoreServiceRequest

[DataprocMetastore.Restore][] 的请求消息。

字段
service

string

必需。要运行恢复操作的 Metastore 服务的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.services.restore
backup

string

可选。要从中恢复的 Metastore 服务备份的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}。与 backup_location 相互排斥,并且必须设置这两者中的一个。

必须对指定的资源 backup 具有以下 IAM 权限才能进行授权:

  • metastore.backups.use
backup_location

string

可选。一个 Cloud Storage URI,用于指定备份工件的位置,即“avro/”下的备份 avro 文件、backup_metastore.json 和 service.json,格式如下:

gs://<path_to_backup>。与 backup 相互排斥,并且必须设置这两者中的一个。

restore_type

RestoreType

可选。恢复类型。如果未指定,则默认为 METADATA_ONLY

request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

ScalingConfig

表示元存储空间服务的扩缩配置。

字段
autoscaling_config

AutoscalingConfig

可选。自动扩缩配置。

联合字段 scaling_model。表示预先确定的实例大小或数值缩放因子。scaling_model 只能是下列其中一项:
instance_size

InstanceSize

可读取实例大小的枚举,每个实例大小都映射到一个浮点值(例如 InstanceSize.EXTRA_SMALL = scaling_factor(0.1))

scaling_factor

float

缩放比例,小于 1.0 的值以 0.1 为增量,大于 1.0 的值以 1.0 为增量。

InstanceSize

Metastore 实例大小。

枚举
INSTANCE_SIZE_UNSPECIFIED 未指定实例大小
EXTRA_SMALL 超小实例大小,对应于扩缩系数 0.1。
SMALL 实例大小较小,对应于缩放系数 0.5。
MEDIUM 中等实例大小,对应于缩放系数 1.0。
LARGE 实例大小较大,对应于缩放系数 3.0。
EXTRA_LARGE 超大型实例大小,对应于缩放系数 6.0。

ScheduledBackup

这会指定定期备份的配置。

字段
enabled

bool

可选。用于定义是否启用了定期备份。默认值为 false。

cron_schedule

string

可选。安排的间隔时间(采用 Cron 格式),请参阅 https://en.wikipedia.org/wiki/Cron。默认值为空:未启用定期备份。必须指定此参数才能启用计划备份。

time_zone

string

可选。指定解析 cron_schedule 时要使用的时区。必须是时区数据库 (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) 中的时区名称,例如 America/Los_Angeles 或 Africa/Abidjan。如果未指定,则默认为世界协调时间 (UTC)。

next_scheduled_time

Timestamp

仅限输出。安排的下一次备份执行的开始时间。

backup_location

string

可选。文件夹的 Cloud Storage URI,格式为 gs://<bucket_name>/<path_inside_bucket>。系统会在其下方存储包含备份文件的子文件夹 <backup_folder>

latest_backup

LatestBackup

仅限输出。最新的定期备份的详细信息。

Secret

安全存储的值。

字段

联合字段 value

value 只能是下列其中一项:

cloud_secret

string

Secret Manager Secret 版本的相对资源名称,采用以下格式:

projects/{project_number}/secrets/{secret_id}/versions/{version_id}

服务

用于处理元数据查询的托管式 Metastore 服务。

字段
name

string

不可变。元存储空间服务的相对资源名称,格式如下:

projects/{project_number}/locations/{location_id}/services/{service_id}

create_time

Timestamp

仅限输出。Metastore 服务的创建时间。

update_time

Timestamp

仅限输出。上次更新元数据存储服务的时间。

labels

map<string, string>

Metastore 服务的用户定义标签。

network

string

不可变。可以在其中访问实例的 VPC 网络的相对资源名称。其格式如下:

projects/{project_number}/global/networks/{network_id}

endpoint_uri

string

仅限输出。用于访问 Metastore 服务的端点的 URI。

port

int32

用于访问 Metastore 服务的 TCP 端口。默认端口:9083。

state

State

仅限输出。元存储空间服务的当前状态。

state_message

string

仅限输出。有关 Metastore 服务当前状态的更多信息(如果有)。

artifact_gcs_uri

string

仅限输出。一个 Cloud Storage URI(以 gs:// 开头),用于指定与元存储空间服务相关的工件存储位置。

tier

Tier

服务层级。

metadata_integration

MetadataIntegration

可选。用于定义 Metastore 元数据应如何与外部服务和系统集成的设置。

maintenance_window

MaintenanceWindow

Metastore 服务的一小时维护窗口。这用于指定何时可以重启服务以进行维护(以世界协调时间 [UTC] 为单位)。使用 SPANNER 数据库类型的服务不需要维护时间窗口。

uid

string

仅限输出。元存储空间服务的全局唯一资源标识符。

metadata_management_activity

MetadataManagementActivity

仅限输出。Metastore 服务的元数据管理活动。

release_channel

ReleaseChannel

不可变。服务的发布渠道。如果未指定,则默认为 STABLE

encryption_config

EncryptionConfig

不可变。用于配置 Dataproc Metastore 服务以加密客户端静态数据的信息。无法更新。

network_config

NetworkConfig

用于指定 Dataproc Metastore 服务的网络设置的配置。

database_type

DatabaseType

不可变。Metastore 服务存储其数据的数据库类型。

telemetry_config

TelemetryConfig

用于指定 Dataproc Metastore 服务遥测设置的配置。如果未指定,则默认为 JSON

scaling_config

ScalingConfig

Metastore 服务的扩缩配置。

multi_region_config

MultiRegionConfig

可选。指定 Hive Metastore 服务的多区域配置信息。

scheduled_backup

ScheduledBackup

可选。Metastore 服务的定期备份配置。

deletion_protection

bool

可选。指明是否应保护 Dataproc Metastore 免遭意外删除。

联合字段 metastore_config。特定于底层元数据存储服务技术(用于处理元数据存储查询的软件)的配置属性。metastore_config 只能是下列其中一项:
hive_metastore_config

HiveMetastoreConfig

特定于将 Hive Metastore 软件作为 Metastore 服务运行的配置信息。

DatabaseType

Metastore 服务的后端数据库类型。

枚举
DATABASE_TYPE_UNSPECIFIED 未设置 DATABASE_TYPE。
MYSQL MySQL 用于保留元数据存储库数据。
SPANNER Spanner 用于保留元存储空间数据。

ReleaseChannel

发布渠道捆绑不同稳定性级别的功能。较新功能可能最初会引入到不太稳定的发布渠道,然后可以自动升级到更稳定的发布渠道。

枚举
RELEASE_CHANNEL_UNSPECIFIED 未指定发布渠道。
CANARY CANARY 发布渠道包含最新功能,这些功能可能还不稳定,并且可能会出现尚无已知解决方法的未解决问题。使用 CANARY 发布渠道的服务不在任何服务等级协议 (SLA) 的涵盖范围内。
STABLE STABLE 发布渠道包含会被视为稳定且经过验证适合生产使用的功能。

元存储空间服务的当前状态。

枚举
STATE_UNSPECIFIED Metastore 服务的状态未知。
CREATING Metastore 服务正在创建中。
ACTIVE Metastore 服务正在运行,可以处理查询。
SUSPENDING Metastore 服务即将进入暂停状态。其查询服务可能会意外中止。
SUSPENDED Metastore 服务已暂停,无法处理查询。
UPDATING Metastore 服务正在更新。该应用仍可使用,但目前无法接受其他更新请求,也无法被删除。
DELETING Metastore 服务正在删除中。无法使用。
ERROR Metastore 服务遇到了错误,无法使用。应删除 Metastore 服务。
AUTOSCALING Dataproc Metastore 服务 2 正在扩容或缩容。
MIGRATING Metastore 服务正在处理托管式迁移。

层级

可用的服务层级。

枚举
TIER_UNSPECIFIED 未设置层级。
DEVELOPER 开发者层级提供有限的可伸缩性,且没有容错能力。此层级适合低成本概念验证。
ENTERPRISE 企业层级面向企业级 Dataproc Metastore 工作负载,提供了多可用区高可用性和充分的可伸缩性。

StartMigrationRequest

DataprocMetastore.StartMigration 的请求消息。

字段
service

string

必需。要开始迁移到的 Metastore 服务的相对资源名称,格式如下:

projects/{project_id}/locations/{location_id}/services/{service_id}

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.migrations.start
migration_execution

MigrationExecution

必需。迁移的配置详情。

request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

TelemetryConfig

Dataproc Metastore 服务的遥测配置。

字段
log_format

LogFormat

Dataproc Metastore 服务日志的输出格式。

LogFormat

枚举
LOG_FORMAT_UNSPECIFIED 未设置 LOG_FORMAT。
LEGACY 日志输出使用旧版 textPayload 格式。
JSON 日志输出使用 jsonPayload 格式。

UpdateFederationRequest

UpdateFederation 的请求消息。

字段
update_mask

FieldMask

必需。用于指定更新将在元存储空间联邦资源中覆盖的字段的字段掩码。update_mask 中指定的字段与资源相关,而不是与完整请求相关。如果字段在掩码中,则会被覆盖。

federation

Federation

必需。要更新的元存储空间联合。只有在 update_mask 中指定了服务中的字段时,服务器才会合并这些字段。

Metastore 联盟的 name 字段用于标识要更新的 Metastore 服务。

必须对指定的资源 federation 具有以下 IAM 权限才能进行授权:

  • metastore.federations.update
request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

UpdateMetadataImportRequest

DataprocMetastore.UpdateMetadataImport 的请求消息。

字段
update_mask

FieldMask

必需。用于指定更新将在元数据导入资源中覆盖的字段的字段掩码。update_mask 中指定的字段与资源相关,而不是与完整请求相关。如果字段在掩码中,则会被覆盖。

metadata_import

MetadataImport

必需。要更新的元数据导入。只有在 update_mask 中指定了导入内容中的字段时,服务器才会合并这些字段。

元数据导入的 name 字段用于标识要更新的元数据存储空间导入。

必须对指定的资源 metadataImport 具有以下 IAM 权限才能进行授权:

  • metastore.imports.update
request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。

UpdateServiceRequest

DataprocMetastore.UpdateService 的请求消息。

字段
update_mask

FieldMask

必需。用于指定更新将在 Metastore 服务资源中覆盖的字段的字段掩码。update_mask 中指定的字段与资源相关,而不是与完整请求相关。如果字段在掩码中,则会被覆盖。

service

Service

必需。要更新的 Metastore 服务。只有在 update_mask 中指定了服务中的字段时,服务器才会合并这些字段。

Metastore 服务的 name 字段用于标识要更新的 Metastore 服务。

必须对指定的资源 service 具有以下 IAM 权限才能进行授权:

  • metastore.services.update
request_id

string

可选。请求 ID。您可以指定一个唯一的请求 ID,以允许服务器在请求完成后忽略该请求。在第一次请求后的至少 60 分钟内,服务器会忽略提供重复请求 ID 的后续请求。

例如,如果初始请求超时,紧随其后又发出了一个具有相同请求 ID 的请求,服务器会忽略第二个请求,以防止创建重复的提交。

请求 ID 必须是有效的 UUID。不支持全部由零组成的 UUID(即 00000000-0000-0000-0000-000000000000)。