软件包 google.cloud.bigquery.datatransfer.v1

索引

DataTransferService

借助 Google BigQuery Data Transfer Service API,BigQuery 用户可以配置将其位于其他 Google 产品中的数据传输到 BigQuery 的方式。此服务包含由最终用户公开提供的方法。这项服务会备份前端。

CheckValidCreds

rpc CheckValidCreds(CheckValidCredsRequest) returns (CheckValidCredsResponse)

如果指定数据源和发出请求的用户拥有有效凭据,则返回 true。某些数据源不支持服务帐号,所以我们需要代表最终用户与其交流。此 API 仅检查我们是否拥有特定用户的 OAuth 令牌,这也是用户创建传输配置的先决条件。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

CreateTransferConfig

rpc CreateTransferConfig(CreateTransferConfigRequest) returns (TransferConfig)

创建新的数据转移作业配置。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

DeleteTransferConfig

rpc DeleteTransferConfig(DeleteTransferConfigRequest) returns (Empty)

删除数据转移作业配置,包括任何关联的转移作业运行和日志。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

DeleteTransferRun

rpc DeleteTransferRun(DeleteTransferRunRequest) returns (Empty)

删除指定的转移作业运行。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

GetDataSource

rpc GetDataSource(GetDataSourceRequest) returns (DataSource)

检索受支持的数据源并返回其设置,这些设置可用于界面呈现。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

GetTransferConfig

rpc GetTransferConfig(GetTransferConfigRequest) returns (TransferConfig)

返回有关数据转移作业配置的信息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

GetTransferRun

rpc GetTransferRun(GetTransferRunRequest) returns (TransferRun)

返回特定转移作业运行的相关信息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ListDataSources

rpc ListDataSources(ListDataSourcesRequest) returns (ListDataSourcesResponse)

该方法列出受支持的数据源,并返回其设置(可用于呈现界面)。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ListTransferConfigs

rpc ListTransferConfigs(ListTransferConfigsRequest) returns (ListTransferConfigsResponse)

返回有关项目中所有数据转移作业的信息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ListTransferLogs

rpc ListTransferLogs(ListTransferLogsRequest) returns (ListTransferLogsResponse)

返回向用户显示的数据转移作业运行日志消息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ListTransferRuns

rpc ListTransferRuns(ListTransferRunsRequest) returns (ListTransferRunsResponse)

返回有关正在运行和已完成的作业的信息。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

ScheduleTransferRuns

rpc ScheduleTransferRuns(ScheduleTransferRunsRequest) returns (ScheduleTransferRunsResponse)

为某个时间范围 [start_time, end_time] 创建转移作业运行。系统会为该范围内的每个日期(或数据源支持的任何粒度)创建一项转移作业运行。注意,运行按世界协调时间 (UTC) 在相应时间范围内创建。 已弃用:请改用 StartManualTransferRuns。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

StartManualTransferRuns

rpc StartManualTransferRuns(StartManualTransferRunsRequest) returns (StartManualTransferRunsResponse)

现在开始手动执行转移作业运行,其 schedule_time 等于当前时间。您可以为 run_time 介于 start_time(含)和 end_time(不含)之间的时间范围创建转移作业运行,也可以为特定的 run_time 创建转移作业运行。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

UpdateTransferConfig

rpc UpdateTransferConfig(UpdateTransferConfigRequest) returns (TransferConfig)

更新数据转移作业配置。即使字段未进行更新,也必须设置所有字段。

授权范围

需要以下 OAuth 范围:

  • https://www.googleapis.com/auth/cloud-platform

如需了解详情,请参阅身份验证概览

CheckValidCredsRequest

确定用户是否具有有效凭据的请求。此方法用于限制用户界面内 OAuth 弹出窗口的数量。系统会根据 API 调用上下文推断用户 ID。如果数据源采用 Google+ 授权类型,此方法会返回 false,原因在于它无法单纯地根据用户 ID 确定凭据是否已经生效。

字段
name

string

必需。数据源,格式为 projects/{project_id}/dataSources/{data_source_id}projects/{project_id}/locations/{location_id}/dataSources/{data_source_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.get

CheckValidCredsResponse

表示凭据是否存在、是否有效的响应。

字段
has_valid_creds

bool

如果设置为 true,则凭据存在并且有效。

CreateTransferConfigRequest

创建数据传输配置的请求。如果此传输配置需要新凭据,则必须提供授权代码。如果提供了一个授权代码,则传输配置会与对应于授权代码的用户 ID 关联。否则,传输配置会与调用方用户关联。

字段
parent

string

必需。应在其中创建转移作业配置的 BigQuery 项目的 ID。必须采用此格式:projects/{project_id}/locations/{location_id} 或 projects/{project_id}。如果指定的位置与目标 bigquery 数据集的位置不相符,则请求将会失败。

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.update
transfer_config

TransferConfig

必需。要创建的数据转移作业配置。

authorization_code

string

与此转移作业配置结合使用的可选 OAuth2 授权代码。如果需要新凭据(由 CheckValidCreds 指示),则必须提供此参数。要获取 authorization_code,请向以下链接所指向的网页发出请求:https://www.gstatic.com/bigquerydatatransfer/oauthz/auth?client_id=&scope=&redirect_uri=

  • client_id 应该是适用于指定数据源(ListDataSources 方法所返回的数据源)的 BigQuery DTS API 的 OAuth client_id。
  • data_source_scopes 是 ListDataSources 方法返回的范围。
  • redirect_uri 是可选参数。如果未指定该参数,则授权代码会发布至授权流窗口的开启者。否则,它将发送到重定向 URI。urn:ietf:wg:oauth:2.0:oob 这个特殊值表示应在浏览器的标题栏中返回授权代码,同时在页面上显示文字,提示用户复制该代码并将其粘贴到应用中。
version_info

string

可选的版本信息。如果用户希望查找最新的访问令牌(即紧随批准访问权限之后),则必须在令牌请求中设置 version_info 声明。为了获取 version_info,用户必须使用“none+gsession”响应类型,该类型会在授权响应中返回 version_info,后者将置于令牌请求的 JWT 声明中。

service_account_name

string

可选的服务帐号名称。如果设置了此字段,则系统将使用此服务帐号凭据创建转移作业配置。调用此 API 的请求用户必须拥有以此服务帐号的身份执行操作的权限。

DataSource

表示数据源元数据。元数据足以呈现界面并请求合适的 OAuth 令牌。

字段
name

string

仅供输出。数据源资源名称。

data_source_id

string

数据源 ID。

display_name

string

方便用户使用的数据源名称。

description

string

方便用户使用的数据源说明字符串。

client_id

string

应该用于接收刷新令牌的数据源客户端 ID。

scopes[]

string

需要为之获取刷新令牌的 API 身份验证范围。 要了解数据源准备数据和将数据提取到 BigQuery 中时所需的范围示例,请访问 https://www.googleapis.com/auth/bigquery

transfer_type
(deprecated)

TransferType

已弃用。此字段无效。

supports_multiple_transfers
(deprecated)

bool

已弃用。此字段无效。

update_deadline_seconds

int32

在 Data Transfer Service 将转移作业标记为 FAILED 之前等待数据源进行更新的秒数。

default_schedule

string

默认的数据转移作业时间表。有效时间表的示例包括 1st,3rd monday of month 15:30every wed,fri of jan,jun 13:15first sunday of quarter 00:00

supports_custom_schedule

bool

用于指定数据源是支持用户指定的时间表还是依照默认时间表运行。 如果设置为 true,则用户可以覆盖默认时间表。

parameters[]

DataSourceParameter

数据源参数。

help_url

string

此数据源的帮助文档的网址。

authorization_type

AuthorizationType

表示授权类型。

data_refresh_type

DataRefreshType

指定数据源是否支持自动刷新过去几天的数据以及如何支持。 对于某些数据源,数据可能要在几天后才能完成转移,因此自动刷新数据非常有用。

default_data_refresh_window_days

int32

默认的数据刷新时段(以天为单位)。 仅在 data_refresh_type = SLIDING_WINDOW 时才有意义。

manual_runs_disabled

bool

停用数据源的回填和手动运行时间表。

minimum_schedule_interval

Duration

调度器安排运行的最小间隔。

AuthorizationType

此数据源所需的授权类型。

枚举
AUTHORIZATION_TYPE_UNSPECIFIED 未指定类型。
AUTHORIZATION_CODE 使用可以在后端交换刷新令牌的 OAuth 2 授权代码。
GOOGLE_PLUS_AUTHORIZATION_CODE 返回给定 Google+ 信息页的授权代码,然后可以在后端将其用于交换刷新令牌。
FIRST_PARTY_OAUTH 使用基于 Loas 自有客户端的第一方 OAuth。第一方 OAuth 无需刷新令牌即可获取离线访问令牌。相反,它使用客户端签名的 JWT 断言来检索访问令牌。

DataRefreshType

表示数据源如何支持数据自动刷新。

枚举
DATA_REFRESH_TYPE_UNSPECIFIED 数据源不支持数据自动刷新,这是默认值。
SLIDING_WINDOW 数据源支持数据自动刷新,并且将安排针对过去几天的运行。不允许为每个传输配置设置自定义值。
CUSTOM_SLIDING_WINDOW 数据源支持数据自动刷新,并且将安排针对过去几天的运行。允许为每项转移作业配置设置自定义值。

DataSourceParameter

表示具有验证规则的数据源参数,以便可以在界面中呈现参数。这些参数由受支持的数据源提供给我们,并且包含呈现和验证所需的所有信息。因此,使用此 API 的用户可以决定是生成常规界面还是自定义特定于数据源的表单。

字段
param_id

string

参数标识符。

display_name

string

界面中的参数显示名称。

description

string

参数说明。

type

Type

参数类型。

required

bool

是否需要参数。

repeated

bool

已弃用。此字段无效。

validation_regex

string

可用于参数验证的正则表达式。

allowed_values[]

string

参数的所有可能值。

min_value

DoubleValue

对于整数和双精度值,指定允许的最小值。

max_value

DoubleValue

对于整数和双精度值,指定允许的最大值。

fields[]

DataSourceParameter

已弃用。此字段无效。

validation_description

string

此字段要求的说明(如果用户输入不满足正则表达式格式或最小/最大值)。

validation_help_url

string

进一步说明命名要求的帮助文档的网址。

immutable

bool

初始创建后便无法更改。

recurse

bool

已弃用。此字段无效。

deprecated

bool

如果为 true,则新的转移作业中不应使用此字段,用户也不应看到此字段。

类型

参数类型。

枚举
TYPE_UNSPECIFIED 未指定类型。
STRING 字符串参数。
INTEGER 整数参数(64 位)。此参数会序列化为 json 字符串。
DOUBLE 双精度浮点参数。
BOOLEAN 布尔值参数。
RECORD 已弃用。此字段无效。
PLUS_PAGE Google+ 信息页的页面 ID。

DeleteTransferConfigRequest

删除数据传输信息的请求。所有关联的传输运行和日志消息也会被系统删除。

字段
name

string

必需。该字段将包含所请求资源的名称,例如:projects/{project_id}/transferConfigs/{config_id}projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.update

DeleteTransferRunRequest

删除数据传输运行信息的请求。

字段
name

string

必需。该字段将包含所请求资源的名称,例如:projects/{project_id}/transferConfigs/{config_id}/runs/{run_id}projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.update

EmailPreferences

表示用于发送转移作业运行事件的电子邮件通知的偏好设置。

字段
enable_failure_email

bool

如果为 true,则系统将在转移作业运行失败时发送电子邮件通知。

GetDataSourceRequest

获取数据源信息的请求。

字段
name

string

必需。该字段将包含所请求资源的名称,例如:projects/{project_id}/dataSources/{data_source_id}projects/{project_id}/locations/{location_id}/dataSources/{data_source_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.get

GetTransferConfigRequest

获取数据传输信息的请求。

字段
name

string

必需。该字段将包含所请求资源的名称,例如:projects/{project_id}/transferConfigs/{config_id}projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.get

GetTransferRunRequest

获取数据传输运行信息的请求。

字段
name

string

必需。该字段将包含所请求资源的名称,例如:projects/{project_id}/transferConfigs/{config_id}/runs/{run_id}projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}

必须对指定的资源 name 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.get

ListDataSourcesRequest

列出系统支持的数据源及其传输设置的请求。

字段
parent

string

必需。应返回数据源的 BigQuery 项目 ID。必须采用以下格式:projects/{project_id} 或 projects/{project_id}/locations/{location_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.get
page_token

string

分页令牌,可用于请求特定的 ListDataSourcesRequest 列表结果页面。对于跨多个页面的结果,ListDataSourcesResponse 会输出 next_page 令牌,可用作 page_token 值来请求下一页列表结果。

page_size

int32

页面大小。默认页面大小为最多显示 1000 条结果。

ListDataSourcesResponse

返回系统支持的数据源及其元数据的列表。

字段
data_sources[]

DataSource

系统支持的数据源及其转移作业设置的列表。

next_page_token

string

仅供输出。下一分页令牌。对于跨多个页面的列表结果,此令牌可用作 ListDataSourcesRequest.page_token 来请求下一页列表结果。

ListTransferConfigsRequest

列出为 BigQuery 项目配置的数据传输的请求。

字段
parent

string

必需。应返回其数据源的 BigQuery 项目的 ID:projects/{project_id}projects/{project_id}/locations/{location_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.get
data_source_ids[]

string

指定此参数时,仅返回所请求数据源的配置。

page_token

string

分页令牌,可用于请求特定的 ListTransfersRequest 列表结果页面。对于跨多个页面的结果,ListTransfersResponse 会输出 next_page 令牌,可用作 page_token 值来请求下一页列表结果。

page_size

int32

页面大小。默认页面大小为最多显示 1000 条结果。

ListTransferConfigsResponse

返回的关于项目中的管道的列表。

字段
transfer_configs[]

TransferConfig

仅供输出。存储的流水线转移作业配置。

next_page_token

string

仅供输出。下一分页令牌。对于跨多个页面的列表结果,此令牌可用作 ListTransferConfigsRequest.page_token 来请求下一页列表结果。

ListTransferLogsRequest

获取与数据传输运行相关联、向用户显示的日志消息的请求。

字段
parent

string

必需。转移作业运行名称,格式为 projects/{project_id}/transferConfigs/{config_id}/runs/{run_id}projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.get
page_token

string

分页令牌,可用于请求特定的 ListTransferLogsRequest 列表结果页面。对于跨多个页面的结果,ListTransferLogsResponse 会输出 next_page 令牌,可用作 page_token 值来请求下一页列表结果。

page_size

int32

页面大小。默认页面大小为最多显示 1000 条结果。

message_types[]

MessageSeverity

要返回的消息类型。 如果未填充该参数,系统将返回 INFO、WARNING 和 ERROR 消息。

ListTransferLogsResponse

所返回的列表传输运行消息。

字段
transfer_messages[]

TransferMessage

仅供输出。存储的流水线转移作业消息。

next_page_token

string

仅供输出。下一分页令牌。对于跨多个页面的列表结果,此令牌可用作 GetTransferRunLogRequest.page_token 来请求下一页列表结果。

ListTransferRunsRequest

列出数据传输运行的请求。界面可以使用此方法来显示/过滤特定的数据传输运行。数据源可以使用此方法请求所有已安排好的传输运行。

字段
parent

string

必需。要为其检索转移作业运行的转移作业配置的名称。转移作业配置资源名称采用 projects/{project_id}/transferConfigs/{config_id}projects/{project_id}/locations/{location_id}/transferConfigs/{config_id} 格式。

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.get
states[]

TransferState

指定此参数时,系统仅返回具有所请求的状态的转移作业运行。

page_token

string

分页令牌,可用于请求特定的 ListTransferRunsRequest 列表结果页面。对于跨多个页面的结果,ListTransferRunsResponse 会输出 next_page 令牌,可用作 page_token 值来请求下一页列表结果。

page_size

int32

页面大小。默认页面大小为最多显示 1000 条结果。

run_attempt

RunAttempt

指示如何提取尝试运行的次数。

RunAttempt

表示应该提取哪些运行。

枚举
RUN_ATTEMPT_UNSPECIFIED 应返回所有运行。
LATEST 只返回每天最新的运行。

ListTransferRunsResponse

返回的关于项目中的管道的列表。

字段
transfer_runs[]

TransferRun

仅供输出。存储的流水线转移作业运行。

next_page_token

string

仅供输出。下一分页令牌。对于跨多个页面的列表结果,此令牌可用作 ListTransferRunsRequest.page_token 来请求下一页列表结果。

ScheduleOptions

自定义数据转移作业时间表的选项。

字段
disable_auto_scheduling

bool

如果为 true,则系统不会为此配置自动安排数据转移作业运行。您可以使用 StartManualTransferRuns API 临时启动运行。如果停用自动安排功能,则系统将忽略 TransferConfig.schedule 字段。

start_time

Timestamp

指定开始安排转移作业运行的时间。系统将根据时间表字符串中定义的定期重复模式在开始时间或之后安排第一次运行。开始时间可以随时更改。可以手动触发数据转移作业的时间不受此选项的限制。

end_time

Timestamp

定义停止安排转移作业运行的时间。转移作业运行不能安排在结束时间或之后。结束时间可以随时更改。可以手动触发数据转移作业的时间不受此选项的限制。

ScheduleTransferRunsRequest

为某个时间范围安排传输运行的请求。

字段
parent

string

必需。转移作业配置名称,格式为 projects/{project_id}/transferConfigs/{config_id}projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.update
start_time

Timestamp

必需。转移作业运行时间范围的开始时间。例如 "2017-05-25T00:00:00+00:00"

end_time

Timestamp

必需。转移作业运行时间范围的结束时间。例如 "2017-05-30T00:00:00+00:00"

ScheduleTransferRunsResponse

为一个时间范围安排传输运行的响应。

字段
runs[]

TransferRun

已安排的转移作业运行。

StartManualTransferRunsRequest

启动手动转移作业运行的请求。

字段
parent

string

转移作业配置名称,格式为 projects/{project_id}/transferConfigs/{config_id}projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}

必须对指定的资源 parent 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.update
联合字段 time。请求的时间规范 - 此字段可以是时间范围或特定的 run_time。time 只能是下列其中一项:
requested_time_range

TimeRange

应启动转移作业运行的时间范围。

requested_run_time

Timestamp

要启动转移作业运行的特定 run_time。requested_run_time 不能是将来的时间。

TimeRange

时间范围规范,此规范将请求 run_time 介于 start_time(含)和 end_time(不含)之间的转移作业运行。

字段
start_time

Timestamp

转移作业运行时间范围的开始时间。例如 "2017-05-25T00:00:00+00:00"。start_time 必须绝对早于 end_time。创建转移作业运行,其中 run_time 介于 start_time(含)和 end_time(不含)之间。

end_time

Timestamp

转移作业运行时间范围的结束时间。例如 "2017-05-30T00:00:00+00:00"。end_time 不能是将来的时间。创建转移作业运行,其中 run_time 介于 start_time(含)和 end_time(不含)之间。

StartManualTransferRunsResponse

启动手动转移作业运行的响应。

字段
runs[]

TransferRun

已创建的转移作业运行。

TransferConfig

表示数据传输配置。转移作业配置包含执行数据转移作业所需的所有元数据。例如,destination_dataset_id 指定数据应存储在何处。创建新转移作业配置时,系统会根据需要创建指定的 destination_dataset_id,并将其提供给相应的数据源服务帐号。

字段
name

string

转移作业配置的资源名称。转移作业配置名称采用 projects/{project_id}/locations/{region}/transferConfigs/{config_id} 格式。该名称是系统根据 CreateTransferConfigRequest 中指定的 config_id 以及 project_id 和地区自动生成的。如果未提供 config_id,则系统通常会为 config_id 生成一个 uuid,即使不一定生成或者不需要该 uuid 也是如此。

display_name

string

用户为数据转移作业指定的显示名。

data_source_id

string

数据源 ID。 创建数据转移作业后,就无法再更改该 ID。

params

Struct

特定于数据转移作业的参数。

schedule

string

数据转移作业时间表。如果数据源不支持自定义时间表,则此字段应为空。如果此字段为空,系统会使用该数据源的默认值。指定的时间采用世界协调时间 (UTC)。有效格式的示例:1st,3rd monday of month 15:30every wed,fri of jan,jun 13:15first sunday of quarter 00:00。请点击以下链接,查看有关该格式的更多说明:https://cloud.google.com/appengine/docs/flexible/python/scheduling-jobs-with-cron-yaml#the_schedule_format。注意:时间粒度至少应为 8 小时或更低频率。

schedule_options

ScheduleOptions

自定义数据转移作业时间表的选项。

data_refresh_window_days

int32

自动刷新数据时所对应的回溯天数。 例如,如果 data_refresh_window_days = 10,BigQuery 每天会重新提取 [today-10, today-1] 的数据,而不是仅提取 [today-1] 的数据。仅在数据源支持该功能时有效。将该值设为 0 可使用默认值。

disabled

bool

表示此配置是否处于停用状态。 如果设置为 true,则系统不会为指定转移作业安排任何运行。

update_time

Timestamp

仅供输出。数据传输修改时间。对于输入,服务器会忽略该项。

next_run_time

Timestamp

仅供输出。数据转移作业的下次运行时间。

state

TransferState

仅供输出。最近更新的转移作业运行的状态。

user_id

int64

已弃用。用户的唯一 ID,转移作业由其他方代表该用户完成。

dataset_region

string

仅供输出。BigQuery 数据集所在的地区。

notification_pubsub_topic

string

Pub/Sub 主题,系统将在与此转移作业配置关联的转移作业运行完成后通过该主题发送通知。

email_preferences

EmailPreferences

电子邮件通知将根据这些偏好设置发送到拥有此转移作业配置的用户的电子邮件地址。

destination_dataset_id

string

BigQuery 目标数据集 ID。

TransferMessage

表示向用户显示的有关特定数据传输运行的消息。

字段
message_time

Timestamp

记录消息的时间。

severity

MessageSeverity

消息严重性。

message_text

string

消息文字。

MessageSeverity

表示向数据传输用户显示的消息的严重性。

枚举
MESSAGE_SEVERITY_UNSPECIFIED 未指定严重性。
INFO 提供信息的消息。
WARNING 警告消息。
ERROR 错误消息。

TransferRun

表示数据传输运行。

字段
name

string

转移作业运行的资源名称。转移作业运行名称采用 projects/{project_id}/locations/{location}/transferConfigs/{config_id}/runs/{run_id} 格式。创建转移作业运行时,系统将忽略该名称。

schedule_time

Timestamp

在开始转移作业运行之前需要等待的最短时间。

run_time

Timestamp

对于批量转移作业运行,请指定应提取的数据的日期和时间。

error_status

Status

转移作业运行的状态。

start_time

Timestamp

仅供输出。传输运行开始的时间。对于输入请求,服务器将忽略该参数。

end_time

Timestamp

仅供输出。传输运行结束的时间。对于输入请求,服务器将忽略该参数。

update_time

Timestamp

仅供输出。数据转移作业运行状态的上次更新时间。

params

Struct

仅供输出。特定于数据转移作业的参数。

data_source_id

string

仅供输出。数据源 ID。

state

TransferState

数据转移作业运行状态。对于输入请求,系统会忽略此参数。

user_id

int64

已弃用。用户的唯一 ID,转移作业由其他方代表该用户完成。

schedule

string

仅供输出。如果此转移作业运行是定期创建的,则说明其时间表。对于手动安排的批量转移作业运行,此字段为空。注意:系统可能会根据当前负载选择将时间安排往后推迟,因此 schedule_time 不一定始终与此时间表相符。

notification_pubsub_topic

string

仅供输出。Pub/Sub 主题,系统将在此转移作业运行完成后通过该主题发送通知。

email_preferences

EmailPreferences

仅供输出。电子邮件通知将根据这些偏好设置发送到拥有相应转移作业配置(即派生了此运行的转移作业配置)的用户的电子邮件地址。

destination_dataset_id

string

仅供输出。BigQuery 目标数据集 ID。

TransferState

表示数据传输运行状态。

枚举
TRANSFER_STATE_UNSPECIFIED 状态占位符。
PENDING 已安排数据传输,正在等待数据传输后端进行接收。
RUNNING 数据转移作业正在执行。
SUCCEEDED 数据转移作业已成功完成。
FAILED 数据转移作业失败。
CANCELLED 数据传输已取消。

TransferType

已弃用。表示数据转移作业类型。

枚举
TRANSFER_TYPE_UNSPECIFIED 无效或未知的传输类型占位符。
BATCH 批量数据传输。
STREAMING 流式数据传输。流式传输数据源当前不支持每个项目具有多项转移作业配置。

UpdateTransferConfigRequest

更新传输配置的请求。要更新传输配置的用户 ID,则需要提供授权代码。

字段
transfer_config

TransferConfig

必需。要创建的数据转移作业配置。

必须对指定的资源 transferConfig 具有以下 IAM 权限才能进行授权:

  • bigquery.transfers.update
authorization_code

string

与此转移作业配置结合使用的可选 OAuth2 授权代码。如果提供该授权代码,则转移作业配置将与授权用户相关联。要获取 authorization_code,请向以下链接所指向的网页发出请求:https://www.gstatic.com/bigquerydatatransfer/oauthz/auth?client_id=&scope=&redirect_uri=

  • client_id 应该是适用于指定数据源(ListDataSources 方法所返回的数据源)的 BigQuery DTS API 的 OAuth client_id。
  • data_source_scopes 是 ListDataSources 方法返回的范围。
  • redirect_uri 是可选参数。如果未指定该参数,则授权代码会发布至授权流窗口的开启者。否则,它将发送到重定向 URI。urn:ietf:wg:oauth:2.0:oob 这个特殊值表示应在浏览器的标题栏中返回授权代码,同时在页面上显示文字,提示用户复制该代码并将其粘贴到应用中。
update_mask

FieldMask

必需。要在此请求中更新的必填字段列表。

version_info

string

可选的版本信息。如果用户希望查找最新的访问令牌(即紧随批准访问权限之后),则必须在令牌请求中设置 version_info 声明。为了获取 version_info,用户必须使用“none+gsession”响应类型,该类型会在授权响应中返回 version_info,后者将置于令牌请求的 JWT 声明中。

service_account_name

string

可选的服务帐号名称。如果设置了此字段并且在 update_mask 中设置了“service_account_name”,则转移作业配置将更新以使用此服务帐号凭据。调用此 API 的请求用户必须拥有以此服务帐号的身份执行操作的权限。