索引
DataTransferService
(接口)CheckValidCredsRequest
(消息)CheckValidCredsResponse
(消息)CreateTransferConfigRequest
(消息)DataSource
(消息)DataSource.AuthorizationType
(枚举)DataSource.DataRefreshType
(枚举)DataSourceParameter
(消息)DataSourceParameter.Type
(枚举)DeleteTransferConfigRequest
(消息)DeleteTransferRunRequest
(消息)EmailPreferences
(消息)GetDataSourceRequest
(消息)GetTransferConfigRequest
(消息)GetTransferRunRequest
(消息)ListDataSourcesRequest
(消息)ListDataSourcesResponse
(消息)ListTransferConfigsRequest
(消息)ListTransferConfigsResponse
(消息)ListTransferLogsRequest
(消息)ListTransferLogsResponse
(消息)ListTransferRunsRequest
(消息)ListTransferRunsRequest.RunAttempt
(枚举)ListTransferRunsResponse
(消息)ScheduleOptions
(消息)ScheduleTransferRunsRequest
(消息)ScheduleTransferRunsResponse
(消息)StartManualTransferRunsRequest
(消息)StartManualTransferRunsRequest.TimeRange
(消息)StartManualTransferRunsResponse
(消息)TransferConfig
(消息)TransferMessage
(消息)TransferMessage.MessageSeverity
(枚举)TransferRun
(消息)TransferState
(枚举)TransferType
(枚举)(已弃用)UpdateTransferConfigRequest
(消息)
DataTransferService
借助 Google BigQuery Data Transfer Service API,BigQuery 用户可以配置将其位于其他 Google 产品中的数据传输到 BigQuery 的方式。此服务包含由最终用户公开提供的方法。这项服务会备份前端。
CheckValidCreds | |
---|---|
如果指定数据源和发出请求的用户拥有有效凭据,则返回 true。某些数据源不支持服务帐号,所以我们需要代表最终用户与其交流。此 API 仅检查我们是否拥有特定用户的 OAuth 令牌,这也是用户创建传输配置的先决条件。
|
CreateTransferConfig | |
---|---|
创建新的数据转移作业配置。
|
DeleteTransferConfig | |
---|---|
删除数据转移作业配置,包括任何关联的转移作业运行和日志。
|
DeleteTransferRun | |
---|---|
删除指定的转移作业运行。
|
GetDataSource | |
---|---|
检索受支持的数据源并返回其设置,这些设置可用于界面呈现。
|
GetTransferConfig | |
---|---|
返回有关数据转移作业配置的信息。
|
GetTransferRun | |
---|---|
返回特定转移作业运行的相关信息。
|
ListDataSources | |
---|---|
该方法列出受支持的数据源,并返回其设置(可用于呈现界面)。
|
ListTransferConfigs | |
---|---|
返回有关项目中所有数据转移作业的信息。
|
ListTransferLogs | |
---|---|
返回向用户显示的数据转移作业运行日志消息。
|
ListTransferRuns | |
---|---|
返回有关正在运行和已完成的作业的信息。
|
ScheduleTransferRuns | |
---|---|
为某个时间范围 [start_time, end_time] 创建转移作业运行。系统会为该范围内的每个日期(或数据源支持的任何粒度)创建一项转移作业运行。注意,运行按世界协调时间 (UTC) 在相应时间范围内创建。 已弃用:请改用 StartManualTransferRuns。
|
StartManualTransferRuns | |
---|---|
现在开始手动执行转移作业运行,其 schedule_time 等于当前时间。您可以为 run_time 介于 start_time(含)和 end_time(不含)之间的时间范围创建转移作业运行,也可以为特定的 run_time 创建转移作业运行。
|
UpdateTransferConfig | |
---|---|
更新数据转移作业配置。即使字段未进行更新,也必须设置所有字段。
|
CheckValidCredsRequest
确定用户是否具有有效凭据的请求。此方法用于限制用户界面内 OAuth 弹出窗口的数量。系统会根据 API 调用上下文推断用户 ID。如果数据源采用 Google+ 授权类型,此方法会返回 false,原因在于它无法单纯地根据用户 ID 确定凭据是否已经生效。
字段 | |
---|---|
name |
必需。数据源,格式为 必须对指定的资源
|
CheckValidCredsResponse
表示凭据是否存在、是否有效的响应。
字段 | |
---|---|
has_valid_creds |
如果设置为 |
CreateTransferConfigRequest
创建数据传输配置的请求。如果此传输配置需要新凭据,则必须提供授权代码。如果提供了一个授权代码,则传输配置会与对应于授权代码的用户 ID 关联。否则,传输配置会与调用方用户关联。
字段 | |
---|---|
parent |
必需。应在其中创建转移作业配置的 BigQuery 项目的 ID。必须采用此格式:projects/{project_id}/locations/{location_id} 或 projects/{project_id}。如果指定的位置与目标 bigquery 数据集的位置不相符,则请求将会失败。 必须对指定的资源
|
transfer_config |
必需。要创建的数据转移作业配置。 |
authorization_code |
与此转移作业配置结合使用的可选 OAuth2 授权代码。如果需要新凭据(由
|
version_info |
可选的版本信息。如果用户希望查找最新的访问令牌(即紧随批准访问权限之后),则必须在令牌请求中设置 version_info 声明。为了获取 version_info,用户必须使用“none+gsession”响应类型,该类型会在授权响应中返回 version_info,后者将置于令牌请求的 JWT 声明中。 |
service_account_name |
可选的服务帐号名称。如果设置了此字段,则系统将使用此服务帐号凭据创建转移作业配置。调用此 API 的请求用户必须拥有以此服务帐号的身份执行操作的权限。 |
DataSource
表示数据源元数据。元数据足以呈现界面并请求合适的 OAuth 令牌。
字段 | |
---|---|
name |
仅供输出。数据源资源名称。 |
data_source_id |
数据源 ID。 |
display_name |
方便用户使用的数据源名称。 |
description |
方便用户使用的数据源说明字符串。 |
client_id |
应该用于接收刷新令牌的数据源客户端 ID。 |
scopes[] |
需要为之获取刷新令牌的 API 身份验证范围。 要了解数据源准备数据和将数据提取到 BigQuery 中时所需的范围示例,请访问 https://www.googleapis.com/auth/bigquery。 |
transfer_type |
已弃用。此字段无效。 |
supports_multiple_transfers |
已弃用。此字段无效。 |
update_deadline_seconds |
在 Data Transfer Service 将转移作业标记为 FAILED 之前等待数据源进行更新的秒数。 |
default_schedule |
默认的数据转移作业时间表。有效时间表的示例包括 |
supports_custom_schedule |
用于指定数据源是支持用户指定的时间表还是依照默认时间表运行。 如果设置为 |
parameters[] |
数据源参数。 |
help_url |
此数据源的帮助文档的网址。 |
authorization_type |
表示授权类型。 |
data_refresh_type |
指定数据源是否支持自动刷新过去几天的数据以及如何支持。 对于某些数据源,数据可能要在几天后才能完成转移,因此自动刷新数据非常有用。 |
default_data_refresh_window_days |
默认的数据刷新时段(以天为单位)。 仅在 |
manual_runs_disabled |
停用数据源的回填和手动运行时间表。 |
minimum_schedule_interval |
调度器安排运行的最小间隔。 |
AuthorizationType
此数据源所需的授权类型。
枚举 | |
---|---|
AUTHORIZATION_TYPE_UNSPECIFIED |
未指定类型。 |
AUTHORIZATION_CODE |
使用可以在后端交换刷新令牌的 OAuth 2 授权代码。 |
GOOGLE_PLUS_AUTHORIZATION_CODE |
返回给定 Google+ 信息页的授权代码,然后可以在后端将其用于交换刷新令牌。 |
FIRST_PARTY_OAUTH |
使用基于 Loas 自有客户端的第一方 OAuth。第一方 OAuth 无需刷新令牌即可获取离线访问令牌。相反,它使用客户端签名的 JWT 断言来检索访问令牌。 |
DataRefreshType
表示数据源如何支持数据自动刷新。
枚举 | |
---|---|
DATA_REFRESH_TYPE_UNSPECIFIED |
数据源不支持数据自动刷新,这是默认值。 |
SLIDING_WINDOW |
数据源支持数据自动刷新,并且将安排针对过去几天的运行。不允许为每个传输配置设置自定义值。 |
CUSTOM_SLIDING_WINDOW |
数据源支持数据自动刷新,并且将安排针对过去几天的运行。允许为每项转移作业配置设置自定义值。 |
DataSourceParameter
表示具有验证规则的数据源参数,以便可以在界面中呈现参数。这些参数由受支持的数据源提供给我们,并且包含呈现和验证所需的所有信息。因此,使用此 API 的用户可以决定是生成常规界面还是自定义特定于数据源的表单。
字段 | |
---|---|
param_id |
参数标识符。 |
display_name |
界面中的参数显示名称。 |
description |
参数说明。 |
type |
参数类型。 |
required |
是否需要参数。 |
repeated |
已弃用。此字段无效。 |
validation_regex |
可用于参数验证的正则表达式。 |
allowed_values[] |
参数的所有可能值。 |
min_value |
对于整数和双精度值,指定允许的最小值。 |
max_value |
对于整数和双精度值,指定允许的最大值。 |
fields[] |
已弃用。此字段无效。 |
validation_description |
此字段要求的说明(如果用户输入不满足正则表达式格式或最小/最大值)。 |
validation_help_url |
进一步说明命名要求的帮助文档的网址。 |
immutable |
初始创建后便无法更改。 |
recurse |
已弃用。此字段无效。 |
deprecated |
如果为 true,则新的转移作业中不应使用此字段,用户也不应看到此字段。 |
类型
参数类型。
枚举 | |
---|---|
TYPE_UNSPECIFIED |
未指定类型。 |
STRING |
字符串参数。 |
INTEGER |
整数参数(64 位)。此参数会序列化为 json 字符串。 |
DOUBLE |
双精度浮点参数。 |
BOOLEAN |
布尔值参数。 |
RECORD |
已弃用。此字段无效。 |
PLUS_PAGE |
Google+ 信息页的页面 ID。 |
DeleteTransferConfigRequest
删除数据传输信息的请求。所有关联的传输运行和日志消息也会被系统删除。
字段 | |
---|---|
name |
必需。该字段将包含所请求资源的名称,例如: 必须对指定的资源
|
DeleteTransferRunRequest
删除数据传输运行信息的请求。
字段 | |
---|---|
name |
必需。该字段将包含所请求资源的名称,例如: 必须对指定的资源
|
EmailPreferences
表示用于发送转移作业运行事件的电子邮件通知的偏好设置。
字段 | |
---|---|
enable_failure_email |
如果为 true,则系统将在转移作业运行失败时发送电子邮件通知。 |
GetDataSourceRequest
获取数据源信息的请求。
字段 | |
---|---|
name |
必需。该字段将包含所请求资源的名称,例如: 必须对指定的资源
|
GetTransferConfigRequest
获取数据传输信息的请求。
字段 | |
---|---|
name |
必需。该字段将包含所请求资源的名称,例如: 必须对指定的资源
|
GetTransferRunRequest
获取数据传输运行信息的请求。
字段 | |
---|---|
name |
必需。该字段将包含所请求资源的名称,例如: 必须对指定的资源
|
ListDataSourcesRequest
列出系统支持的数据源及其传输设置的请求。
字段 | |
---|---|
parent |
必需。应返回数据源的 BigQuery 项目 ID。必须采用以下格式: 必须对指定的资源
|
page_token |
分页令牌,可用于请求特定的 |
page_size |
页面大小。默认页面大小为最多显示 1000 条结果。 |
ListDataSourcesResponse
返回系统支持的数据源及其元数据的列表。
字段 | |
---|---|
data_sources[] |
系统支持的数据源及其转移作业设置的列表。 |
next_page_token |
仅供输出。下一分页令牌。对于跨多个页面的列表结果,此令牌可用作 |
ListTransferConfigsRequest
列出为 BigQuery 项目配置的数据传输的请求。
字段 | |
---|---|
parent |
必需。应返回其数据源的 BigQuery 项目的 ID: 必须对指定的资源
|
data_source_ids[] |
指定此参数时,仅返回所请求数据源的配置。 |
page_token |
分页令牌,可用于请求特定的 |
page_size |
页面大小。默认页面大小为最多显示 1000 条结果。 |
ListTransferConfigsResponse
返回的关于项目中的管道的列表。
字段 | |
---|---|
transfer_configs[] |
仅供输出。存储的流水线转移作业配置。 |
next_page_token |
仅供输出。下一分页令牌。对于跨多个页面的列表结果,此令牌可用作 |
ListTransferLogsRequest
获取与数据传输运行相关联、向用户显示的日志消息的请求。
字段 | |
---|---|
parent |
必需。转移作业运行名称,格式为 必须对指定的资源
|
page_token |
分页令牌,可用于请求特定的 |
page_size |
页面大小。默认页面大小为最多显示 1000 条结果。 |
message_types[] |
要返回的消息类型。 如果未填充该参数,系统将返回 INFO、WARNING 和 ERROR 消息。 |
ListTransferLogsResponse
所返回的列表传输运行消息。
字段 | |
---|---|
transfer_messages[] |
仅供输出。存储的流水线转移作业消息。 |
next_page_token |
仅供输出。下一分页令牌。对于跨多个页面的列表结果,此令牌可用作 |
ListTransferRunsRequest
列出数据传输运行的请求。界面可以使用此方法来显示/过滤特定的数据传输运行。数据源可以使用此方法请求所有已安排好的传输运行。
字段 | |
---|---|
parent |
必需。要为其检索转移作业运行的转移作业配置的名称。转移作业配置资源名称采用 必须对指定的资源
|
states[] |
指定此参数时,系统仅返回具有所请求的状态的转移作业运行。 |
page_token |
分页令牌,可用于请求特定的 |
page_size |
页面大小。默认页面大小为最多显示 1000 条结果。 |
run_attempt |
指示如何提取尝试运行的次数。 |
RunAttempt
表示应该提取哪些运行。
枚举 | |
---|---|
RUN_ATTEMPT_UNSPECIFIED |
应返回所有运行。 |
LATEST |
只返回每天最新的运行。 |
ListTransferRunsResponse
返回的关于项目中的管道的列表。
字段 | |
---|---|
transfer_runs[] |
仅供输出。存储的流水线转移作业运行。 |
next_page_token |
仅供输出。下一分页令牌。对于跨多个页面的列表结果,此令牌可用作 |
ScheduleOptions
自定义数据转移作业时间表的选项。
字段 | |
---|---|
disable_auto_scheduling |
如果为 true,则系统不会为此配置自动安排数据转移作业运行。您可以使用 StartManualTransferRuns API 临时启动运行。如果停用自动安排功能,则系统将忽略 TransferConfig.schedule 字段。 |
start_time |
指定开始安排转移作业运行的时间。系统将根据时间表字符串中定义的定期重复模式在开始时间或之后安排第一次运行。开始时间可以随时更改。可以手动触发数据转移作业的时间不受此选项的限制。 |
end_time |
定义停止安排转移作业运行的时间。转移作业运行不能安排在结束时间或之后。结束时间可以随时更改。可以手动触发数据转移作业的时间不受此选项的限制。 |
ScheduleTransferRunsRequest
为某个时间范围安排传输运行的请求。
字段 | |
---|---|
parent |
必需。转移作业配置名称,格式为 必须对指定的资源
|
start_time |
必需。转移作业运行时间范围的开始时间。例如 |
end_time |
必需。转移作业运行时间范围的结束时间。例如 |
ScheduleTransferRunsResponse
为一个时间范围安排传输运行的响应。
字段 | |
---|---|
runs[] |
已安排的转移作业运行。 |
StartManualTransferRunsRequest
启动手动转移作业运行的请求。
字段 | ||
---|---|---|
parent |
转移作业配置名称,格式为 必须对指定的资源
|
|
联合字段 time 。请求的时间规范 - 此字段可以是时间范围或特定的 run_time。time 只能是下列其中一项: |
||
requested_time_range |
应启动转移作业运行的时间范围。 |
|
requested_run_time |
要启动转移作业运行的特定 run_time。requested_run_time 不能是将来的时间。 |
TimeRange
时间范围规范,此规范将请求 run_time 介于 start_time(含)和 end_time(不含)之间的转移作业运行。
字段 | |
---|---|
start_time |
转移作业运行时间范围的开始时间。例如 |
end_time |
转移作业运行时间范围的结束时间。例如 |
StartManualTransferRunsResponse
启动手动转移作业运行的响应。
字段 | |
---|---|
runs[] |
已创建的转移作业运行。 |
TransferConfig
表示数据传输配置。转移作业配置包含执行数据转移作业所需的所有元数据。例如,destination_dataset_id
指定数据应存储在何处。创建新转移作业配置时,系统会根据需要创建指定的 destination_dataset_id
,并将其提供给相应的数据源服务帐号。
字段 | |
---|---|
name |
转移作业配置的资源名称。转移作业配置名称采用 |
display_name |
用户为数据转移作业指定的显示名。 |
data_source_id |
数据源 ID。 创建数据转移作业后,就无法再更改该 ID。 |
params |
特定于数据转移作业的参数。 |
schedule |
数据转移作业时间表。如果数据源不支持自定义时间表,则此字段应为空。如果此字段为空,系统会使用该数据源的默认值。指定的时间采用世界协调时间 (UTC)。有效格式的示例: |
schedule_options |
自定义数据转移作业时间表的选项。 |
data_refresh_window_days |
自动刷新数据时所对应的回溯天数。 例如,如果 |
disabled |
表示此配置是否处于停用状态。 如果设置为 true,则系统不会为指定转移作业安排任何运行。 |
update_time |
仅供输出。数据传输修改时间。对于输入,服务器会忽略该项。 |
next_run_time |
仅供输出。数据转移作业的下次运行时间。 |
state |
仅供输出。最近更新的转移作业运行的状态。 |
user_id |
已弃用。用户的唯一 ID,转移作业由其他方代表该用户完成。 |
dataset_region |
仅供输出。BigQuery 数据集所在的地区。 |
notification_pubsub_topic |
Pub/Sub 主题,系统将在与此转移作业配置关联的转移作业运行完成后通过该主题发送通知。 |
email_preferences |
电子邮件通知将根据这些偏好设置发送到拥有此转移作业配置的用户的电子邮件地址。 |
destination_dataset_id |
BigQuery 目标数据集 ID。 |
TransferMessage
表示向用户显示的有关特定数据传输运行的消息。
字段 | |
---|---|
message_time |
记录消息的时间。 |
severity |
消息严重性。 |
message_text |
消息文字。 |
MessageSeverity
表示向数据传输用户显示的消息的严重性。
枚举 | |
---|---|
MESSAGE_SEVERITY_UNSPECIFIED |
未指定严重性。 |
INFO |
提供信息的消息。 |
WARNING |
警告消息。 |
ERROR |
错误消息。 |
TransferRun
表示数据传输运行。
字段 | |
---|---|
name |
转移作业运行的资源名称。转移作业运行名称采用 |
schedule_time |
在开始转移作业运行之前需要等待的最短时间。 |
run_time |
对于批量转移作业运行,请指定应提取的数据的日期和时间。 |
error_status |
转移作业运行的状态。 |
start_time |
仅供输出。传输运行开始的时间。对于输入请求,服务器将忽略该参数。 |
end_time |
仅供输出。传输运行结束的时间。对于输入请求,服务器将忽略该参数。 |
update_time |
仅供输出。数据转移作业运行状态的上次更新时间。 |
params |
仅供输出。特定于数据转移作业的参数。 |
data_source_id |
仅供输出。数据源 ID。 |
state |
数据转移作业运行状态。对于输入请求,系统会忽略此参数。 |
user_id |
已弃用。用户的唯一 ID,转移作业由其他方代表该用户完成。 |
schedule |
仅供输出。如果此转移作业运行是定期创建的,则说明其时间表。对于手动安排的批量转移作业运行,此字段为空。注意:系统可能会根据当前负载选择将时间安排往后推迟,因此 |
notification_pubsub_topic |
仅供输出。Pub/Sub 主题,系统将在此转移作业运行完成后通过该主题发送通知。 |
email_preferences |
仅供输出。电子邮件通知将根据这些偏好设置发送到拥有相应转移作业配置(即派生了此运行的转移作业配置)的用户的电子邮件地址。 |
destination_dataset_id |
仅供输出。BigQuery 目标数据集 ID。 |
TransferState
表示数据传输运行状态。
枚举 | |
---|---|
TRANSFER_STATE_UNSPECIFIED |
状态占位符。 |
PENDING |
已安排数据传输,正在等待数据传输后端进行接收。 |
RUNNING |
数据转移作业正在执行。 |
SUCCEEDED |
数据转移作业已成功完成。 |
FAILED |
数据转移作业失败。 |
CANCELLED |
数据传输已取消。 |
TransferType
已弃用。表示数据转移作业类型。
枚举 | |
---|---|
TRANSFER_TYPE_UNSPECIFIED |
无效或未知的传输类型占位符。 |
BATCH |
批量数据传输。 |
STREAMING |
流式数据传输。流式传输数据源当前不支持每个项目具有多项转移作业配置。 |
UpdateTransferConfigRequest
更新传输配置的请求。要更新传输配置的用户 ID,则需要提供授权代码。
字段 | |
---|---|
transfer_config |
必需。要创建的数据转移作业配置。 必须对指定的资源
|
authorization_code |
与此转移作业配置结合使用的可选 OAuth2 授权代码。如果提供该授权代码,则转移作业配置将与授权用户相关联。要获取 authorization_code,请向以下链接所指向的网页发出请求:https://www.gstatic.com/bigquerydatatransfer/oauthz/auth?client_id=
|
update_mask |
必需。要在此请求中更新的必填字段列表。 |
version_info |
可选的版本信息。如果用户希望查找最新的访问令牌(即紧随批准访问权限之后),则必须在令牌请求中设置 version_info 声明。为了获取 version_info,用户必须使用“none+gsession”响应类型,该类型会在授权响应中返回 version_info,后者将置于令牌请求的 JWT 声明中。 |
service_account_name |
可选的服务帐号名称。如果设置了此字段并且在 update_mask 中设置了“service_account_name”,则转移作业配置将更新以使用此服务帐号凭据。调用此 API 的请求用户必须拥有以此服务帐号的身份执行操作的权限。 |