借助适用于 YouTube 的 BigQuery Data Transfer Service,您可以自动安排和管理 YouTube 内容所有者报告的周期性加载作业。
支持的报告
适用于 YouTube 内容所有者报告的 BigQuery Data Transfer Service 目前支持以下报告选项:
报告选项 | 支持 |
---|---|
支持的 API 版本 | 2018 年 6 月 18 日 |
时间安排 | 世界协调时间 (UTC) 每天 14:45 左右 您可以配置一天中的时段 |
刷新时段 | 过去 1 天 无法配置。 |
回填时长上限 | 30 天 自 2018 年 7 月起,包含历史数据的 YouTube 报告自生成之日起 30 天内可用。(包含非历史数据的报告在政策更改后的 60 天内可用。)如需了解详情,请参阅 YouTube Reporting API 文档中的历史数据。 |
如需了解 YouTube 内容所有者报告如何转换为 BigQuery 表和视图,请参阅 YouTube 内容所有者报告转换。
限制
每个报告支持的文件大小上限为 1710 GB。
准备工作
创建 YouTube 内容所有者转移作业之前,请完成以下事项:
- 验证您是否已完成启用 BigQuery Data Transfer Service 所需的所有操作。
- 创建 BigQuery 数据集以存储 YouTube 数据。
- 确认您拥有 YouTube 内容所有者帐号。YouTube 内容所有者与 YouTube 频道不同。 通常,只有在您管理许多不同频道的情况下,才会拥有 YouTube 内容所有者帐号。
- 如果您要设置 Pub/Sub 的转移作业运行通知,必须拥有
pubsub.topics.setIamPolicy
权限。如果您只想设置电子邮件通知,则无需 Pub/Sub 权限。如需了解详情,请参阅 BigQuery Data Transfer Service 运行通知。
所需权限
请确保创建转移作业的人员拥有以下所需权限:
BigQuery:
- 创建转移作业所需的
bigquery.transfers.update
权限 - 针对目标数据集的
bigquery.datasets.get
和bigquery.datasets.update
权限
预定义的 IAM 角色
bigquery.admin
包含bigquery.transfers.update
、bigquery.datasets.update
和bigquery.datasets.get
权限。如需详细了解 BigQuery Data Transfer Service 中的 IAM 角色,请参阅访问权限控制参考文档。- 创建转移作业所需的
YouTube:
- YouTube 内容管理员或 YouTube 内容所有者。
内容管理员有权管理内容所有者的 YouTube 内容。内容所有者是一个综合性帐号,拥有一个或多个 YouTube 频道以及这些频道中的视频。
- 在 YouTube 内容所有者报告设置中取消选中
Hide revenue data
。
对于要转移的与收入相关的报告,应为创建转移作业的用户取消选中 YouTube 报告权限设置
Hide revenue data
。
设置 YouTube 内容所有者转移作业
设置 YouTube 内容所有者转移作业需要提供以下信息:
- 内容所有者 ID:由 YouTube 提供。当您以内容所有者或内容管理员身份登录 YouTube 时,您的 ID 会显示在网址中的
o=
之后。例如,如果网址为https://youtube.com/dashboard?0=AbCDE_8FghIjK
,则内容所有者 ID 为AbCDE_8FghIjK
。如需详细了解您的内容管理员帐号,请参阅配置内容管理员帐号设置。 - 表后缀:您在设置转移作业时为频道提供的简单易记的名称。系统会将此后缀附加到作业 ID 的后面以创建表名称,例如 reportTypeId_suffix。此后缀用于防止不同的转移作业写入相同的表。在将数据加载到同一数据集的所有转移作业中,表后缀必须是唯一的,而且要简短,以尽量缩短所生成的表名称的长度。
如果您目前在使用 YouTube Reporting API,并且目前具有报告作业,则 BigQuery Data Transfer Service 会加载您的报告数据。如果您目前没有报告作业,设置转移作业会自动启用 YouTube 报告作业。
设置 YouTube 内容所有者转移作业的方法如下:
控制台
转到 Cloud Console 中的 BigQuery 页面。 确保以 Content Owner 或 Content Manager 身份登录帐号。
点击转移。
点击创建转移作业。
在创建转移作业页面上:
在来源类型部分中,为来源选择 YouTube 内容所有者 (YouTube Content Owner)。
在转移配置名称部分的显示名中,输入转移作业的名称,例如
My Transfer
。转移作业名称可以是任何容易辨识的值,方便您以后在需要修改该作业时能轻松识别。在时间表选项部分的时间表中,保留默认值(立即开始)或点击在设置的时间开始 (Start at a set time)。
- 在重复频率部分,从以下选项中选择转移作业的运行频率。
- 每日一次(默认值)
- 每周一次
- 每月一次
- 自定义
- 按需
在开始日期和运行时间部分,输入开始转移作业的日期和时间。如果您选择的是立即开始,则此选项会处于停用状态。
- 在重复频率部分,从以下选项中选择转移作业的运行频率。
在目标设置部分的目标数据集中,选择您创建的用来存储数据的数据集。
在数据源详细信息部分,执行以下操作:
- 在内容所有者 ID 部分中,输入您的内容所有者 ID。
在表后缀 (Table suffix) 部分中,输入后缀,例如
MT
。
(可选)在通知选项部分,执行以下操作:
点击保存。
如果这是您首次登录帐号,请选择一个帐号,然后点击允许。选择您是 Content Owner 或 Content Manager 的同一帐号。
bq
输入 bq mk
命令并提供转移作业创建标志 --transfer_config
。此外,还必须提供以下标志:
--data_source
--target_dataset
--display_name
--params
可选标志:
--service_account_name
- 指定用于进行内容所有者转移身份验证的服务帐号,而不是您的用户帐号。
bq mk \ --transfer_config \ --project_id=project_id \ --target_dataset=dataset \ --display_name=name \ --params='parameters' \ --data_source=data_source \ --service_account_name=service_account_name
其中:
- project_id 是项目 ID。
- dataset 是转移作业配置的目标数据集。
- name 是转移作业配置的显示名。转移作业名称可以是任何容易辨识的值,让您以后在需要修改时能够轻松识别。
- parameters 包含所创建转移作业配置的参数(采用 JSON 格式),例如
--params='{"param":"param_value"}'
。对于 YouTube 内容所有者转移作业,必须提供content_owner_id
和table_suffix
参数。您可以选择将configure_jobs
参数设置为true
,以允许 BigQuery Transfer Service 为您管理 YouTube 报告作业。如果您的帐号目前没有对应的 YouTube 报告,系统会创建新的报告作业来启用它们。 - data_source 是数据源,即
youtube_content_owner
。 - service_account_name 是用于对内容所有者转移作业进行身份验证的服务帐号名称。该服务帐号应归用于创建转移作业的同一
project_id
所有,并且应具有上面列出的所有所需权限。
您还可以提供 --project_id
标志以指定具体项目。如果未指定 --project_id
,系统会使用默认项目。
例如,以下命令使用内容所有者 ID AbCDE_8FghIjK
、表后缀 MT
和目标数据集 mydataset
创建名为 My Transfer
的 YouTube 内容所有者转移作业。该转移作业将在默认项目中创建:
bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"content_owner_id":"abCDE_8FghIjK","table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_content_owner
API
使用 projects.locations.transferConfigs.create
方法并提供一个 TransferConfig
资源实例。
Java
查询数据
当数据转移到 BigQuery 时,这些数据会写入按提取时间分区的表。如需了解详情,请参阅分区表。
如果您要直接查询表,而不是使用自动生成的视图,那么必须在查询中使用 _PARTITIONTIME
伪列。如需了解详情,请参阅查询分区表。
YouTube 内容所有者传输设置问题排查
如果您在设置转移作业时遇到问题,请参阅排查转移作业配置问题中的 YouTube 转移作业问题。