YouTube 内容所有者转移作业

借助适用于 YouTube 的 BigQuery Data Transfer Service，您可以自动安排和管理 YouTube 内容所有者报告的周期性加载作业。

支持的报告

适用于 YouTube 内容所有者报告的 BigQuery Data Transfer Service 目前支持以下报告选项：

• 内容所有者报告
• 系统管理的报告
  • 概览
  • 报告
  • 字段

如需了解 YouTube 内容所有者报告如何转换为 BigQuery 表和视图，请参阅 YouTube 内容所有者报告转换。

报告选项	支持
支持的 API 版本	2018 年 6 月 18 日
时间安排	世界协调时间 (UTC) 每天 14:45 左右 您可以配置一天中的时段
刷新时段	过去 1 天 无法配置。
回填时长上限	30 天 自 2018 年 7 月起，包含历史数据的 YouTube 报告自生成之日起 30 天内可用。（包含非历史数据的报告在政策更改后的 60 天内可用。）如需了解详情，请参阅 YouTube Reporting API 文档中的历史数据。

准备工作

创建 YouTube 内容所有者转移作业之前，请完成以下事项：

• 验证您是否已完成启用 BigQuery Data Transfer Service 所需的所有操作。
• 创建 BigQuery 数据集以存储 YouTube 数据。
• 确认您拥有 YouTube 内容所有者帐号。YouTube 内容所有者与 YouTube 频道不同。 通常，只有在您管理许多不同频道的情况下，才会拥有 YouTube 内容所有者帐号。
• 如果您要设置 Pub/Sub 的转移作业运行通知，必须拥有 pubsub.topics.setIamPolicy 权限。如果您只想设置电子邮件通知，则无需 Pub/Sub 权限。如需了解详情，请参阅 BigQuery Data Transfer Service 运行通知。

所需权限

请确保创建转移作业的人员拥有以下所需权限：

• BigQuery：

  • 创建转移作业所需的 bigquery.transfers.update 权限
  • 针对目标数据集的 bigquery.datasets.update 权限

  预定义的项目级 IAM 角色 bigquery.admin 具有 bigquery.transfers.update 和 bigquery.datasets.update 权限。如需详细了解 BigQuery Data Transfer Service 中的 IAM 角色，请参阅访问权限控制参考文档。

• YouTube：

  • YouTube 内容管理员或 YouTube 内容所有者。

  内容管理员有权管理内容所有者的 YouTube 内容。内容所有者是一个综合性帐号，拥有一个或多个 YouTube 频道以及这些频道中的视频。

  • 在 YouTube 内容所有者报告设置中取消选中 Hide revenue data。

  对于要转移的与收入相关的报告，应为创建转移作业的用户取消选中 YouTube 报告权限设置 Hide revenue data。

  

设置 YouTube 内容所有者转移作业

设置 YouTube 内容所有者转移作业需要提供以下信息：

• 内容所有者 ID：由 YouTube 提供。当您以内容所有者或内容管理员身份登录 YouTube 时，您的 ID 会显示在网址中的 o= 之后。例如，如果网址为 https://youtube.com/dashboard?0=AbCDE_8FghIjK，则内容所有者 ID 为 AbCDE_8FghIjK。如需详细了解您的内容管理员帐号，请参阅配置内容管理员帐号设置。
• 表后缀：您在设置转移作业时为频道提供的简单易记的名称。系统会将此后缀附加到作业 ID 的后面以创建表名称，例如 reportTypeId_suffix。此后缀用于防止不同的转移作业写入相同的表。在将数据加载到同一数据集的所有转移作业中，表后缀必须是唯一的，而且要简短，以尽量缩短所生成的表名称的长度。

如果您目前在使用 YouTube Reporting API，并且目前具有报告作业，则 BigQuery Data Transfer Service 会加载您的报告数据。如果您目前没有报告作业，设置转移作业会自动启用 YouTube 报告作业。

设置 YouTube 内容所有者转移作业的方法如下：

控制台

1. 转到 Cloud Console 中的 BigQuery 页面。

   转到 BigQuery 页面

2. 点击转移。

3. 点击创建转移作业。

4. 在创建转移作业页面上：

   • 在来源类型部分中，为来源选择 YouTube 内容所有者 (YouTube Content Owner)。

     

   • 在转移配置名称部分的显示名中，输入转移作业的名称，例如 My Transfer。转移作业名称可以是任何容易辨识的值，方便您以后在需要修改该作业时能轻松识别。

     

   • 在时间表选项部分的时间表中，保留默认值（立即开始）或点击在设置的时间开始 (Start at a set time)。

     • 在重复频率部分，从以下选项中选择转移作业的运行频率。
       • 每日一次（默认值）
       • 每周一次
       • 每月一次
       • 自定义
       • 按需

     • 在开始日期和运行时间部分，输入开始转移作业的日期和时间。如果您选择的是立即开始，则此选项会处于停用状态。

       

   • 在目标设置部分的目标数据集中，选择您创建的用来存储数据的数据集。

     

   • 在数据源详细信息部分，执行以下操作：

     • 在内容所有者 ID 部分中，输入您的内容所有者 ID。

     • 在表后缀 (Table suffix) 部分中，输入后缀，例如 MT。

       

   • （可选）在通知选项部分，执行以下操作：

     • 点击切换开关以启用电子邮件通知。启用此选项后，转移作业管理员会在转移作业运行失败时收到电子邮件通知。
     • 在选择 Pub/Sub 主题部分，选择您的主题名称，或点击创建主题。此选项用于为您的转移作业配置 Pub/Sub 运行通知。

5. 点击保存。

bq

输入 bq mk 命令并提供转移作业创建标志 --transfer_config。此外，还必须提供以下标志：

• --data_source
• --target_dataset
• --display_name
• --params

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

其中：

• project_id 是项目 ID。
• dataset 是转移作业配置的目标数据集。
• name 是转移作业配置的显示名。转移作业名称可以是任何容易辨识的值，让您以后在需要修改时能够轻松识别。
• parameters 包含所创建转移作业配置的参数（采用 JSON 格式），例如 --params='{"param":"param_value"}'。对于 YouTube 内容所有者转移作业，必须提供 content_owner_id 和 table_suffix 参数。您可以选择将 configure_jobs 参数设置为 true，以允许 BigQuery Transfer Service 为您管理 YouTube 报告作业。如果您的帐号目前没有对应的 YouTube 报告，系统会创建新的报告作业来启用它们。
• data_source 是数据源，即 youtube_content_owner。

注意：目前，您无法使用命令行工具配置通知。

您还可以提供 --project_id 标志以指定具体项目。如果未指定 --project_id，系统会使用默认项目。

例如，以下命令使用内容所有者 ID AbCDE_8FghIjK、表后缀 MT 和目标数据集 mydataset 创建名为 My Transfer 的 YouTube 内容所有者转移作业。该转移作业将在默认项目中创建：

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"content_owner_id":"abCDE_8FghIjK","table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_content_owner

注意：当您使用命令行工具创建 YouTube 内容所有者转移作业时，系统会使用时间表的默认值来设置转移作业配置。

API

使用 projects.locations.transferConfigs.create 方法并提供一个 TransferConfig 资源实例。

Java

在 GitHub 上查看 反馈

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube content owner channel transfer config
public class CreateYoutubeContentOwnerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String contentOwnerId = "MY_CONTENT_OWNER_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("content_owner_id", Value.newBuilder().setStringValue(contentOwnerId).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Owner Channel Config Name")
            .setDataSourceId("youtube_content_owner")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeContentOwnerTransfer(projectId, transferConfig);
  }

  public static void createYoutubeContentOwnerTransfer(
      String projectId, TransferConfig transferConfig) throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println(
          "Youtube content owner channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube content owner channel transfer was not created." + ex.toString());
    }
  }
}

注意：如果您是首次设置 YouTube 报告作业，则会遇到延迟，您的第一批报告最长可能需要 48 小时才能完成。如需了解详情，请参阅 YouTube Reporting API 文档中的创建报告作业。

查询数据

当数据转移到 BigQuery 时，这些数据会写入按提取时间分区的表。如需了解详情，请参阅分区表。

如果您要直接查询表，而不是使用自动生成的视图，那么必须在查询中使用 _PARTITIONTIME 伪列。如需了解详情，请参阅查询分区表。

排查 YouTube 内容所有者转移作业设置问题

如果您在设置转移作业时遇到问题，请参阅排查 BigQuery Data Transfer Service 转移作业设置问题中的 YouTube 转移作业问题。