YouTube 内容所有者转移作业

借助适用于 YouTube 的 BigQuery Data Transfer Service，您可以自动安排和管理 YouTube 内容所有者报告的周期性加载作业。

支持的报告

• 内容所有者报告
• 系统管理的报告
  • 概览
  • 报告
  • 字段

适用于 YouTube 内容所有者报告的 BigQuery Data Transfer Service 目前支持以下报告选项：

报告选项	支持
支持的 API 版本	2018 年 6 月 18 日
时间安排	世界协调时间 (UTC) 每天 14:45 左右 您可以配置一天中的时段
刷新时段	过去 1 天 无法配置。
回填时长上限	30 天 自 2018 年 7 月起，包含历史数据的 YouTube 报告自生成之日起 30 天内可用。（包含非历史数据的报告在政策更改后的 60 天内可用。）如需了解详情，请参阅 YouTube Reporting API 文档中的历史数据。

如需了解 YouTube 内容所有者报告如何转换为 BigQuery 表和视图，请参阅 YouTube 内容所有者报告转换。

限制

每个报告支持的文件大小上限为 1710 GB。

准备工作

创建 YouTube 内容所有者转移作业之前，请完成以下事项：

• 验证您是否已完成启用 BigQuery Data Transfer Service 所需的所有操作。
• 创建 BigQuery 数据集以存储 YouTube 数据。
• 确认您拥有 YouTube 内容所有者帐号。YouTube 内容所有者与 YouTube 频道不同。 通常，只有在您管理许多不同频道的情况下，才会拥有 YouTube 内容所有者帐号。
• 如果您要设置 Pub/Sub 的转移作业运行通知，必须拥有 pubsub.topics.setIamPolicy 权限。如果您只想设置电子邮件通知，则无需 Pub/Sub 权限。如需了解详情，请参阅 BigQuery Data Transfer Service 运行通知。

所需权限

请确保创建转移作业的人员拥有以下所需权限：

• BigQuery：

  • 创建转移作业所需的 bigquery.transfers.update 权限
  • 针对目标数据集的 bigquery.datasets.get 和 bigquery.datasets.update 权限

  预定义的 IAM 角色 bigquery.admin 包含 bigquery.transfers.update、bigquery.datasets.update 和 bigquery.datasets.get 权限。如需详细了解 BigQuery Data Transfer Service 中的 IAM 角色，请参阅访问权限控制参考文档。

• YouTube：

  • YouTube 内容管理员或 YouTube 内容所有者。

  内容管理员有权管理内容所有者的 YouTube 内容。内容所有者是一个综合性帐号，拥有一个或多个 YouTube 频道以及这些频道中的视频。

  • 在 YouTube 内容所有者报告设置中取消选中 Hide revenue data。

  对于要转移的与收入相关的报告，应为创建转移作业的用户取消选中 YouTube 报告权限设置 Hide revenue data。

  

设置 YouTube 内容所有者转移作业

设置 YouTube 内容所有者转移作业需要提供以下信息：

• 内容所有者 ID：由 YouTube 提供。当您以内容所有者或内容管理员身份登录 YouTube 时，您的 ID 会显示在网址中的 o= 之后。例如，如果网址为 https://youtube.com/dashboard?0=AbCDE_8FghIjK，则内容所有者 ID 为 AbCDE_8FghIjK。如需详细了解您的内容管理员帐号，请参阅配置内容管理员帐号设置。
• 表后缀：您在设置转移作业时为频道提供的简单易记的名称。系统会将此后缀附加到作业 ID 的后面以创建表名称，例如 reportTypeId_suffix。此后缀用于防止不同的转移作业写入相同的表。在将数据加载到同一数据集的所有转移作业中，表后缀必须是唯一的，而且要简短，以尽量缩短所生成的表名称的长度。

如果您目前在使用 YouTube Reporting API，并且目前具有报告作业，则 BigQuery Data Transfer Service 会加载您的报告数据。如果您目前没有报告作业，设置转移作业会自动启用 YouTube 报告作业。

设置 YouTube 内容所有者转移作业的方法如下：

控制台

1. 转到 Cloud Console 中的 BigQuery 页面。 确保以 Content Owner 或 Content Manager 身份登录帐号。

   转到 BigQuery 页面

2. 点击转移。

3. 点击创建转移作业。

4. 在创建转移作业页面上：

   • 在来源类型部分中，为来源选择 YouTube 内容所有者 (YouTube Content Owner)。

     

   • 在转移配置名称部分的显示名中，输入转移作业的名称，例如 My Transfer。转移作业名称可以是任何容易辨识的值，方便您以后在需要修改该作业时能轻松识别。

     

   • 在时间表选项部分的时间表中，保留默认值（立即开始）或点击在设置的时间开始 (Start at a set time)。

     • 在重复频率部分，从以下选项中选择转移作业的运行频率。
       • 每日一次（默认值）
       • 每周一次
       • 每月一次
       • 自定义
       • 按需

     • 在开始日期和运行时间部分，输入开始转移作业的日期和时间。如果您选择的是立即开始，则此选项会处于停用状态。

       

   • 在目标设置部分的目标数据集中，选择您创建的用来存储数据的数据集。

     

   • 在数据源详细信息部分，执行以下操作：

     • 在内容所有者 ID 部分中，输入您的内容所有者 ID。

     • 在表后缀 (Table suffix) 部分中，输入后缀，例如 MT。

       

   • （可选）在通知选项部分，执行以下操作：

     • 点击切换开关以启用电子邮件通知。启用此选项后，转移作业管理员会在转移作业运行失败时收到电子邮件通知。
     • 在选择 Pub/Sub 主题部分，选择您的主题名称，或点击创建主题。此选项用于为您的转移作业配置 Pub/Sub 运行通知。

5. 点击保存。

6. 如果这是您首次登录帐号，请选择一个帐号，然后点击允许。选择您是 Content Owner 或 Content Manager 的同一帐号。

bq

输入 bq mk 命令并提供转移作业创建标志 --transfer_config。此外，还必须提供以下标志：

• --data_source
• --target_dataset
• --display_name
• --params

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

其中：

• project_id 是项目 ID。
• dataset 是转移作业配置的目标数据集。
• name 是转移作业配置的显示名。转移作业名称可以是任何容易辨识的值，让您以后在需要修改时能够轻松识别。
• parameters 包含所创建转移作业配置的参数（采用 JSON 格式），例如 --params='{"param":"param_value"}'。对于 YouTube 内容所有者转移作业，必须提供 content_owner_id 和 table_suffix 参数。您可以选择将 configure_jobs 参数设置为 true，以允许 BigQuery Transfer Service 为您管理 YouTube 报告作业。如果您的帐号目前没有对应的 YouTube 报告，系统会创建新的报告作业来启用它们。
• data_source 是数据源，即 youtube_content_owner。

注意：目前，您无法使用命令行工具配置通知。

您还可以提供 --project_id 标志以指定具体项目。如果未指定 --project_id，系统会使用默认项目。

例如，以下命令使用内容所有者 ID AbCDE_8FghIjK、表后缀 MT 和目标数据集 mydataset 创建名为 My Transfer 的 YouTube 内容所有者转移作业。该转移作业将在默认项目中创建：

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"content_owner_id":"abCDE_8FghIjK","table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_content_owner

注意：当您使用命令行工具创建 YouTube 内容所有者转移作业时，系统会使用时间表的默认值来设置转移作业配置。

API

使用 projects.locations.transferConfigs.create 方法并提供一个 TransferConfig 资源实例。

Java

在 GitHub 上查看 反馈

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube content owner channel transfer config
public class CreateYoutubeContentOwnerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String contentOwnerId = "MY_CONTENT_OWNER_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("content_owner_id", Value.newBuilder().setStringValue(contentOwnerId).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Owner Channel Config Name")
            .setDataSourceId("youtube_content_owner")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeContentOwnerTransfer(projectId, transferConfig);
  }

  public static void createYoutubeContentOwnerTransfer(
      String projectId, TransferConfig transferConfig) throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println(
          "Youtube content owner channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube content owner channel transfer was not created." + ex.toString());
    }
  }
}

注意：如果您是首次设置 YouTube 报告作业，则会遇到延迟，您的第一批报告最长可能需要 48 小时才能完成。如需了解详情，请参阅 YouTube Reporting API 文档中的创建报告作业。

查询数据

当数据转移到 BigQuery 时，这些数据会写入按提取时间分区的表。如需了解详情，请参阅分区表。

如果您要直接查询表，而不是使用自动生成的视图，那么必须在查询中使用 _PARTITIONTIME 伪列。如需了解详情，请参阅查询分区表。

YouTube 内容所有者传输设置问题排查

如果您在设置转移作业时遇到问题，请参阅排查转移作业配置问题中的 YouTube 转移作业问题。