与 YouTube (DV360) 集成

本页介绍了将 Display & Video 360 (DV360) 作为 Cortex Framework Data Foundation 营销工作负载的数据源，从 YouTube 提取数据所需的配置。

DV360 是 Google 推出的一款广告平台，可用于管理 YouTube 广告以及其他数字渠道，让广告客户能够更好地控制营销工作并提高效率。

下图描述了如何通过 Cortex Framework Data Foundation 的营销工作负载获取 DV360 数据：

图 1。DV360 数据源。

注意 ：如需访问 DV360 数据源的配置文件、分析视图和模型，请参阅数据源目录。

配置文件

config.json 文件用于配置连接到数据源以从各种工作负载传输数据所需的设置。此文件包含 DV360 的以下参数：

   "marketing": {
        "deployDV360": true,
        "DV360": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_DV360"
            }
        }
   }

下表介绍了每项营销参数的值：

参数	含义	默认值	说明
marketing.deployDV360	部署 DV360	true	为 DV360 数据源执行部署。
marketing.DV360.deployCDC	为 DV360 部署 CDC 脚本	true	生成 DV360 CDC 处理脚本，以便在 Cloud Composer 中作为 DAG 运行。
marketing.DV360.datasets.cdc	DV360 的 CDC 数据集	-	DV360 的 CDC 数据集。
marketing.DV360.datasets.raw	DV360 的原始数据集	-	DV360 的原始数据集。
marketing.DV360.datasets.reporting	DV360 的报告数据集	REPORTING_DV360	DV360 的报告数据集。

数据模型

本部分使用实体关系图 (ERD) 介绍了 YouTube（使用 DV360）数据模型。

图 2。YouTube（使用 DV360）：实体关系图。

报告数据视图

ERD 中的蓝色对象表示包含汇总指标的报告视图。请参阅 src/marketing/src/DV360/src/reporting/ddls 中的脚本。

设置 DV360 原始数据提取

Cortex Framework 使用其“即时报告”功能与 DV360 集成。即时报告是 DV360 的一项可靠且低成本的开箱即用功能，可让您保存、安排和下载更大、更复杂的报告，并将其保存到文件和其他位置。每个报告都会定期在 BigQuery 中创建导出数据表，这些表具有相同的配置表名称前缀，并包含所选日期范围的数据，且频率为所选频率。

注意： Google 将于 2024 年 7 月开始迁移所有离线报告到即时报告。导出到 BigQuery 功能在两种报告类型之间的工作方式相同。您负责管理所有即时报告。Cortex Framework 不会配置或控制其行为。

权限

如需使用即时报告从 DV360 成功导出原始数据，用户必须具备以下权限：

• DV360：
  • 为所选合作伙伴或广告客户提供标准权限。
• Google Cloud：
  • 分配给 DV360 服务账号的 BigQuery User 角色。
  • 分配给 DV360 服务账号的 BigQuery Data Editor 角色。

设置

请按照以下步骤设置从 DV360 导出原始表格。

1. 查看“关联 BigQuery 导出程序账号”的“权限详情”部分，确定 DV360 BigQuery 导出程序所需的服务账号。如需更多参考信息，请参阅图 2。
   图 2。在“关联 BigQuery Exporter 账号”页面中识别服务账号
2. 获取 Google Cloud 权限。具有 BigQuery Administrator 角色的用户需要向上一步中指定的 DV360 服务账号授予 BigQuery User 和 BigQuery Data Editor 角色。
3. 将 BigQuery 关联到 DV360，并指定您打算在此过程中使用的原始数据集。按照离线报告 > 启用 BigQuery 部分中的说明操作。

4. 进入即时报告，然后为下表中的每一行创建一个报告，并确保列与所示完全相同。如需详细了解 src/DV360/config/table_schema 下的详细列架构定义文件，请参阅将原始数据转换为 CDC 表架构部分。

   1. 添加至少一个合作伙伴或广告客户过滤条件。请确保此设置与第 3 步中的 BigQuery 关联的权限一致。
   注意： 如果您要导出多个合作伙伴或广告客户，则可能需要设置多个报告或导出内容。
   1. 选择广告客户时区作为报告的时区设置。如需了解详情，请参阅以下其他注意事项部分。
   注意 ：如果您的账号或 BigQuery 关联仅具有广告客户访问权限，则无法添加合作伙伴过滤条件，否则导出到 BigQuery 选项将处于停用状态，直至您移除合作伙伴过滤条件。

   表前缀	要包含的字段
   lineitem_details	日期 订单项 ID 订单项 广告系列 ID 宣传活动 订单项类型 订单项开始日期 订单项结束日期	展示次数
   lineitem_insights	日期 订单项 ID 设备类型 浏览器 环境 国家/地区 合作伙伴 ID 合作伙伴 合作伙伴币种 广告客户 ID 广告客户 广告客户币种 广告系列 ID 宣传活动 广告订单 ID 广告订单 订单项 订单项类型 订单项开始日期 订单项结束日期	展示次数 点击次数 收入（美元） 互动 收入（合作伙伴币种） 收入（广告客户币种） TrueView：观看次数
   adgroup_insights_by_age_gender	日期 YouTube 广告组 ID 年龄 (YouTube) 性别 订单项 ID 合作伙伴 ID 合作伙伴 合作伙伴币种 AdvertiserID 广告客户 广告客户币种 广告订单 ID 广告订单 订单项 YouTube 广告组	收入（美元） 展示次数 点击次数 互动次数 (YouTube) 收入（合作伙伴币种） 收入（广告客户币种） TrueView：观看次数
   adgroup_insights_by_audience	日期 YouTube 广告组 ID 细分受众群 细分受众群类型 订单项 ID 合作伙伴 ID 合作伙伴 PartnerCurrency 广告客户 ID 广告客户 广告客户币种 广告订单 ID 广告订单 订单项	展示次数 点击次数 YouTube 广告组 收入（美元） 互动次数 (YouTube) 收入（合作伙伴币种） 收入（广告客户币种） TrueView：观看次数
   adgroup_insights_by_adformat	日期 YouTube 广告组 ID YouTube 广告格式 订单项 ID 合作伙伴 ID 合作伙伴 合作伙伴币种 广告客户 ID 广告客户 广告客户币种 广告订单 ID 广告订单 订单项	展示次数 点击次数 YouTube 广告组 收入（美元） 互动次数 (YouTube) 收入（合作伙伴币种） 收入（广告客户币种） TrueView：观看次数
   adgroup_insights_by_placement	日期 YouTube 广告组 ID 展示位置（所有 YouTube 频道） 展示位置名称（所有 YouTube 频道） 订单项 ID PartnerID 合作伙伴 合作伙伴币种 广告客户 ID 广告客户 广告客户币种 广告订单 ID 广告订单 订单项	展示次数 YouTube 广告组 收入（美元） 互动次数 (YouTube) 收入（合作伙伴币种） 收入（广告客户币种） TrueView：观看次数
   adgroup_insights_by_adtype	日期 YouTube 广告组 ID YouTube 广告类型 订单项 ID 合作伙伴 ID 合作伙伴 合作伙伴币种 广告客户 ID 广告客户 广告客户币种 广告订单 ID 广告订单 订单项	展示次数 点击次数 YouTube 广告组 收入（美元） 互动次数 (YouTube) 收入（合作伙伴币种） 收入（广告客户币种） TrueView：观看次数
   ad_insights	日期 YouTube 广告 ID 订单项 ID 合作伙伴 ID 合作伙伴 合作伙伴币种 广告客户 ID 广告客户 AdvertiserCurrency 广告订单 ID 广告订单 订单项 YouTube 广告组 ID YouTube 广告组 YouTube 广告	展示次数 点击次数 收入（美元） 互动次数 (YouTube) 收入（合作伙伴币种） 收入（广告客户币种） TrueView：观看次数

5. 设置时间表并填写历史数据。请确保您使用的 BigQuery 关联与第 1 步中配置的相同，并且表前缀与上表中所示完全相同。如需了解详情，请参阅以下其他注意事项部分。

6. • 手动触发回填运行，或等待安排的导出操作开始。无论是哪种方式，您的数据都会自动进入为您的 BigQuery 关联配置的原始数据集。

其他注意事项

关于时区选择：

• 对于某些报告类型，您可以在设置导出操作时为日期选择广告客户时区或世界协调时间 (UTC) 时区。不过，与 YouTube 相关的报告仅支持广告客户时区。因此，在设置导出时，请务必选择广告客户时区设置。

• 由于报告导出数据会预先汇总到每日级别，因此 Cortex Framework 会直接使用提供的日期，而无需进行时区转换。您负责解读报告的时区信息。

关于安排和回填历史数据：

• 我们建议您选择过去 7 天作为导出日期范围，并选择每日作为导出频率。虽然任何设置都适用于 CDC 流程，但选择导出日期范围和导出频率对于在数据准确性和存储费用之间取得平衡至关重要。

• 当导出到 BigQuery 时，即时报告支持导出最多 14 天的数据，但 DV360 可能会偶尔对数据进行细微更新，最多可更新到报告日期后的 31 天。如果您为多个广告客户设置导出，则每个广告客户的数据日期都将采用其自己的时区。

• 如果需要非定期一次性的历史数据，则可以使用即时报告功能直接将最多 2 年的数据导出到 BigQuery 表中。请务必至少手动在 DV360 界面中执行此操作一次。

数据新鲜度和延迟

一般而言，Cortex Framework 数据源的数据新鲜度受上游连接允许的程度以及 DAG 执行频率的限制。调整 DAG 执行频率，使其与上游频率、资源限制和业务需求保持一致。

使用 DV360 即时报告时，数据新鲜度取决于设置 BigQuery Export 时的导出频率设置，该设置可以是每天、每周或每月。

配置

本部分介绍了数据流程的配置。

Cloud Composer 连接

在 Cloud Composer 中创建以下连接。如需了解更多详情，请参阅 Cloud Composer 文档。

连接名称	目的
dv360_cdc_bq	对于“原始数据集”>“CDC 数据集”转移。
dv360_reporting_bq	对于 CDC 数据集 > 报告数据集传输。

将原始表架构转换为 CDC 表架构

目录 src/DV360/config/table_schema 包含从 DV360 导出的每组表（通过相同的前缀标识）的一个架构文件。每个架构文件包含两列：ColumnName 和 ColumnDataType。

注意 ：如果您的用例在即时报告导出中包含其他列，请务必在相应的架构文件中也添加这些列。

提取设置

文件 src/DV360/config/ingestion_settings.yaml 包含用于控制从来源到 CDC 数据流水线的其他设置。

来源到 CDC 表

此部分包含用于控制如何提取 DV360 导出的表以及相关 CDC 进程行为的条目。每个条目都对应于一份即时报告，由导出前缀标识。

以下参数用于控制每个条目的 Source to CDC 设置：

参数	说明
base_table	CDC 数据集中用于存储 CDC 转换后原始数据的表（例如 customer）。
load_frequency	此实体的 DAG 用于填充 CDC 表的运行频率。如需详细了解可能的值，请参阅 Airflow 文档。
raw_table_prefix	相应即时报告使用的前缀，用于设置此 BigQuery Export。
row_identifiers	用于构成此表的唯一记录的列（以英文逗号分隔）。
partition_details	可选：如果您希望出于性能考虑对此表进行分区。如需了解详情，请参阅表分区。
cluster_details	可选：如果您希望出于性能考虑对此表进行分片，请参阅集群设置了解详情。

报告设置

您可以使用报告设置文件 src/DV360/config/reporting_settings.yaml 配置和控制 Cortex Framework 为 DV360 最终报告层生成数据的方式。此文件用于控制报告层 BigQuery 对象（表、视图、函数或存储过程）的生成方式。

如需了解详情，请参阅自定义报告设置文件。

后续步骤

• 如需详细了解其他数据源和工作负载，请参阅数据源和工作负载。
• 如需详细了解在生产环境中部署的步骤，请参阅 Cortex Framework Data Foundation 部署前提条件。