將 Display & Video 360 資料載入 BigQuery
您可以使用 Display & Video 360 的 BigQuery 資料移轉服務連接器,將資料從 Display & Video 360 載入至 BigQuery。您可以使用 BigQuery 資料移轉服務,安排週期性移轉工作,將 Display & Video 360 的最新資料新增至 BigQuery。
連接器總覽
Display & Video 360 連接器的 BigQuery 資料移轉服務支援下列資料移轉選項。
資料移轉選項 | 支援 |
---|---|
受支援的報表 | Display & Video 360 連接器支援從資料移轉第 2 版 (Display & Video DTv2) 檔案移轉資料。
如要瞭解 Display & Video 360 報表如何轉換成 BigQuery 表格和檢視表,請參閱「Display & Video 360 報表轉換」一文。 |
重複頻率 | Display & Video 360 連接器支援每日資料轉移。 根據預設,資料移轉作業會在建立時排定時間。設定資料移轉作業時,你可以設定資料移轉時間。 |
重新整理時間範圍 | 資料移轉作業執行時,Display & Video 360 連接器會擷取最多 2 天前的 Display & Video 360 資料。
詳情請參閱「重新整理視窗」。 |
資料補充作業的可用性 | 執行資料回填,擷取排定資料轉移時間以外的資料。您可以擷取資料來源資料保留政策允許的最早資料。 如要瞭解 Display & Video 360 的資料保留政策,請參閱「報表資料的新鮮度和可用性」。 |
支援的設定資料
除了報表資料,BigQuery 資料移轉服務也會從 Display & Video 360 移轉下列設定資料。設定資料會從 Display & Video 360 API v3 擷取。
- 合作夥伴
- 廣告主
- LineItem
- LineItemTargeting
- Campaign
- CampaignTargeting
- InsertionOrder
- InsertionOrderTargeting
- AdGroup
- AdGroupTargeting
- AdGroupAd
- 廣告素材
如要進一步瞭解各類設定資料,請參閱下列連結:
從 Display & Video 360 轉移作業擷取資料
從 Display & Video 360 將資料移轉至 BigQuery 時,系統會將資料載入以日期為分區依據的 BigQuery 資料表。資料載入的資料表分區會對應至資料來源的日期。如果為同一天排定多項移轉作業,BigQuery 資料移轉服務會以最新資料覆寫該特定日期的資料分割。同一天內多次轉移或執行回填作業,不會導致資料重複,也不會影響其他日期的分區。重新整理視窗
更新期是指資料移轉作業在執行時,擷取資料的天數。舉例來說,如果重新整理時間範圍為三天,且每天都會進行移轉,BigQuery 資料移轉服務就會從來源資料表擷取過去三天的所有資料。在這個範例中,每天進行移轉時,BigQuery 資料移轉服務會建立新的 BigQuery 目的地資料表分割區,並複製當天的來源資料表資料,然後自動觸發回填執行作業,以更新過去兩天的來源資料表資料。系統自動觸發的回填作業會覆寫或增量更新 BigQuery 目的地資料表,具體做法取決於 BigQuery 資料移轉服務連接器是否支援增量更新。
首次執行資料移轉時,資料移轉作業會擷取重新整理視窗內的所有可用來源資料。舉例來說,如果重新整理時間範圍為三天,且您是第一次執行資料移轉作業,BigQuery 資料移轉服務會擷取三天內的所有來源資料。
重新整理視窗會對應至 TransferConfig.data_refresh_window_days
API 欄位。
如要擷取重新整理時間範圍外的資料 (例如歷來資料),或從任何轉移中斷或缺漏中復原資料,可以啟動或排定補充作業。
事前準備
建立 Display & Video 360 資料轉移作業前,請先查看下列必要條件和資訊。
必要條件
- 確認您已完成啟用 BigQuery 資料移轉服務的一切必要動作。
- 建立 BigQuery 資料集,儲存 Display & Video 360 資料。
- 請確認您擁有 Display & Video 360 合作夥伴 ID 或廣告主 ID。 合作夥伴 ID 是階層中的父項。
- 請確認您擁有讀取權限,可透過 Display & Video API 存取合作夥伴或廣告主資料。
確認貴機構可存取 Display & Video 360 資料移轉 v2 (Display & Video 360 DTv2) 檔案。這些檔案會由 Display & Video 360 團隊傳送至 Cloud Storage bucket。如要要求存取 Display & Video 360 DTv2 檔案,請視您是否與 Display & Video 360 簽訂直接合約而定。在這兩種情況下,可能需要支付額外費用。
- 如果您與 Display & Video 360 簽訂合約,請與 Display & Video 360 支援團隊聯絡,設定 Display & Video 360 DTv2 檔案。
- 如果您沒有 Display & Video 360 合約,請與代理商聯絡,取得 Display & Video 360 DTv2 檔案的存取權。
- 完成上述步驟後,您會收到下列任一 Cloud Storage 值區名稱,視設定是為合作夥伴或廣告主而定:
gs://dcdt_-dbm_partnerPARTNER_ID
gs://dcdt_-dbm_advertiserADVERTISER_ID
如要為 Pub/Sub 設定移轉作業執行通知,您必須擁有
pubsub.topics.setIamPolicy
權限。詳情請參閱「BigQuery 資料移轉服務執行通知」。
查看 Display & Video 360 ID
如要擷取 Display & Video 360 ID,請前往 Google Cloud 主控台的 Cloud Storage「Buckets」頁面,並檢查 Display & Video 360 資料移轉 Cloud Storage bucket 中的檔案。Display & Video 360 ID 可用來在您提供的 Cloud Storage bucket 中比對檔案,這個 ID 會嵌入檔案名稱,而非 Cloud Storage 值區名稱。例如:
- 在名為
dbm_partner123_activity_*
的檔案中,ID 為123
。 - 在名為
dbm_advertiser567_activity_*
的檔案中,ID 為567
。
尋找檔案名稱前置字串
在某些情況下,您 Cloud Storage bucket 中的檔案可能包含由 Google Marketing Platform 服務團隊為您設定的非標準自訂檔案名稱。例如:
在名為 dbm_partner123456custom_activity_*
的檔案中,前置字串為 dbm_partner123456custom
。
如需檔案名前置字元相關協助,請與 Display & Video 360 支援團隊聯絡。
設定 Display & Video 360 資料移轉
選取下列選項之一:
主控台
前往 Google Cloud 控制台的「資料移轉」頁面。
按一下
「建立移轉作業」。在「Create transfer」(建立轉移作業)頁面執行下列操作:
- 在「Source type」(來源類型) 專區,「Source」(來源) 請選擇「Display & Video 360」。
- 在「Transfer config name」(轉移設定名稱) 專區,「Display name」(顯示名稱) 請輸入資料移轉作業的名稱。移轉作業名稱可以是任何值,能讓您辨識移轉作業,方便您日後在必要時進行修改。
在「Schedule options」(排程選項) 專區:
- 選取「Start now」(立即開始) 或「Start at set time」(在所設時間開始執行),並提供開始日期和執行時間。
- 「Repeats」請選擇您要多久移轉一次。如果選取「Days」(天),請按照世界標準時間提供有效的值。
在「Destination settings」(目的地設定) 部分的「Destination dataset」(目的地資料集) 選單,請選取您為了儲存資料而建立的資料集。
在「Data source details」(資料來源詳細資料) 區段:
按一下 [儲存]。
bq
輸入 bq mk
指令並提供移轉建立標記 - --transfer_config
。必須加上以下旗標:
--data_source
--target_dataset
--display_name
--params
bq mk --transfer_config \ --project_id=PROJECT_ID \ --target_dataset=DATASET \ --display_name=NAME \ --params='PARAMETERS' \ --data_source=DATA_SOURCE
其中:
- PROJECT_ID:您的專案 ID。
- DATASET:資料移轉設定的目標資料集。
- NAME:資料移轉設定的顯示名稱。移轉作業名稱可以是任意值,日後需要修改移轉作業時,能夠據此識別即可。
- PARAMETERS:已建立資料移轉設定的 JSON 格式參數。舉例來說,
--params='{"param":"param_value"}'
。如果是 Display & Video 360 轉移作業,則需要bucket
和displayvideo_id
參數。file_name_prefix
參數為選用,僅適用於罕見的自訂檔案名稱。 - DATA_SOURCE:資料來源 -
displayvideo
。
舉例來說,下列指令會使用 Display & Video 360 ID 123456
、Cloud Storage 值區 dcdt_-dbm_partner123456
和目標資料集 mydataset
,建立名為 My Transfer
的 Display & Video 360 資料移轉作業。
資料移轉作業會在預設專案中建立:
bq mk --transfer_config \ --target_dataset=mydataset \ --display_name='My Transfer' \ --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \ --data_source=displayvideo
執行指令後,您會收到如下的訊息:
[URL omitted] Please copy and paste the above URL into your web browser and
follow the instructions to retrieve an authentication code.
請按照訊息中的操作說明進行,在指令列中貼上驗證碼。
API
請使用 projects.locations.transferConfigs.create
方法,並提供 TransferConfig
資源的執行個體。
查詢資料
資料移轉至 BigQuery 時,系統會將資料寫入擷取時間分區資料表。詳情請參閱分區資料表簡介。
建議您查詢自動產生的檢視表,而非直接查詢資料表。不過,如要直接查詢資料表,您必須在查詢中使用 _PARTITIONTIME
虛擬資料欄。詳情請參閱查詢分區資料表。