Integrasi dengan YouTube (DV360)

Halaman ini menjelaskan konfigurasi yang diperlukan untuk mengambil data dari YouTube dengan Display & Video 360 (DV360) sebagai sumber data beban kerja pemasaran Cortex Framework Data Foundation.

DV360 adalah platform iklan dari Google untuk mengelola iklan YouTube bersama saluran digital lainnya, yang menawarkan kontrol dan efisiensi yang lebih besar kepada pengiklan dalam upaya pemasaran mereka.

Diagram berikut menjelaskan cara data DV360 tersedia melalui beban kerja pemasaran Cortex Framework Data Foundation:

Gambar 1. Sumber data DV360.

Catatan: Untuk mengakses file konfigurasi, tampilan dan model analisis untuk sumber data DV360, lihat direktori sumber data.

File konfigurasi

File config.json mengonfigurasi setelan yang diperlukan untuk terhubung ke sumber data guna mentransfer data dari berbagai beban kerja. File ini berisi parameter berikut untuk DV360:

   "marketing": {
        "deployDV360": true,
        "DV360": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_DV360"
            }
        }
   }

Tabel berikut menjelaskan nilai untuk setiap parameter pemasaran:

Parameter	Arti	Nilai Default	Deskripsi
marketing.deployDV360	Men-deploy DV360	true	Jalankan deployment untuk sumber data DV360.
marketing.DV360.deployCDC	Men-deploy skrip CDC untuk DV360	true	Buat skrip pemrosesan CDC DV360 untuk dijalankan sebagai DAG di Cloud Composer.
marketing.DV360.datasets.cdc	Set data CDC untuk DV360	-	Set data CDC untuk DV360.
marketing.DV360.datasets.raw	Set data mentah untuk DV360	-	Set data mentah untuk DV360.
marketing.DV360.datasets.reporting	Set data pelaporan untuk DV360	REPORTING_DV360	Set data pelaporan untuk DV360.

Model Data

Bagian ini menjelaskan Model Data YouTube (dengan DV360) menggunakan Diagram Hubungan Entitas (ERD).

Gambar 2. YouTube (dengan DV360): Diagram Hubungan Entitas.

Tampilan pelaporan

Objek biru di ERD mewakili tampilan pelaporan yang berisi metrik gabungan. Lihat skrip di src/marketing/src/DV360/src/reporting/ddls.

Menyiapkan ekstraksi data Mentah DV360

Cortex Framework terintegrasi dengan DV360 menggunakan fitur Pelaporan Instan. Pelaporan Instan adalah fitur siap pakai yang andal dan murah dari DV360 yang memungkinkan laporan yang lebih besar dan lebih kompleks disimpan, dijadwalkan, dan didownload ke file dan lokasi yang berbeda. Setiap laporan secara berkala membuat tabel data ekspor di BigQuery dengan awalan nama tabel yang dikonfigurasi sama, yang berisi data untuk rentang tanggal yang dipilih, pada frekuensi yang dipilih.

Catatan: Google memigrasikan semua laporan Pelaporan Offline ke Pelaporan Instan mulai Juli 2024. Fitur Ekspor ke BigQuery berfungsi dengan cara yang sama di antara kedua jenis pelaporan. Anda bertanggung jawab untuk mengelola semua laporan Instant Reporting. Cortex Framework tidak mengonfigurasi atau mengontrol perilakunya.

Izin

Agar berhasil mengekspor data mentah dari DV360 menggunakan Pelaporan Instan, orang dengan izin berikut diperlukan:

• DV360:
  • Akses standar untuk Partner atau Pengiklan yang dipilih.
• Google Cloud:
  • Peran BigQuery User yang ditetapkan ke akun layanan DV360.
  • Peran BigQuery Data Editor yang ditetapkan ke akun layanan DV360.

Siapkan

Ikuti langkah-langkah berikut untuk menyiapkan ekspor tabel mentah dari DV360.

1. Identifikasi akun layanan yang diperlukan oleh BigQuery Exporter DV360 dengan melihat bagian detail izin di Link BigQuery Exporter Account. Lihat Gambar 2 untuk referensi selengkapnya.
   Gambar 2. Mengidentifikasi akun layanan di Link BigQuery Exporter Account
2. Mendapatkan izin Google Cloud . Orang dengan peran BigQuery Administrator harus memberikan peran BigQuery User dan BigQuery Data Editor ke akun layanan DV360 yang diidentifikasi di langkah sebelumnya.
3. Tautkan BigQuery ke DV360, dengan menentukan set data Mentah yang ingin Anda gunakan dalam proses ini. Ikuti petunjuk di bagian Pelaporan offline > Aktifkan BigQuery.

4. Buka Pelaporan Instan dan buat satu laporan untuk setiap baris dalam tabel berikut, dengan kolom persis seperti yang ditampilkan. Untuk informasi selengkapnya tentang file definisi skema kolom mendetail di bagian src/DV360/config/table_schema, lihat bagian Skema tabel mentah ke CDC.

   1. Tambahkan minimal satu filter Partner atau Pengiklan. Pastikan hal ini sesuai dengan izin penautan BigQuery Anda di langkah 3.
   Catatan: Anda mungkin perlu menyiapkan beberapa laporan atau ekspor jika mengekspor beberapa Partner atau Pengiklan.
   1. Pilih Zona waktu pengiklan sebagai setelan zona waktu laporan. Untuk mengetahui informasi selengkapnya, lihat bagian berikut Pertimbangan tambahan.
   Catatan: Jika akun atau penautan BigQuery Anda hanya memiliki Akses pengiklan, Anda tidak dapat menyertakan filter Partner. Jika tidak, opsi Ekspor ke BigQuery akan dinonaktifkan hingga filter Partner dihapus.

   Awalan Tabel	Kolom yang akan disertakan
   lineitem_details	Tanggal ID Item Baris Item Baris ID Kampanye Kampanye Jenis Item Baris Tanggal Mulai Item Baris Tanggal Akhir Item Baris	Tayangan
   lineitem_insights	Tanggal ID Item Baris Jenis Perangkat Browser Lingkungan Negara ID Partner Partner Mata Uang Partner ID pengiklan Pengiklan Mata Uang Pengiklan ID Kampanye Kampanye ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris Jenis Item Baris Tanggal Mulai Item Baris Tanggal Akhir Item Baris	Tayangan Klik Pendapatan (USD) Keterlibatan Pendapatan (Mata Uang Partner) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_age_gender	Tanggal ID Grup Iklan YouTube Usia (YouTube) Gender ID Item Baris ID Partner Partner Mata Uang Partner AdvertiserID Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris Grup Iklan YouTube	Pendapatan (USD) Tayangan Klik Engagement (YouTube) Pendapatan (Mata Uang Partner) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_audience	Tanggal ID Grup Iklan YouTube Segmen audiens Jenis segmen audiens ID Item Baris ID Partner Partner PartnerCurrency ID pengiklan Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris	Tayangan Klik Grup Iklan YouTube Pendapatan (USD) Engagement (YouTube) Pendapatan (PartnerCurrency) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_adformat	Tanggal ID Grup Iklan YouTube Format Iklan YouTube ID Item Baris ID Partner Partner Mata Uang Partner ID pengiklan Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris	Tayangan Klik Grup Iklan YouTube Pendapatan (USD) Engagement (YouTube) Pendapatan (Mata Uang Partner) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_placement	Tanggal ID Grup Iklan YouTube Penempatan (Semua Channel YouTube) Nama Penempatan (Semua Channel YouTube) ID Item Baris PartnerID Partner Mata Uang Partner ID pengiklan Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris	Tayangan Grup Iklan YouTube Pendapatan (USD) Engagement (YouTube) Pendapatan (PartnerCurrency) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_adtype	Tanggal ID Grup Iklan YouTube Jenis Iklan YouTube ID Item Baris ID Partner Partner Mata Uang Partner ID pengiklan Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris	Tayangan Klik Grup Iklan YouTube Pendapatan (USD) Engagement (YouTube) Pendapatan (Mata Uang Partner) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   ad_insights	Tanggal ID Iklan YouTube ID Item Baris ID Partner Partner Mata Uang Partner ID pengiklan Pengiklan AdvertiserCurrency ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris ID Grup Iklan YouTube Grup Iklan YouTube Iklan YouTube	Tayangan Klik Pendapatan (USD) Engagement (YouTube) Pendapatan (Mata Uang Partner) Pendapatan (AdvCurrency) TrueView: Penayangan

5. Siapkan jadwal dan isi data historis. Pastikan Anda menggunakan link BigQuery yang sama seperti yang dikonfigurasi pada langkah 1, serta awalan tabel sama persis seperti yang ditampilkan di tabel sebelumnya. Untuk informasi selengkapnya, lihat bagian berikut Pertimbangan tambahan.

6. • Memicu pengisian ulang secara manual, atau menunggu ekspor terjadwal dimulai. Apa pun cara yang Anda pilih, data Anda akan otomatis masuk ke set data Mentah yang dikonfigurasi untuk penautan BigQuery.

Pertimbangan lainnya

Terkait pemilihan zona waktu:

• Untuk beberapa jenis laporan, Anda memiliki opsi untuk memilih zona waktu Pengiklan atau zona waktu UTC untuk tanggal pada saat menyiapkan ekspor. Namun, laporan terkait YouTube hanya mendukung zona waktu Pengiklan. Oleh karena itu, pastikan untuk memilih setelan zona waktu Pengiklan saat menyiapkan ekspor.

• Karena ekspor laporan telah digabungkan sebelumnya ke tingkat harian, Framework Cortex menggunakan tanggal yang diberikan secara langsung tanpa konversi zona waktu. Anda bertanggung jawab untuk menafsirkan informasi zona waktu yang dilaporkan.

Terkait penjadwalan dan pengisian ulang data historis:

• Sebaiknya pilih 7 hari terakhir sebagai rentang tanggal ekspor dan Harian sebagai frekuensi ekspor. Memilih rentang tanggal ekspor dan frekuensi ekspor diperlukan untuk menyeimbangkan akurasi data dan biaya penyimpanan, meskipun setelan apa pun akan berfungsi dengan proses CDC kami.

• Pelaporan Instan mendukung ekspor data hingga 14 hari saat mengekspor ke BigQuery, meskipun DV360 terkadang dapat melakukan pembaruan kecil pada data, hingga 31 hari setelah tanggal laporan. Jika Anda menyiapkan ekspor untuk beberapa Pengiklan, tanggal setiap pengiklan akan berada dalam zona waktunya sendiri.

• Jika data historis diperlukan, sebagai data satu kali yang tidak terjadwal, Pelaporan Instan memungkinkan ekspor data hingga 2 tahun ke dalam tabel BigQuery secara langsung. Pastikan untuk melakukannya setidaknya sekali, secara manual dari UI DV360.

Keaktualan dan Penundaan Data

Sebagai aturan umum, keaktualan data untuk sumber data Cortex Framework dibatasi oleh apa yang diizinkan oleh koneksi upstream, serta frekuensi eksekusi DAG Anda. Sesuaikan frekuensi eksekusi DAG agar selaras dengan frekuensi upstream, batasan resource, dan kebutuhan bisnis Anda.

Dengan Pelaporan Instan DV360, keaktualan data bergantung pada setelan frekuensi ekspor saat BigQuery Export disiapkan, yang dapat berupa harian, mingguan, atau bulanan.

Konfigurasi

Bagian ini menjelaskan konfigurasi untuk proses data.

Koneksi Cloud Composer

Buat koneksi berikut di Cloud Composer. Lihat detail selengkapnya di dokumentasi Cloud Composer.

Nama Koneksi	Tujuan
dv360_cdc_bq	Untuk Set data mentah > Transfer set data CDC.
dv360_reporting_bq	Untuk set data CDC > Transfer set data pelaporan.

Skema tabel mentah ke CDC

Direktori src/DV360/config/table_schema berisi satu file skema per kumpulan tabel (diidentifikasi dengan awalan yang sama), yang diekspor dari DV360. Setiap file skema berisi dua kolom: ColumnName dan ColumnDataType.

Catatan: Jika kasus penggunaan Anda menyertakan kolom tambahan dalam ekspor Pelaporan Instan, pastikan untuk menyertakannya juga dalam file skema yang sesuai.

Setelan proses transfer

File src/DV360/config/ingestion_settings.yaml berisi setelan lebih lanjut yang mengontrol pipeline data Sumber ke CDC.

Sumber ke tabel CDC

Bagian ini memiliki entri yang mengontrol cara penyerapan tabel yang diekspor DV360 dan perilaku proses CDC yang relevan. Setiap entri sesuai dengan satu laporan Pelaporan Instan, yang diidentifikasi dengan awalan ekspor.

Parameter berikut mengontrol setelan untuk Source to CDC untuk setiap entri:

Parameter	Deskripsi
base_table	Tabel dalam set data CDC tempat data mentah setelah transformasi CDC disimpan (misalnya, customer).
load_frequency	Seberapa sering DAG untuk entity ini berjalan untuk mengisi tabel CDC. Untuk mengetahui informasi selengkapnya tentang kemungkinan nilai, lihat dokumentasi Airflow.
raw_table_prefix	Awalan yang digunakan oleh laporan Pelaporan Instan yang sesuai untuk menyiapkan BigQuery Export ini.
row_identifiers	Kolom (dipisahkan koma) yang membentuk data unik untuk tabel ini.
partition_details	Opsional: Jika Anda ingin tabel ini dipartisi untuk pertimbangan performa. Untuk mengetahui informasi selengkapnya, lihat Partisi Tabel.
cluster_details	Opsional: Jika Anda ingin tabel ini dikelompokkan untuk pertimbangan performa, lihat informasi selengkapnya di Setelan Cluster.

Setelan pelaporan

Anda dapat mengonfigurasi dan mengontrol cara Cortex Framework membuat data untuk lapisan pelaporan akhir DV360 menggunakan file setelan pelaporan src/DV360/config/reporting_settings.yaml. File ini mengontrol cara objek BigQuery lapisan pelaporan (tabel, tampilan, fungsi, atau prosedur tersimpan) dibuat.

Untuk mengetahui informasi selengkapnya, lihat Menyesuaikan file setelan pelaporan.

Apa langkah selanjutnya?

• Untuk informasi selengkapnya tentang sumber data dan workload lainnya, lihat Sumber data dan workload.
• Untuk informasi selengkapnya tentang langkah-langkah deployment di lingkungan produksi, lihat Prasyarat deployment Data Foundation Framework Cortex.