Integrasi dengan Meta

Halaman ini menjelaskan konfigurasi yang diperlukan untuk mengambil data dari Meta (Facebook dan Instagram Ads) sebagai sumber data workload pemasaran Cortex Framework Data Foundation.

Meta adalah perusahaan teknologi yang memiliki beberapa platform online populer. Cortex Framework mengintegrasikan data Iklan dari Instagram dan Facebook untuk menganalisisnya, menggabungkannya dengan sumber data lain, dan menggunakan AI untuk mendapatkan insight yang lebih mendalam dan mengoptimalkan strategi pemasaran Anda.

Diagram berikut menjelaskan cara data pemasaran Meta tersedia melalui beban kerja pemasaran Cortex Framework Data Foundation:

Sumber metadata

Gambar 1. Sumber data meta pemasaran.

File konfigurasi

File config.json mengonfigurasi setelan yang diperlukan untuk terhubung ke sumber data guna mentransfer data dari berbagai beban kerja. File ini berisi parameter berikut untuk Meta:

   "marketing": {
        "deployMeta": true,
        "Meta": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_Meta"
            }
        }
    }

Tabel berikut menjelaskan nilai untuk setiap parameter pemasaran:

Parameter Arti Nilai Default Deskripsi
marketing.deployMeta Men-deploy Meta true Jalankan deployment untuk sumber data Meta.
marketing.Meta.deployCDC Men-deploy skrip CDC untuk Meta true Buat skrip pemrosesan Meta CDC untuk dijalankan sebagai DAG di Cloud Composer.
marketing.Meta.datasets.cdc Set data CDC untuk Meta Set data CDC untuk Meta.
marketing.Meta.datasets.raw Set data mentah untuk Meta Set data mentah untuk Meta.
marketing.Meta.datasets.reporting Set data pelaporan untuk Meta "REPORTING_Meta" Set data pelaporan untuk Meta.

Model Data

Bagian ini menjelaskan Model Data Meta menggunakan Diagram Hubungan Entitas (ERD).

Diagram Hubungan Entity untuk Meta

Gambar 2. Meta: Diagram Hubungan Entitas.

Tampilan dasar

Ini adalah objek biru di ERD dan merupakan tampilan pada tabel CDC dengan transformasi minimal untuk mengekstrak struktur data yang kompleks. Lihat skrip di src/marketing/src/Meta/src/reporting/ddls.

Tampilan pelaporan

Ini adalah objek hijau di ERD dan merupakan tampilan pelaporan yang berisi metrik gabungan. Lihat skrip di src/marketing/src/Meta/src/reporting/ddls.

Koneksi API

Template penyerapan di Cortex Framework untuk Meta menggunakan Meta Marketing API untuk mengambil atribut dan metrik pelaporan. Template saat ini menggunakan versi v21.0.

Meta menerapkan batas kapasitas dinamis saat membuat kueri Marketing API. Jika batas kapasitas tercapai, DAG penyerapan Sumber ke Mentah mungkin tidak berhasil diselesaikan. Dalam kasus tersebut, Anda dapat melihat pesan error yang relevan dalam log, dan eksekusi DAG berikutnya akan memuat data yang hilang secara retroaktif.

Meta Marketing API memiliki dua tingkat akses, Dasar dan Standar. Tingkat standar menawarkan batas yang jauh lebih tinggi, dan direkomendasikan jika Anda berencana menggunakan penyerapan Sumber ke Mentah secara ekstensif. Untuk mengetahui detail selengkapnya tentang batas ini dan cara mendapatkan tingkat akses yang lebih tinggi, lihat dokumentasi Meta.

Jika memiliki akses tingkat Standar, Anda dapat menurunkan nilai setelan next_request_delay_sec di src/Meta/src/raw/pipelines/config.ini untuk waktu pemuatan yang lebih cepat.

Akses API dan token akses

Langkah-langkah berikut diperlukan di Pengelola Bisnis Meta dan Konsol Developer agar berhasil memasukkan data dari Meta ke dalam Framework Cortex.

  1. Mengidentifikasi Aplikasi yang akan digunakan. Anda dapat membuat Aplikasi baru yang terhubung ke Akun bisnis. Pastikan aplikasi Anda berjenis Business.
  2. Menyiapkan Izin aplikasi. Anda harus ditetapkan ke aplikasi sebagai Administrator sebelum dapat membuat token dengan aplikasi tersebut. Lihat Dokumentasi peran aplikasi. Pastikan Anda menetapkan aset (akun) yang relevan ke aplikasi Anda.

  3. Buat token akses. Token akses diperlukan untuk mengakses Meta Marketing API, dan token tersebut selalu dikaitkan dengan aplikasi dan pengguna. Anda dapat membuat token dengan pengguna sistem, atau dengan login Anda sendiri.

    1. Buat Pengguna Sistem Admin.
    2. Buat token. Pastikan untuk mencatat token Anda segera setelah token dibuat, karena token tersebut tidak dapat diambil lagi setelah Anda keluar dari halaman.
    3. Berikan izin ads_read dan business_management ke token Anda, untuk mengakses objek yang didukung.

  4. Ikuti dokumentasi Cloud Composer untuk mengaktifkan Secret Manager di Cloud Composer. Kemudian, buat secret bernama cortex_meta_access_token, dan simpan token yang telah Anda buat di langkah sebelumnya sebagai konten.

Keaktualan dan Penundaan Data

Sebagai aturan umum, keaktualan data untuk sumber data Cortex Framework dibatasi oleh apa yang diizinkan oleh koneksi upstream, serta frekuensi eksekusi DAG Anda. Sesuaikan frekuensi eksekusi DAG agar selaras dengan frekuensi upstream, batasan resource, dan kebutuhan bisnis Anda.

Dengan Meta Marketing API, sebagian besar data (tidak termasuk konversi) tersedia hampir secara real time, meskipun data tersebut dapat disesuaikan hingga 28 hari setelah peristiwa.

Izin koneksi Cloud Composer

Buat koneksi berikut di Cloud Composer. Lihat detail selengkapnya di dokumentasi Mengelola koneksi Airflow.

Nama Koneksi Tujuan
meta_raw_dataflow Untuk Meta Marketing API > Set Data Mentah BigQuery
meta_cdc_bq Untuk Set data mentah > Transfer set data CDC
meta_reporting_bq Untuk set data CDC > Transfer set data pelaporan

Izin akun layanan Cloud Composer

Berikan izin Dataflow ke akun layanan yang digunakan di Cloud Composer (seperti yang dikonfigurasi dalam koneksi meta_raw_dataflow). Lihat petunjuk di dokumentasi Dataflow. Akun layanan juga memerlukan izin Secret Manager Secret Accessor. Lihat detailnya dalam dokumentasi kontrol akses.

Parameter permintaan

Direktori src/Meta/config/request_parameters berisi file spesifikasi permintaan API untuk setiap entitas yang diekstrak dari Meta Marketing API. Setiap file permintaan berisi daftar kolom yang akan diambil dari Meta Marketing API, satu kolom per baris. Lihat informasi selengkapnya di Referensi Meta Marketing API.

Setelan proses transfer

Kontrol pipeline data Source to Raw dan Raw to CDC melalui setelan dalam file src/Meta/config/ingestion_settings.yaml. Bagian ini menjelaskan parameter setiap pipeline data.

Sumber ke tabel mentah

Bagian ini memiliki entri yang mengontrol entitas mana yang diambil oleh API dan caranya. Setiap entri sesuai dengan satu entitas Meta Marketing API. Berdasarkan konfigurasi ini, Cortex Framework membuat DAG Airflow yang menjalankan pipeline Dataflow untuk mengambil data menggunakan Meta Marketing API.

File src/Meta/src/raw/pipelines/config.ini mengontrol beberapa perilaku DAG Cloud Composer, dan cara Meta Marketing API digunakan. Temukan deskripsi untuk setiap parameter dalam file.

Parameter berikut mengontrol setelan untuk Source to Raw untuk setiap entri:

Parameter Deskripsi
base_table Tabel dalam set data Mentah tempat data yang diambil disimpan (misalnya, customer).
load_frequency Seberapa sering DAG untuk hal ini berjalan untuk mengambil data dari Meta. Untuk mengetahui informasi selengkapnya tentang kemungkinan nilai, lihat dokumentasi Airflow.
object_endpoint Jalur endpoint API (misalnya, campaigns untuk endpoint /{account_id}/campaigns).
entity_type Jenis tabel (harus salah satu dari fact, dimension, atau addaccount).
object_id_column Kolom (dipisahkan koma) yang membentuk data unik untuk tabel ini. Hanya diperlukan saat entity_type adalah fact.
breakdowns Opsional: Kolom pengelompokan (dipisahkan koma) untuk endpoint insight. Hanya berlaku jika entity_type adalah fact.
action_breakdowns Opsional: Kolom pengelompokan tindakan (dipisahkan koma) untuk endpoint insight. Hanya berlaku jika entity_type adalah fact.
partition_details Opsional: Jika Anda ingin tabel ini dipartisi untuk pertimbangan performa. Untuk mengetahui informasi selengkapnya, lihat Partisi Tabel.
cluster_details Opsional: Jika Anda ingin tabel ini dikelompokkan untuk pertimbangan performa. Untuk mengetahui informasi selengkapnya, lihat Setelan Cluster.

Tabel mentah ke CDC

Bagian ini menjelaskan entri yang mengontrol cara data dipindahkan dari tabel Mentah ke tabel CDC. Setiap entri sesuai dengan tabel mentah (yang pada gilirannya sesuai dengan entity Meta API seperti yang disebutkan).

Parameter berikut mengontrol setelan untuk Raw to CDC untuk setiap entri:

Parameter Deskripsi
base_table Tabel tempat data mentah telah direplikasi. Tabel dengan nama yang sama dalam set data CDC menyimpan data mentah setelah transformasi CDC (misalnya, campaign_insights).
row_identifiers Kolom (dipisahkan koma) yang membentuk data unik untuk tabel ini.
load_frequency Seberapa sering DAG untuk entity ini dijalankan untuk mengisi tabel CDC. Untuk mengetahui informasi selengkapnya tentang kemungkinan nilai, lihat dokumentasi Airflow.
partition_details Opsional: Jika Anda ingin tabel ini dipartisi untuk pertimbangan performa. Untuk mengetahui informasi selengkapnya, lihat Partisi Tabel.
cluster_details Opsional: Jika Anda ingin tabel ini dikelompokkan untuk pertimbangan performa. Untuk informasi selengkapnya, lihat Setelan Cluster.

Skema tabel CDC

Untuk Meta, semua kolom disimpan dalam format string di lapisan mentah. Di lapisan CDC, jenis primitif dikonversi menjadi jenis data bisnis yang relevan, dan semua jenis kompleks disimpan dalam format JSON BigQuery.

Untuk mengaktifkan konversi ini, direktori src/Meta/config/table_schema berisi satu file skema untuk setiap entity yang ditentukan di bagian raw_to_cdc_tables yang menjelaskan cara menerjemahkan setiap tabel BigQueryraw ke dalam tabel CDC dengan benar.

Setiap file skema berisi tiga kolom:

  • SourceField: Nama kolom tabel mentah untuk entity ini.
  • TargetField: Nama kolom di tabel cdc untuk entity ini.
  • DataType: Jenis data setiap kolom tabel cdc.

Setelan pelaporan

Anda dapat mengonfigurasi dan mengontrol cara Cortex menghasilkan data untuk lapisan pelaporan akhir Meta menggunakan file setelan pelaporan (src/Meta/config/reporting_settings.yaml). File ini mengontrol cara objek BigQuery lapisan pelaporan (tabel, tampilan, fungsi, atau prosedur tersimpan) dihasilkan.

Untuk mengetahui informasi selengkapnya, lihat Menyesuaikan file setelan pelaporan.

Apa langkah selanjutnya?