Questa pagina è stata tradotta dall'API Cloud Translation.

Integrazione con Meta

Questa pagina descrive le configurazioni necessarie per importare i dati da Meta (Facebook e Instagram Ads) come origine dati del carico di lavoro di marketing di Cortex Framework Data Foundation.

Meta è una società di tecnologia che possiede diverse piattaforme online molto utilizzate. Cortex Framework integra i dati di Facebook e Instagram per analizzarli, combinarli con altre origini dati e utilizzare l'IA per ottenere informazioni più approfondite e ottimizzare la tua strategia di marketing.

Il seguente diagramma descrive come i dati di marketing di Meta sono disponibili tramite il carico di lavoro di marketing di Cortex Data Foundation:

Origine dei metadati

Figura 1. Origine dati di metamarketing.

File di configurazione

Il file config.json configura le impostazioni necessarie per connettersi alle origini dati per il trasferimento di dati da vari workload. Questo file contiene i seguenti parametri per Meta:

   "marketing": {
        "deployMeta": true,
        "Meta": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_Meta"
            }
        }
    }

La tabella seguente descrive il valore di ciascun parametro di marketing:

Parametro	Significato	Valore predefinito	Descrizione
`marketing.deployMeta`	Meta deployment	`true`	Esegui il deployment per l'origine dati di Meta.
`marketing.Meta.deployCDC`	Esegui il deployment degli script CDC per Meta	`true`	Genera script di elaborazione Meta CDC da eseguire come DAG in Cloud Composer.
`marketing.Meta.datasets.cdc`	Set di dati CDC per Meta		Set di dati CDC per Meta.
`marketing.Meta.datasets.raw`	Set di dati non elaborato per Meta		Set di dati non elaborati per Meta.
`marketing.Meta.datasets.reporting`	Set di dati dei report per Meta	`"REPORTING_Meta"`	Set di dati dei report per Meta.

Modello dati

Questa sezione descrive il modello di dati di Meta utilizzando il diagramma di relazione tra entità (ERD).

Figura 2. Meta: Entity Relationship Diagram.

Visualizzazioni di base

Questi sono gli oggetti blu nell'ERD e sono viste sulle tabelle CDC con trasformazioni minime per scompattare strutture di dati complesse. Visualizza gli script in src/marketing/src/Meta/src/reporting/ddls.

Viste report

Si tratta degli oggetti verdi nell'ERD e sono visualizzazioni dei report che contengono metriche aggregate. Visualizza gli script in src/marketing/src/Meta/src/reporting/ddls.

Connessione API

I modelli di importazione in Cortex Framework per Meta utilizzano l'API Meta Marketing per recuperare gli attributi e le metriche dei report. I modelli attuali utilizzano la versione 21.0.

Meta impone un limite di frequenza dinamico quando esegui query sull'API Marketing. Quando viene raggiunto il limite di frequenza, i DAG di importazione da origine a dati non elaborati potrebbero non essere completati correttamente. In questi casi, puoi visualizzare messaggi di errore pertinenti nel log e la successiva esecuzione dei DAG caricherà in modo retroattivo i dati mancanti.

L'API Meta Marketing ha due livelli di accesso: di base e standard. Il livello standard offre un limite molto più elevato ed è consigliato se prevedi di utilizzare ampiamente l'importazione da origine a file non elaborato. Per ulteriori dettagli su questi limiti e su come ottenere un livello di accesso superiore, consulta la documentazione di Meta.

Se hai accesso al livello Standard, puoi ridurre il valore dell'impostazione next_request_delay_sec in src/Meta/src/raw/pipelines/config.ini per velocizzare i tempi di caricamento.

Accesso all'API e token di accesso

I seguenti passaggi sono obbligatori in Meta Business Manager e nella Developer Console per importare correttamente i dati da Meta in Cortex Framework.

Identifica un'app da utilizzare. Puoi creare una nuova app collegata all'account dell'attività. Assicurati che la tua app sia di tipo Business.
Configura le autorizzazioni app. Per poter creare token con l'app, devi essere assegnato come amministratore. Consulta la documentazione sui ruoli delle app. Assicurati di assegnare asset (account) pertinenti alla tua app.
Crea un token di accesso. I token di accesso sono obbligatori per accedere all'API Meta Marketing e sono sempre associati a un'app e a un utente. Puoi creare il token con un utente di sistema o con il tuo nome utente.
1. Crea un utente di sistema amministrativo.
2. Genera un token. Assicurati di annotare i token non appena vengono generati, in quanto non potrai recuperarli una volta che esci dalla pagina.
3. Concedi le autorizzazioni ads_read e business_management al token per accedere agli oggetti supportati.
Nota: in alternativa, puoi creare un token di accesso utente utilizzando il tuo nome utente. I token creati in questo modo hanno lo stesso accesso a tutti gli account e le pagine che hai tu, senza bisogno di ulteriori specifiche.
Segui la documentazione di Cloud Composer per attivare Secret Manager in Cloud Composer. Poi, crea un segreto denominato cortex_meta_access_token e memorizza il token generato nel passaggio precedente come contenuto.

Aggiornamento e ritardo dei dati

Come regola generale, l'aggiornamento dei dati per le origini dati di Cortex Framework è limitato da ciò che consente la connessione a monte, nonché dalla frequenza di esecuzione del DAG. Modifica la frequenza di esecuzione del DAG in modo che sia in linea con la frequenza a monte, le limitazioni delle risorse e le esigenze della tua attività.

Con l'API Meta Marketing, la maggior parte dei dati (escluse le conversioni) è disponibile quasi in tempo reale, anche se possono essere modificati fino a 28 giorni dopo l'evento.

Autorizzazioni per le connessioni di Cloud Composer

Crea le seguenti connessioni in Cloud Composer. Per ulteriori dettagli, consulta la documentazione sulla gestione delle connessioni Airflow.

Nome connessione	Purpose
`meta_raw_dataflow`	Per l'API Meta Marketing > Set di dati non elaborati BigQuery
`meta_cdc_bq`	Per il trasferimento del set di dati non elaborato > set di dati CDC
`meta_reporting_bq`	Per il trasferimento del set di dati CDC > Report

Autorizzazioni del service account di Cloud Composer

Concedi le autorizzazioni di Dataflow all'account di servizio utilizzato in Cloud Composer (come configurato nella connessione meta_raw_dataflow). Consulta le istruzioni nella documentazione di Dataflow. Il service account richiede anche l'autorizzazioneSecret Manager Secret Accessor. Consulta i dettagli nella documentazione del controllo dell'accesso.

Parametri di richiesta

La directory src/Meta/config/request_parameters contiene un file di specifica della richiesta API per ogni entità estratta dall'API Meta Marketing. Ogni file di richiesta contiene un elenco di campi da recuperare dall'API Meta Marketing, un campo per riga. Per ulteriori informazioni, consulta il riferimento all'API Meta Marketing.

Impostazioni di importazione

Controlla le pipeline di dati Source to Raw e Raw to CDC tramite le impostazioni nel file src/Meta/config/ingestion_settings.yaml. Questa sezione descrive i parametri di ogni pipeline di dati.

Origine alle tabelle non elaborate

Questa sezione contiene voci che controllano quali entità vengono recuperate dalle API e come. Ogni voce corrisponde a un'entità dell'API Meta Marketing. In base a questa configurazione, Cortex Framework crea DAG di Airflow che eseguono pipeline di Dataflow per recuperare i dati utilizzando le API Meta Marketing.

Il file src/Meta/src/raw/pipelines/config.ini controlla alcuni comportamenti del DAG di Cloud Composer e il modo in cui vengono utilizzate le API Meta Marketing. Trova le descrizioni di ogni parametro nel file.

I seguenti parametri controllano le impostazioni di Source to Raw per ogni voce:

Parametro	Descrizione
`base_table`	Tabella nel set di dati non elaborato in cui sono archiviati i dati recuperati (ad es. `customer`).
`load_frequency`	La frequenza con cui viene eseguito un DAG per recuperare i dati da Meta. Per ulteriori informazioni sui possibili valori, consulta la documentazione di Airflow.
`object_endpoint`	Percorso dell'endpoint API (ad es. `campaigns` per l'endpoint `/{account_id}/campaigns`).
`entity_type`	Tipo di tabella (deve essere uno tra `fact`, `dimension` o `addaccount)`.
`object_id_column`	Colonne (separate da virgole) che formano un record univoco per questa tabella. Obbligatorio solo quando `entity_type` è `fact`.
`breakdowns`	Facoltativo: colonne di distribuzione (separate da virgole) per gli endpoint di approfondimenti. Applicabile solo quando `entity_type` è `fact`.
`action_breakdowns`	Facoltativo:colonne di suddivisione delle azioni (separate da virgole) per gli endpoint di approfondimenti. Applicabile solo quando `entity_type` è `fact`.
`partition_details`	Facoltativo:se vuoi che questa tabella sia suddivisa per motivi di rendimento. Per ulteriori informazioni, consulta Partizione della tabella.
`cluster_details`	(Facoltativo) Se vuoi che questa tabella sia raggruppata per motivi di rendimento. Per ulteriori informazioni, consulta Impostazioni cluster.

Tabelle non elaborate a CDC

Questa sezione descrive le voci che controllano il trasferimento dei dati dalle tabelle non elaborate alle tabelle CDC. Ogni voce corrisponde a una tabella non elaborata (che a sua volta corrisponde all'entità API Meta, come indicato).

I seguenti parametri controllano le impostazioni di Raw to CDC per ogni voce:

Parametro	Descrizione
`base_table`	Tabella su cui sono stati replicati i dati non elaborati. Una tabella con lo stesso nome nel set di dati CDC memorizza i dati non elaborati dopo la trasformazione CDC (ad esempio `campaign_insights`).
`row_identifiers`	Colonne (separate da virgole) che formano un record univoco per questa tabella.
`load_frequency`	La frequenza con cui viene eseguito un DAG per questa entità per compilare la tabella CDC. Per saperne di più sui possibili valori, consulta la documentazione di Airflow.
`partition_details`	Facoltativo:se vuoi che questa tabella sia suddivisa per motivi di rendimento. Per ulteriori informazioni, consulta Partizione della tabella.
`cluster_details`	(Facoltativo) Se vuoi che questa tabella sia raggruppata per motivi di rendimento. Per ulteriori informazioni, consulta Impostazioni cluster.

Schema della tabella CDC

Per Meta, tutti i campi vengono archiviati in formato stringa nel livello non elaborato. Nel livello CDC, i tipi primitivi vengono convertiti in tipi di dati aziendali pertinenti e tutti i tipi complessi vengono archiviati in formato JSON di BigQuery.

Per abilitare questa conversione, la directory src/Meta/config/table_schema contiene un file di schema per ogni entità specificata nella sezione raw_to_cdc_tables che spiega come tradurre correttamente ogni tabella BigQueryRaw in una tabella CDC.

Ogni file dello schema contiene tre colonne:

SourceField: nome del campo della tabella non elaborata per questa entità.
TargetField: nome della colonna nella tabella cdc per questa entità.
DataType: il tipo di dati di ogni campo della tabella cdc.

Impostazioni report

Puoi configurare e controllare la modalità di generazione dei dati da parte di Cortex per il livello di reporting finale Meta utilizzando il file di impostazioni dei report (src/Meta/config/reporting_settings.yaml). Questo file controlla la modalità di generazione degli oggetti BigQuery del livello di reporting (tabelle, viste, funzioni o procedure archiviate).

Per ulteriori informazioni, vedi Personalizzare il file delle impostazioni dei report.

Passaggi successivi

Per saperne di più su altre origini dati e altri carichi di lavoro, consulta Origini dati e carichi di lavoro.
Per ulteriori informazioni sulla procedura di implementazione negli ambienti di produzione, consulta Prerequisiti per l'implementazione di Data Foundation di Cortex Framework.