Intégration à Campaign Manager 360

Cette page décrit les configurations requises pour importer des données à partir de Campaign Manager 360 en tant que source de données de la charge de travail marketing de Cortex Framework Data Foundation.

Campaign Manager 360 (CM360) est une plate-forme de gestion publicitaire sur Internet proposée par Google et conçue spécifiquement pour les annonceurs et les agences. Il sert de hub central pour gérer et optimiser toutes vos campagnes publicitaires numériques sur différents canaux. Cortex Framework fournit les outils et la plate-forme nécessaires pour analyser les données CM360, les combiner à celles d'autres canaux marketing et utiliser l'IA pour obtenir des insights plus détaillés et optimiser votre stratégie marketing globale.

Le diagramme suivant décrit comment les données CM360 sont disponibles via la charge de travail marketing de Cortex Framework Data Foundation:

Source de données CM360

Figure 1 Source de données CM360.

Fichier de configuration

Le fichier config.json configure les paramètres requis pour se connecter aux sources de données afin de transférer des données à partir de différentes charges de travail. Ce fichier contient les paramètres suivants pour CM360:

   "marketing": {
        "deployCM360": true,
        }

        "CM360": {
            "deployCDC": true,
            "dataTransferBucket": "",
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_CM360"
            }
        }

Le tableau suivant décrit la valeur de chaque paramètre marketing:

Paramètre Signification Valeur par défaut Description
marketing.deployCM360 Déployer CM360 true Exécutez le déploiement pour la source de données CM360.
marketing.CM360.deployCDC Déployer des scripts CDC pour CM360 true Générez des scripts de traitement CDC CM360 à exécuter en tant que DAG dans Cloud Composer.
marketing.CM360.dataTransferBucket Bucket contenant les résultats du service de transfert de données - Bucket dans lequel les fichiers DTv2 sont stockés.
marketing.CM360.datasets.cdc Ensemble de données CDC pour CM360 Ensemble de données CDC pour CM360.
marketing.CM360.datasets.raw Ensemble de données brut pour CM360 Ensemble de données brut pour CM360.
marketing.CM360.datasets.reporting Ensemble de données de reporting pour CM360 "REPORTING_CM360" Ensemble de données de reporting pour CM360.

Modèle de données

Cette section décrit le modèle de données CM360 à l'aide du diagramme des relations entre entités (ERD).

Schéma des relations entre les entités pour CM360

Figure 2 CM360: diagramme des relations entre entités.

Vues de base

Il s'agit des objets bleus de l'ERD. Il s'agit de vues sur les tables CDC sans autre transformation que certains alias de nom de colonne. Consultez les scripts dans src/marketing/src/CM360/src/reporting/ddls.

Vues de rapports

Il s'agit des objets verts de l'ERD. Il s'agit de vues de rapports contenant des métriques agrégées. Consultez les scripts dans src/marketing/src/CM360/src/reporting/ddls.

Stockage des fichiers DTv2

Les fichiers DTv2 (Data Transfer Version 2) sont un format spécifique utilisé par CM360 pour transmettre les données sur les performances des campagnes. Configurez le processus de transfert de données en suivant la documentation Data Transfer V2.0 pour utiliser CM360 avec Cortex Framework.

Créez ou ajoutez un bucket Cloud Storage pour stocker vos fichiers DTv2 à partir de CM360. Assurez-vous que les fichiers du bucket sont lisibles par le compte de service exécutant des DAG dans Cloud Composer. Pour en savoir plus, consultez la section Créer des buckets de stockage.

Fraîcheur des données et délai

En règle générale, la fraîcheur des données pour les sources de données Cortex Framework est limitée par ce que la connexion en amont permet, ainsi que par la fréquence d'exécution de votre DAG. Ajustez la fréquence d'exécution de votre DAG pour l'aligner sur la fréquence en amont, les contraintes de ressources et vos besoins métier.

Avec le transfert de données v2 de CM360, les données sur les impressions et les clics sont envoyées 24 fois par jour (toutes les heures). Le temps de traitement peut varier d'un fichier à l'autre. Il est donc possible que les fichiers ne s'affichent pas dans l'ordre. Les fichiers d'activité sont envoyés quotidiennement.

Connexions Cloud Composer

Créez les connexions suivantes dans Cloud Composer. Pour en savoir plus, consultez la documentation sur la gestion des connexions Airflow.

Nom de la connexion Purpose
cm360_raw_dataflow Pour les fichiers DTv2 CM360 > Ensemble de données bruts BigQuery
cm360_cdc_bq Pour "Ensemble de données brut" > "Transfert d'ensemble de données CDC"
cm360_reporting_bq Pour le transfert de l'ensemble de données CDC > Ensemble de données de reporting

Autorisations du compte de service Cloud Composer

Accordez des autorisations Dataflow au compte de service utilisé dans Cloud Composer (comme configuré dans la connexion cm360_raw_dataflow). Consultez les instructions de la documentation Dataflow.

Paramètres d'ingestion

Contrôlez les pipelines de données Source to Raw et Raw to CDC via les paramètres du fichier src/CM360/config/ingestion_settings.yaml. Cette section décrit les paramètres de chaque pipeline de données.

Source des tables brutes

Cette section explique comment les entrées qui contrôlent les fichiers de DTv2 sont traitées. Chaque entrée correspond aux fichiers associés à une entité. Sur la base de cette configuration, Cortex Framework crée des DAG Airflow qui exécutent des pipelines Dataflow pour traiter les données des fichiers DTv2.

Les paramètres suivants contrôlent les paramètres de Source to Raw pour chaque entrée:

Paramètre Description
base_table Table de l'ensemble de données brut dans laquelle les données d'une entité sont stockées (par exemple, les données "Clicks").
load_frequency Fréquence d'exécution d'un DAG pour cette entité afin de renseigner la table CDC. Pour en savoir plus sur les valeurs possibles, consultez la documentation Airflow.
file_pattern Modèles de noms de fichiers basés sur une entité.
schema_file Fichier de schéma dans le répertoire src/table_schema qui mappe les champs DTv2 aux noms de colonnes et aux types de données de la table de destination.
partition_details Facultatif:indiquez si vous souhaitez que ce tableau soit partitionné pour des raisons de performances. Pour en savoir plus, consultez la section Partitionnement de table.
cluster_details Facultatif:indiquez si vous souhaitez que ce tableau soit regroupé pour des raisons de performances. Pour en savoir plus, consultez la section Paramètres du cluster.

Tables brutes vers CDC

Cette section contient des entrées qui contrôlent la façon dont les données sont déplacées des tables brutes vers les tables CDC. Chaque entrée correspond à une table brute (qui correspond à l'entité DTv2, comme indiqué ci-dessus).

Les paramètres suivants contrôlent les paramètres de Raw to CDC pour chaque entrée:

Paramètre Description
base_table Table de l'ensemble de données CDC dans laquelle les données brutes sont stockées après la transformation CDC (par exemple, customer).
load_frequency Fréquence d'exécution d'un DAG pour cette entité afin de renseigner la table CDC. Pour en savoir plus sur les valeurs possibles, consultez la documentation Airflow.
row_identifiers Liste des colonnes (séparées par une virgule) qui constituent un enregistrement unique pour cette table.
partition_details Facultatif:indiquez si vous souhaitez que ce tableau soit partitionné pour des raisons de performances. Pour en savoir plus, consultez la section Partitionnement de table.
cluster_details Facultatif:indiquez si vous souhaitez que ce tableau soit regroupé pour des raisons de performances. Pour en savoir plus, consultez la section Paramètres du cluster.
Paramètres de création de rapports

Vous pouvez configurer et contrôler la façon dont Cortex Framework génère des données pour la couche de reporting finale CM360 à l'aide du fichier de paramètres de reporting (src/CM360/config/reporting_settings.yaml). Ce fichier contrôle la génération des objets BigQuery de la couche de reporting (tables, vues, fonctions ou procédures stockées).

Pour en savoir plus, consultez Personnaliser le fichier de paramètres de création de rapports.

Étape suivante