Recueillir les paramètres Cloud Composer

Cette page explique comment collecter les paramètres Cloud Composer pour automatiser les données dans le framework Cortex.

Si Cloud Composer est disponible, vous devez créer des connexions dans Cloud Composer qui pointent vers le projet source où se trouvent vos données, avec les noms suivants en fonction de la charge de travail à déployer. Pour en savoir plus sur les charges de travail, consultez Sources de données et charges de travail. Si vous créez des tables dans la couche de création de rapports, veillez à créer des connexions distinctes pour les DAG de création de rapports.

Déployer une charge de travail Créer pour Raw Créer pour le CDC Créer pour les rapports
SAP ND sap_cdc_bq sap_reporting_bq
SFDC sfdc_cdc_bq sfdc_cdc_bq sfdc_reporting_bq
Google Ads googleads_raw_dataflow googleads_cdc_bq googleads_reporting_bq
CM360 cm360_raw_dataflow cm360_cdc_bq cm360_reporting_bq
Meta meta_raw_dataflow meta_cdc_bq meta_reporting_bq
TikTok tiktok_raw_dataflow tiktok_cdc_bq tiktok_reporting_bq
LiveRamp ND liveramp_cdc_bq ND
SFMC sfmc_raw_dataflow sfmc_cdc_bq sfmc_reporting_bq
DV360 ND dv360_cdc_bq dv360_reporting_bq
GA4 ND ND ga4_reporting_bq
Oracle EBS ND ND oracleebs_reporting_bq
Développement durable ND ND k9_reporting_bq
Dimensions courantes ND ND k9_reporting

Conventions d'attribution de noms aux connexions

Tenez compte des spécifications suivantes pour les conventions d'attribution de noms aux connexions:

  • Suffixes de connexion: les noms de connexion incluent des suffixes qui indiquent leur objectif :
    • _bq: permet d'accéder aux données BigQuery.
    • _dataflow: permet d'exécuter des tâches Dataflow.
  • Connexions de données brutes: vous n'avez besoin de créer des connexions pour les données brutes que si vous utilisez les modules d'ingestion de données fournis par Cortex.
  • Plusieurs sources de données: si vous déployez plusieurs sources de données (par exemple, SAP et Salesforce), il est recommandé de créer des connexions distinctes pour chacune d'elles, en supposant que des limites de sécurité sont appliquées à des comptes de service individuels. Vous pouvez également modifier le nom de la connexion dans le modèle avant le déploiement afin d'utiliser la même connexion pour écrire dans BigQuery.

Bonnes pratiques relatives à la sécurité

  • Évitez les connexions par défaut: nous vous déconseillons d'utiliser les connexions et les comptes de service par défaut proposés par Airflow, en particulier dans les environnements de production. Cela s'inscrit dans le principe du moindre privilège, qui met l'accent sur l'octroi des autorisations d'accès minimales nécessaires.
  • Intégration de Secret Manager: si vous avez activé Secret Manager pour Airflow, vous pouvez créer ces connexions dans Secret Manager en utilisant les mêmes noms. Les connexions stockées dans Secret Manager ont la priorité sur celles définies directement dans Airflow.