Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Recueillir les paramètres Cloud Composer
Cette page explique comment collecter les paramètres Cloud Composer pour automatiser les données dans le framework Cortex.
Si Cloud Composer est disponible, vous devez créer des connexions dans Cloud Composer qui pointent vers le projet source où se trouvent vos données, avec les noms suivants en fonction de la charge de travail à déployer. Pour en savoir plus sur les charges de travail, consultez Sources de données et charges de travail.
Si vous créez des tables dans la couche de création de rapports, veillez à créer des connexions distinctes pour les DAG de création de rapports.
Déployer une charge de travail
Créer pour Raw
Créer pour le CDC
Créer pour les rapports
SAP
ND
sap_cdc_bq
sap_reporting_bq
SFDC
sfdc_cdc_bq
sfdc_cdc_bq
sfdc_reporting_bq
Google Ads
googleads_raw_dataflow
googleads_cdc_bq
googleads_reporting_bq
CM360
cm360_raw_dataflow
cm360_cdc_bq
cm360_reporting_bq
Meta
meta_raw_dataflow
meta_cdc_bq
meta_reporting_bq
TikTok
tiktok_raw_dataflow
tiktok_cdc_bq
tiktok_reporting_bq
LiveRamp
ND
liveramp_cdc_bq
ND
SFMC
sfmc_raw_dataflow
sfmc_cdc_bq
sfmc_reporting_bq
DV360
ND
dv360_cdc_bq
dv360_reporting_bq
GA4
ND
ND
ga4_reporting_bq
Oracle EBS
ND
ND
oracleebs_reporting_bq
Développement durable
ND
ND
k9_reporting_bq
Dimensions courantes
ND
ND
k9_reporting
Conventions d'attribution de noms aux connexions
Tenez compte des spécifications suivantes pour les conventions d'attribution de noms aux connexions:
Suffixes de connexion: les noms de connexion incluent des suffixes qui indiquent leur objectif :
_bq: permet d'accéder aux données BigQuery.
_dataflow: permet d'exécuter des tâches Dataflow.
Connexions de données brutes: vous n'avez besoin de créer des connexions pour les données brutes que si vous utilisez les modules d'ingestion de données fournis par Cortex.
Plusieurs sources de données: si vous déployez plusieurs sources de données (par exemple, SAP et Salesforce), il est recommandé de créer des connexions distinctes pour chacune d'elles, en supposant que des limites de sécurité sont appliquées à des comptes de service individuels. Vous pouvez également modifier le nom de la connexion dans le modèle avant le déploiement afin d'utiliser la même connexion pour écrire dans BigQuery.
Bonnes pratiques relatives à la sécurité
Évitez les connexions par défaut: nous vous déconseillons d'utiliser les connexions et les comptes de service par défaut proposés par Airflow, en particulier dans les environnements de production. Cela s'inscrit dans le principe du moindre privilège, qui met l'accent sur l'octroi des autorisations d'accès minimales nécessaires.
Intégration de Secret Manager: si vous avez activé Secret Manager pour Airflow, vous pouvez créer ces connexions dans Secret Manager en utilisant les mêmes noms. Les connexions stockées dans Secret Manager ont la priorité sur celles définies directement dans Airflow.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[[["\u003cp\u003eThis guide details how to gather Cloud Composer settings for automating data within the Cortex Framework.\u003c/p\u003e\n"],["\u003cp\u003eWhen using Cloud Composer, you must establish connections that link to the source project of your data, with specific names based on the intended workload and deployment, such as \u003ccode\u003esap_cdc_bq\u003c/code\u003e or \u003ccode\u003esfdc_reporting_bq\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eConnection names should include suffixes like \u003ccode\u003e_bq\u003c/code\u003e for BigQuery access or \u003ccode\u003e_dataflow\u003c/code\u003e for Dataflow jobs and separate connections are recommended for multiple data sources to ensure security.\u003c/p\u003e\n"],["\u003cp\u003eRaw data connections are only required when utilizing Cortex's data ingestion modules, and default Airflow connections should be avoided in production for security purposes.\u003c/p\u003e\n"],["\u003cp\u003eConnections can be managed within Secret Manager, taking precedence over Airflow-defined connections, enhancing security by adhering to the principle of least privilege.\u003c/p\u003e\n"]]],[],null,["# Gathering Cloud Composer settings\n=================================\n\nThis page describes how the gather Cloud Composer settings to automate data\nwithin the Cortex Framework.\n\nIf Cloud Composer is available, you need to\n[create connections](/composer/docs/how-to/managing/connections#creating_new_airflow_connections) within Cloud Composer that point to the source project\nwhere your data resides, with the following names based on\nthe workload to deployment. For details about workloads, see [Data sources and workloads](/cortex/docs/data-sources-and-workloads).\nIf you are creating [tables in the Reporting layer](/cortex/docs/deployment-step-five#performance_optimization_for_reporting_views),\nmake sure to create separate connections for Reporting DAGs.\n\n| **Note:** Not all data sources requires individual connections for their Raw or CDC layer.\n\nConnection Naming Conventions\n-----------------------------\n\nConsider the following specifications for connection naming conventions:\n\n- **Connection suffixes** : The connection names include suffixes that indicate their intended purpose:\n - `_bq`: used for accessing BigQuery data.\n - `_dataflow`: Used for running Dataflow jobs.\n- **Raw data connections**: You only need to create connections for Raw data if you are using the data ingestion modules provided by Cortex.\n- **Multiple data sources**: If you are deploying multiple data sources (for example, both SAP and Salesforce), it's recommended to create separate connections for each, assuming security limitations are applied to individual service accounts. Alternatively, you can modify the connection name in the template before deployment to use the same connection for writing to BigQuery.\n\nSecurity Best Practices\n-----------------------\n\n- **Avoid Default Connections** : It's not recommended using the default connections and service accounts offered by Airflow, especially in production environments. This aligns with the [principle of least privilege](/iam/docs/using-iam-securely#least_privilege) which emphasizes granting only the minimum access permissions necessary.\n- **Secret Manager Integration**: If you have Secret Manager enabled for Airflow, you can create these connections within Secret Manager using the same names. Connections stored in Secret Manager take precedence over those defined directly in Airflow."]]
