Recopila la configuración de Cloud Composer

En esta página, se describe cómo se recopila la configuración de Cloud Composer para automatizar los datos dentro de Cortex Framework.

Si Cloud Composer está disponible, debes crear conexiones en Cloud Composer que apunten al proyecto de origen en el que residen tus datos, con los siguientes nombres según la carga de trabajo que se implementará. Para obtener más información sobre las cargas de trabajo, consulta Fuentes de datos y cargas de trabajo. Si creas tablas en la capa de informes, asegúrate de crear conexiones independientes para los DAG de informes.

Implementa la carga de trabajo Crea contenido para Raw Crea contenido para los CDC Crear para informes
SAP N/A sap_cdc_bq sap_reporting_bq
SFDC sfdc_cdc_bq sfdc_cdc_bq sfdc_reporting_bq
Google Ads googleads_raw_dataflow googleads_cdc_bq googleads_reporting_bq
CM360 cm360_raw_dataflow cm360_cdc_bq cm360_reporting_bq
Meta meta_raw_dataflow meta_cdc_bq meta_reporting_bq
TikTok tiktok_raw_dataflow tiktok_cdc_bq tiktok_reporting_bq
LiveRamp N/A liveramp_cdc_bq N/A
SFMC sfmc_raw_dataflow sfmc_cdc_bq sfmc_reporting_bq
DV360 N/A dv360_cdc_bq dv360_reporting_bq
GA4 N/A N/A ga4_reporting_bq
Oracle EBS N/A N/A oracleebs_reporting_bq
Sustentabilidad N/A N/A k9_reporting_bq
Dimensiones comunes N/A N/A k9_reporting

Convenciones de nombres de las conexiones

Ten en cuenta las siguientes especificaciones para las convenciones de nombres de las conexiones:

  • Sufijos de conexión: Los nombres de las conexiones incluyen sufijos que indican su propósito:
    • _bq: Se usa para acceder a los datos de BigQuery.
    • _dataflow: Se usa para ejecutar trabajos de Dataflow.
  • Conexiones de datos sin procesar: Solo debes crear conexiones para los datos sin procesar si usas los módulos de transferencia de datos que proporciona Cortex.
  • Varias fuentes de datos: Si implementas varias fuentes de datos (por ejemplo, SAP y Salesforce), se recomienda crear conexiones independientes para cada una, siempre que se apliquen limitaciones de seguridad a las cuentas de servicio individuales. Como alternativa, puedes modificar el nombre de la conexión en la plantilla antes de la implementación para usar la misma conexión para escribir en BigQuery.

Recomendaciones de seguridad

  • Evita las conexiones predeterminadas: No se recomienda usar las conexiones y las cuentas de servicio predeterminadas que ofrece Airflow, en especial en entornos de producción. Esto se alinea con el principio de privilegio mínimo, que enfatiza otorgar solo los permisos de acceso mínimos necesarios.
  • Integración de Secret Manager: Si tienes habilitado Secret Manager para Airflow, puedes crear estas conexiones dentro de Secret Manager con los mismos nombres. Las conexiones almacenadas en Secret Manager tienen prioridad sobre las definidas directamente en Airflow.