Raccolta delle impostazioni di Cloud Composer

Questa pagina descrive come raccogliere le impostazioni di Cloud Composer per automatizzare i dati all'interno del framework Cortex.

Se Cloud Composer è disponibile, devi creare connessioni all'interno di Cloud Composer che rimandino al progetto di origine in cui si trovano i dati, con i seguenti nomi in base al carico di lavoro da implementare. Per informazioni dettagliate sui carichi di lavoro, vedi Origini dati e carichi di lavoro. Se stai creando tabelle nel livello di generazione di report, assicurati di creare connessioni separate per i DAG di generazione di report.

Deployment del carico di lavoro Creare per Raw Creare per il CDC Creare per i report
SAP N/D sap_cdc_bq sap_reporting_bq
SFDC sfdc_cdc_bq sfdc_cdc_bq sfdc_reporting_bq
Google Ads googleads_raw_dataflow googleads_cdc_bq googleads_reporting_bq
CM360 cm360_raw_dataflow cm360_cdc_bq cm360_reporting_bq
Meta meta_raw_dataflow meta_cdc_bq meta_reporting_bq
TikTok tiktok_raw_dataflow tiktok_cdc_bq tiktok_reporting_bq
LiveRamp N/D liveramp_cdc_bq N/D
SFMC sfmc_raw_dataflow sfmc_cdc_bq sfmc_reporting_bq
DV360 N/D dv360_cdc_bq dv360_reporting_bq
GA4 N/D N/D ga4_reporting_bq
Oracle EBS N/D N/D oracleebs_reporting_bq
Sostenibilità N/D N/D k9_reporting_bq
Dimensioni comuni N/D N/D k9_reporting

Convenzioni di denominazione delle connessioni

Tieni conto delle seguenti specifiche per le convenzioni di denominazione delle connessioni:

  • Suffissi delle connessioni: i nomi delle connessioni includono suffissi che ne indicano lo scopo previsto:
    • _bq: utilizzato per accedere ai dati BigQuery.
    • _dataflow: utilizzato per l'esecuzione di job Dataflow.
  • Connessioni ai dati non elaborati: devi creare connessioni per i dati non elaborati solo se utilizzi i moduli di importazione dei dati forniti da Cortex.
  • Più origini dati: se esegui il deployment di più origini dati (ad esempio, sia SAP che Salesforce), ti consigliamo di creare connessioni separate per ciascuna, supponendo che le limitazioni di sicurezza vengano applicate ai singoli account di servizio. In alternativa, puoi modificare il nome della connessione nel modello prima del deployment per utilizzare la stessa connessione per la scrittura in BigQuery.

Best practice per la sicurezza

  • Evita le connessioni predefinite: non è consigliabile utilizzare le connessioni e gli account di servizio predefiniti offerti da Airflow, in particolare negli ambienti di produzione. Questo è in linea con il principio del privilegio minimo, che sottolinea la concessione solo delle autorizzazioni di accesso minime necessarie.
  • Integrazione di Secret Manager: se hai attivato Secret Manager per Airflow, puoi creare queste connessioni all'interno di Secret Manager utilizzando gli stessi nomi. Le connessioni memorizzate in Secret Manager hanno la precedenza su quelle definite direttamente in Airflow.