收集 Cloud Composer 設定
本頁面說明如何收集 Cloud Composer 設定，在 Cortex Framework 中自動處理資料。
如果可以使用 Cloud Composer，您需要在 Cloud Composer 中建立連線，指向資料所在的來源專案，並根據要部署的工作負載，使用下列名稱。如要瞭解工作負載的詳細資訊，請參閱「資料來源和工作負載」。如果您要在「報表」層中建立表格，請務必為「報表」DAG 建立個別的連線。
| 部署工作負載 | 建立原始檔 | 為 CDC 建立 | 建立報表 |
| SAP | 不適用 | sap_cdc_bq
|
sap_reporting_bq
|
| SFDC | sfdc_cdc_bq
|
sfdc_cdc_bq
|
sfdc_reporting_bq
|
| Google Ads | googleads_raw_dataflow
|
googleads_cdc_bq
|
googleads_reporting_bq
|
| CM360 | cm360_raw_dataflow
|
cm360_cdc_bq
|
cm360_reporting_bq
|
| Meta | meta_raw_dataflow
|
meta_cdc_bq
|
meta_reporting_bq
|
| TikTok | tiktok_raw_dataflow
|
tiktok_cdc_bq
|
tiktok_reporting_bq
|
| LiveRamp | 不適用 | liveramp_cdc_bq
|
不適用 |
| SFMC | sfmc_raw_dataflow
|
sfmc_cdc_bq
|
sfmc_reporting_bq
|
| DV360 | 不適用 | dv360_cdc_bq
|
dv360_reporting_bq
|
| GA4 | 不適用 | 不適用 | ga4_reporting_bq
|
| Oracle EBS | 不適用 | 不適用 | oracleebs_reporting_bq
|
| 永續發展 | 不適用 | 不適用 | k9_reporting_bq
|
| 常見尺寸 | 不適用 | 不適用 | k9_reporting
|
連線命名慣例
連線命名慣例應符合下列規格：
- 連線後置字串：連線名稱包含後置字串，指出連線的預期用途：
_bq：用於存取 BigQuery 資料。_dataflow：用於執行 Dataflow 工作。
- 原始資料連線：如果您使用 Cortex 提供的資料擷取模組，只需要為原始資料建立連線。
- 多個資料來源：如果您要部署多個資料來源 (例如 SAP 和 Salesforce)，建議為每個資料來源建立個別連線，前提是安全限制適用於個別服務帳戶。或者，您也可以在範本中修改連線名稱，然後再部署，這樣就能使用同一個連線寫入 BigQuery。
安全性最佳做法
- 避免使用預設連線：不建議使用 Airflow 提供的預設連線和服務帳戶，尤其是在實際工作環境中。這符合最低權限原則，強調只授予必要的最低存取權限。
- Secret Manager 整合：如果已為 Airflow 啟用 Secret Manager，您可以在 Secret Manager 中使用相同名稱建立這些連線。儲存在 Secret Manager 中的連線優先於直接在 Airflow 中定義的連線。