Cloud Composer の設定の収集
このページでは、Cloud Composer の設定を収集して Cortex Framework 内でデータを自動化する方法について説明します。
Cloud Composer を使用できる場合は、データが存在するソース プロジェクトを指す Cloud Composer 内で接続を作成し、デプロイメントへのワークロードに基づいて次の名前を付ける必要があります。ワークロードの詳細については、データソースとワークロードをご覧ください。レポートレイヤにテーブルを作成する場合は、レポート DAG 用に個別の接続を作成してください。
| ワークロードのデプロイ | Create for Raw | CDC 用に作成する | レポート用に作成 |
| SAP | なし | sap_cdc_bq
|
sap_reporting_bq
|
| SFDC | sfdc_cdc_bq
|
sfdc_cdc_bq
|
sfdc_reporting_bq
|
| Google 広告 | googleads_raw_dataflow
|
googleads_cdc_bq
|
googleads_reporting_bq
|
| CM360 | cm360_raw_dataflow
|
cm360_cdc_bq
|
cm360_reporting_bq
|
| Meta | meta_raw_dataflow
|
meta_cdc_bq
|
meta_reporting_bq
|
| TikTok | tiktok_raw_dataflow
|
tiktok_cdc_bq
|
tiktok_reporting_bq
|
| LiveRamp | なし | liveramp_cdc_bq
|
なし |
| SFMC | sfmc_raw_dataflow
|
sfmc_cdc_bq
|
sfmc_reporting_bq
|
| ディスプレイ＆ビデオ 360 | なし | dv360_cdc_bq
|
dv360_reporting_bq
|
| GA4 | なし | なし | ga4_reporting_bq
|
| Oracle EBS | なし | なし | oracleebs_reporting_bq
|
| サステナビリティ | なし | なし | k9_reporting_bq
|
| 一般的なディメンション | なし | なし | k9_reporting
|
接続の命名規則
接続の命名規則には、次の仕様を考慮してください。
- 接続接尾辞: 接続名には、目的を示す接尾辞が含まれています。
_bq: BigQuery データへのアクセスに使用されます。_dataflow: Dataflow ジョブの実行に使用されます。
- 元データ接続: Cortex から提供されるデータ取り込みモジュールを使用している場合にのみ、元データの接続を作成する必要があります。
- 複数のデータソース: 複数のデータソース（SAP と Salesforce の両方など）をデプロイする場合は、個々のサービス アカウントにセキュリティ制限が適用されることを前提として、それぞれに個別の接続を作成することをおすすめします。または、デプロイ前にテンプレートの接続名を変更して、BigQuery への書き込みに同じ接続を使用するようにすることもできます。
おすすめのセキュリティ対策
- デフォルトの接続を使用しないでください。特に本番環境では、Airflow が提供するデフォルトの接続とサービス アカウントを使用しないでください。これは、必要な最小限のアクセス権のみを付与することを重視する最小権限の原則に沿っています。
- Secret Manager との統合: Airflow で Secret Manager が有効になっている場合は、同じ名前を使用して Secret Manager 内にこれらの接続を作成できます。Secret Manager に保存されている接続は、Airflow で直接定義された接続よりも優先されます。