Mengumpulkan setelan Cloud Composer
Halaman ini menjelaskan cara mengumpulkan setelan Cloud Composer untuk mengotomatiskan data dalam Framework Cortex.
Jika Cloud Composer tersedia, Anda perlu membuat koneksi dalam Cloud Composer yang mengarah ke project sumber tempat data Anda berada, dengan nama berikut berdasarkan workload untuk deployment. Untuk mengetahui detail tentang workload, lihat Sumber data dan workload. Jika Anda membuat tabel di lapisan Pelaporan, pastikan untuk membuat koneksi terpisah untuk DAG Pelaporan.
| Men-deploy beban kerja | Buat untuk Raw | Membuat untuk CDC | Membuat untuk Pelaporan |
| SAP | T/A | sap_cdc_bq
|
sap_reporting_bq
|
| SFDC | sfdc_cdc_bq
|
sfdc_cdc_bq
|
sfdc_reporting_bq
|
| Google Ads | googleads_raw_dataflow
|
googleads_cdc_bq
|
googleads_reporting_bq
|
| CM360 | cm360_raw_dataflow
|
cm360_cdc_bq
|
cm360_reporting_bq
|
| Meta | meta_raw_dataflow
|
meta_cdc_bq
|
meta_reporting_bq
|
| TikTok | tiktok_raw_dataflow
|
tiktok_cdc_bq
|
tiktok_reporting_bq
|
| LiveRamp | T/A | liveramp_cdc_bq
|
T/A |
| SFMC | sfmc_raw_dataflow
|
sfmc_cdc_bq
|
sfmc_reporting_bq
|
| DV360 | T/A | dv360_cdc_bq
|
dv360_reporting_bq
|
| GA4 | T/A | T/A | ga4_reporting_bq
|
| Oracle EBS | T/A | T/A | oracleebs_reporting_bq
|
| Keberlanjutan | T/A | T/A | k9_reporting_bq
|
| Dimensi Umum | T/A | T/A | k9_reporting
|
Konvensi Penamaan Koneksi
Pertimbangkan spesifikasi berikut untuk konvensi penamaan koneksi:
- Akhiran koneksi: Nama koneksi menyertakan akhiran yang menunjukkan tujuannya:
_bq: digunakan untuk mengakses data BigQuery._dataflow: Digunakan untuk menjalankan tugas Dataflow.
- Koneksi data mentah: Anda hanya perlu membuat koneksi untuk Data mentah jika menggunakan modul penyerapan data yang disediakan oleh Cortex.
- Beberapa sumber data: Jika Anda men-deploy beberapa sumber data (misalnya, SAP dan Salesforce), sebaiknya buat koneksi terpisah untuk masing-masing, dengan asumsi batasan keamanan diterapkan ke setiap akun layanan. Atau, Anda dapat mengubah nama koneksi dalam template sebelum deployment untuk menggunakan koneksi yang sama untuk menulis ke BigQuery.
Praktik Terbaik Keamanan
- Hindari Koneksi Default: Sebaiknya jangan gunakan koneksi dan akun layanan default yang ditawarkan oleh Airflow, terutama di lingkungan produksi. Hal ini selaras dengan prinsip hak istimewa terendah yang menekankan pemberian izin akses minimum yang diperlukan saja.
- Integrasi Secret Manager: Jika Anda mengaktifkan Secret Manager untuk Airflow, Anda dapat membuat koneksi ini dalam Secret Manager menggunakan nama yang sama. Koneksi yang disimpan di Secret Manager lebih diutamakan daripada koneksi yang ditentukan langsung di Airflow.