이 페이지에서는 Cloud Composer 설정을 수집하여 Cortex 프레임워크 내에서 데이터를 자동화하는 방법을 설명합니다.
Cloud Composer를 사용할 수 있는 경우 데이터가 있는 소스 프로젝트를 가리키는 Cloud Composer 내에서 연결을 생성해야 하며, 배포에 대한 워크로드를 기반으로 다음 이름을 지정해야 합니다. 워크로드에 관한 자세한 내용은 데이터 소스 및 워크로드를 참고하세요.
보고 레이어에서 테이블을 만드는 경우 보고 DAG에 별도의 연결을 만들어야 합니다.
워크로드 배포
Raw용으로 만들기
CDC용으로 만들기
보고용으로 만들기
SAP
해당 사항 없음
sap_cdc_bq
sap_reporting_bq
SFDC
sfdc_cdc_bq
sfdc_cdc_bq
sfdc_reporting_bq
Google Ads
googleads_raw_dataflow
googleads_cdc_bq
googleads_reporting_bq
CM360
cm360_raw_dataflow
cm360_cdc_bq
cm360_reporting_bq
메타
meta_raw_dataflow
meta_cdc_bq
meta_reporting_bq
TikTok
tiktok_raw_dataflow
tiktok_cdc_bq
tiktok_reporting_bq
LiveRamp
해당 사항 없음
liveramp_cdc_bq
해당 사항 없음
SFMC
sfmc_raw_dataflow
sfmc_cdc_bq
sfmc_reporting_bq
DV360
해당 사항 없음
dv360_cdc_bq
dv360_reporting_bq
GA4
해당 사항 없음
해당 사항 없음
ga4_reporting_bq
Oracle EBS
해당 사항 없음
해당 사항 없음
oracleebs_reporting_bq
지속 가능성
해당 사항 없음
해당 사항 없음
k9_reporting_bq
일반적인 측정기준
해당 사항 없음
해당 사항 없음
k9_reporting
연결 이름 지정 규칙
연결 이름 지정 규칙에 관한 다음 사양을 고려하세요.
연결 접미사: 연결 이름에는 의도된 목적을 나타내는 접미사가 포함됩니다.
_bq: BigQuery 데이터에 액세스하는 데 사용됩니다.
_dataflow: Dataflow 작업 실행에 사용됩니다.
원시 데이터 연결: Cortex에서 제공하는 데이터 처리 모듈을 사용하는 경우에만 원시 데이터 연결을 만들어야 합니다.
여러 데이터 소스: 여러 데이터 소스 (예: SAP 및 Salesforce 모두)를 배포하는 경우 보안 제한사항이 개별 서비스 계정에 적용된다고 가정하면 각각에 대해 별도의 연결을 만드는 것이 좋습니다. 또는 배포하기 전에 템플릿에서 연결 이름을 수정하여 BigQuery에 쓰는 데 동일한 연결을 사용하도록 할 수 있습니다.
보안 권장사항
기본 연결 피하기: 특히 프로덕션 환경에서는 Airflow에서 제공하는 기본 연결 및 서비스 계정을 사용하지 않는 것이 좋습니다. 이는 필요한 최소한의 액세스 권한만 부여하는 것을 강조하는 최소 권한의 원칙에 부합합니다.
Secret Manager 통합: Airflow에 Secret Manager를 사용 설정한 경우 동일한 이름을 사용하여 Secret Manager 내에서 이러한 연결을 만들 수 있습니다. Secret Manager에 저장된 연결은 Airflow에 직접 정의된 연결보다 우선 적용됩니다.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-09-04(UTC)"],[[["\u003cp\u003eThis guide details how to gather Cloud Composer settings for automating data within the Cortex Framework.\u003c/p\u003e\n"],["\u003cp\u003eWhen using Cloud Composer, you must establish connections that link to the source project of your data, with specific names based on the intended workload and deployment, such as \u003ccode\u003esap_cdc_bq\u003c/code\u003e or \u003ccode\u003esfdc_reporting_bq\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eConnection names should include suffixes like \u003ccode\u003e_bq\u003c/code\u003e for BigQuery access or \u003ccode\u003e_dataflow\u003c/code\u003e for Dataflow jobs and separate connections are recommended for multiple data sources to ensure security.\u003c/p\u003e\n"],["\u003cp\u003eRaw data connections are only required when utilizing Cortex's data ingestion modules, and default Airflow connections should be avoided in production for security purposes.\u003c/p\u003e\n"],["\u003cp\u003eConnections can be managed within Secret Manager, taking precedence over Airflow-defined connections, enhancing security by adhering to the principle of least privilege.\u003c/p\u003e\n"]]],[],null,["# Gathering Cloud Composer settings\n=================================\n\nThis page describes how the gather Cloud Composer settings to automate data\nwithin the Cortex Framework.\n\nIf Cloud Composer is available, you need to\n[create connections](/composer/docs/how-to/managing/connections#creating_new_airflow_connections) within Cloud Composer that point to the source project\nwhere your data resides, with the following names based on\nthe workload to deployment. For details about workloads, see [Data sources and workloads](/cortex/docs/data-sources-and-workloads).\nIf you are creating [tables in the Reporting layer](/cortex/docs/deployment-step-five#performance_optimization_for_reporting_views),\nmake sure to create separate connections for Reporting DAGs.\n\n| **Note:** Not all data sources requires individual connections for their Raw or CDC layer.\n\nConnection Naming Conventions\n-----------------------------\n\nConsider the following specifications for connection naming conventions:\n\n- **Connection suffixes** : The connection names include suffixes that indicate their intended purpose:\n - `_bq`: used for accessing BigQuery data.\n - `_dataflow`: Used for running Dataflow jobs.\n- **Raw data connections**: You only need to create connections for Raw data if you are using the data ingestion modules provided by Cortex.\n- **Multiple data sources**: If you are deploying multiple data sources (for example, both SAP and Salesforce), it's recommended to create separate connections for each, assuming security limitations are applied to individual service accounts. Alternatively, you can modify the connection name in the template before deployment to use the same connection for writing to BigQuery.\n\nSecurity Best Practices\n-----------------------\n\n- **Avoid Default Connections** : It's not recommended using the default connections and service accounts offered by Airflow, especially in production environments. This aligns with the [principle of least privilege](/iam/docs/using-iam-securely#least_privilege) which emphasizes granting only the minimum access permissions necessary.\n- **Secret Manager Integration**: If you have Secret Manager enabled for Airflow, you can create these connections within Secret Manager using the same names. Connections stored in Secret Manager take precedence over those defined directly in Airflow."]]
