DAG 직렬화 사용 설정 및 사용 중지

Cloud Composer 1 | Cloud Composer 2

이 페이지의 안내에 따라 DAG 직렬화를 사용 설정 또는 사용 중지하세요.

Cloud Composer 환경에서는 Airflow 스케줄러와 Airflow 웹 서버 모두 지속적으로 DAG를 처리합니다. DAG 직렬화를 사용 설정하면 Airflow 웹 서버의 신뢰성과 성능을 개선할 수 있습니다.

스케줄러가 DAG 파일을 웹 서버로 전송하기 전에 DAG 직렬화를 사용 설정하면 강제로 DAG 파일을 처리합니다. 웹 서버는 DAG를 처리하지 않습니다. 대신 Airflow 데이터베이스에서 직렬화된 DAG를 읽습니다. 이러한 방식으로 DAG를 직렬화하면 특히 많은 수의 DAG를 처리할 때 웹 서버의 CPU 및 메모리 사용량이 감소합니다.

시작하기 전에

참고: Cloud Composer 버전 1.15.0부터는 DAG 직렬화가 기본적으로 사용 설정됩니다. 다음 섹션에 설명된 대로 Airflow 구성 옵션을 재정의하여 새 환경과 기존 환경에서 DAG 직렬화를 사용 설정 또는 사용 중지할 수 있습니다.

DAG 직렬화는 다음 Cloud Composer 기능에 영향을 줍니다.

• DAG 직렬화는 비동기 DAG 로드와 동시에 사용 설정할 수 없습니다.
• DAG 직렬화를 사용 설정하면 Cloud Composer의 모든 Airflow 웹 서버 플러그인이 사용 중지됩니다. 이는 Airflow 연산자와 센서를 포함하여 스케줄러 또는 작업자 플러그인에 영향을 주지 않습니다.

DAG 직렬화 사용 설정

기존 환경에서 DAG 직렬화를 사용 설정할 수 있으며 새 환경을 만들 때도 가능합니다.

참고: Airflow 2.x를 실행하는 환경에는 이 설정을 적용하지 마세요. DAG 직렬화와 Airflow 메타데이터 데이터베이스에 DAG 코드를 저장하는 기능은 기본적으로 Airflow 2.x에서 사용 설정되어 있으며 사용 설정 또는 사용 중지할 수 없습니다.

DAG 직렬화를 사용 설정하려면 다음 Airflow 구성 옵션을 재정의하세요.

섹션	키	값
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

min_serialized_dag_update_interval Airflow 구성 옵션은 직렬화된 DAG가 데이터베이스에서 업데이트되는 빈도를 제어합니다. dag_dir_list_interval 옵션은 삭제된 DAG가 Airflow 데이터베이스에서 삭제되는 빈도를 제어합니다. 업데이트 빈도가 높으면 성능에 부정적인 영향을 줄 수 있습니다. min_serialized_dag_update_interval 및 dag_dir_list_interval은 30초로 설정하는 것이 좋습니다.

DAG 직렬화 사용 중지

기존 환경에서 DAG 직렬화를 사용 설정할 수 있으며 새 환경을 만들 때도 가능합니다.

DAG 직렬화를 사용 중지하려면 다음 Airflow 구성 옵션을 재정의하세요.

섹션	키	값
core	store_serialized_dags	False
core	store_dag_code	False