Cloud Composer 1은 사후 유지보수 모드 상태입니다. Google은 Airflow의 새 버전, 버그 수정, 보안 업데이트를 비롯한 Cloud Composer 1 추가 업데이트를 출시하지 않습니다. Cloud Composer 2로 마이그레이션하는 것이 좋습니다.

DAG 직렬화 사용 설정 및 사용 중지

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

이 페이지의 안내에 따라 DAG 직렬화를 사용 설정 또는 사용 중지하세요.

Cloud Composer 환경에서는 Airflow 스케줄러와 Airflow 웹 서버 모두 지속적으로 DAG를 처리합니다. DAG 직렬화를 사용 설정하면 Airflow 웹 서버의 신뢰성과 성능을 개선할 수 있습니다.

스케줄러가 DAG 파일을 웹 서버로 전송하기 전에 DAG 직렬화를 사용 설정하면 강제로 DAG 파일을 처리합니다. 웹 서버는 DAG를 처리하지 않습니다. 대신 Airflow 데이터베이스에서 직렬화된 DAG를 읽습니다. 이러한 방식으로 DAG를 직렬화하면 특히 많은 수의 DAG를 처리할 때 웹 서버의 CPU 및 메모리 사용량이 감소합니다.

시작하기 전에

DAG 직렬화는 다음 Cloud Composer 기능에 영향을 줍니다.

DAG 직렬화는 비동기 DAG 로드와 동시에 사용 설정할 수 없습니다.
DAG 직렬화를 사용 설정하면 Cloud Composer의 모든 Airflow 웹 서버 플러그인이 사용 중지됩니다. 이는 Airflow 연산자와 센서를 포함하여 스케줄러 또는 작업자 플러그인에 영향을 주지 않습니다.

DAG 직렬화 사용 설정

기존 환경에서 DAG 직렬화를 사용 설정할 수 있으며 새 환경을 만들 때도 가능합니다.

DAG 직렬화를 사용 설정하려면 다음 Airflow 구성 옵션을 재정의하세요.

섹션	키	값
`core`	`store_serialized_dags`	`True`
`core`	`store_dag_code`	`True`
`core`	`min_serialized_dag_update_interval`	`30`
`scheduler`	`dag_dir_list_interval`	`30`

min_serialized_dag_update_interval Airflow 구성 옵션은 직렬화된 DAG가 데이터베이스에서 업데이트되는 빈도를 제어합니다. dag_dir_list_interval 옵션은 삭제된 DAG가 Airflow 데이터베이스에서 삭제되는 빈도를 제어합니다. 업데이트 빈도가 높으면 성능에 부정적인 영향을 줄 수 있습니다. min_serialized_dag_update_interval 및 dag_dir_list_interval은 30초로 설정하는 것이 좋습니다.

DAG 직렬화 사용 중지

기존 환경에서 DAG 직렬화를 사용 설정할 수 있으며 새 환경을 만들 때도 가능합니다.

DAG 직렬화를 사용 중지하려면 다음 Airflow 구성 옵션을 재정의하세요.

섹션	키	값
`core`	`store_serialized_dags`	`False`
`core`	`store_dag_code`	`False`