환경 확장

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

이 페이지에서는 Cloud Composer 2에서 환경 확장의 작동 방식을 설명합니다.

확장 관련 다른 페이지:

환경 자동 확장

Cloud Composer 2 환경은 다음과 같이 실행된 DAG 및 태스크의 요구에 따라 자동으로 수평 축소됩니다.

  • 환경에 과부하가 발생하는 경우 Cloud Composer는 환경의 작업자 수를 자동으로 늘립니다.
  • 환경에서 일부 작업자를 사용하지 않는 경우 환경 리소스와 비용을 절약하기 위해 이러한 작업자가 삭제됩니다.
  • 환경의 최소 및 최대 작업자 수를 설정할 수 있습니다. Cloud Composer는 설정된 한도 내에서 환경을 자동으로 확장합니다. 이 한도는 언제든지 조정할 수 있습니다.

작업자 수는 배율 목표 측정항목을 기준으로 조정됩니다. 이 측정항목은 다음을 기준으로 계산됩니다.

  • 현재 작업자 수
  • 작업자에게 할당되지 않은 Celery 큐의 Celery 태스크 수
  • 유휴 작업자 수
  • celery.worker_concurrency Airflow 구성 옵션

Cloud Composer 자동 확장은 GKE에서 제공하는 다음 세 가지 자동 확장 처리를 사용합니다.

Cloud Composer는 환경의 클러스터에서 이러한 자동 확장 처리를 구성합니다. 이렇게 하면 클러스터의 노드 수, 머신 유형, 작업자 수가 자동으로 확장됩니다.

확장 및 성능 매개변수

자동 확장 외에도 스케줄러, 웹 서버, 작업자의 CPU, 메모리, 디스크 한도를 조정하여 환경의 확장 및 성능 매개변수를 제어할 수 있습니다. 이렇게 하면 자동 확장 기능에서 제공하는 수평 확장 외에도 환경을 수직으로 확장할 수 있습니다. Airflow 스케줄러, 웹 서버, 작업자의 확장 및 성능 매개변수는 언제든지 조정 가능합니다.

환경의 환경 크기 성능 매개변수는 Airflow 데이터베이스가 포함된 관리형 Cloud Composer 인프라의 성능 매개변수를 제어합니다. 인프라 성능이 우수한 DAG 및 태스크를 대량으로 실행하려는 경우에는 더 큰 환경 크기를 선택하는 것이 좋습니다. 예를 들어 환경 크기가 클수록 환경에서 최소 지연으로 처리할 수 있는 Airflow 태스크 로그 항목 양이 증가합니다.

여러 스케줄러

Airflow 2는 동시에 2개 이상의 Airflow 스케줄러를 사용할 수 있습니다. 이 Airflow 기능은 HA 스케줄러라고도 합니다. Cloud Composer 2에서는 환경의 스케줄러 수를 설정하고 언제든지 조정할 수 있습니다. Cloud Composer는 환경의 스케줄러 수를 자동으로 확장하지 않습니다.

환경의 스케줄러 수를 구성하는 방법에 대한 자세한 내용은 환경 확장을 참조하세요.

데이터베이스 디스크 공간

Airflow 데이터베이스의 디스크 공간은 수요에 맞게 자동으로 증가합니다.

다음 단계