Cloud Composer 제어 영역 리소스 할당량

Cloud Composer의 API 할당량 한도는 다음과 같습니다.

할당량 이름 한도
프로젝트당 쓰기 요청 1,500개/분, 25,000개/일
프로젝트당 읽기 요청 1,000개/분

대부분의 API 호출 수행에는 1단위가 소비되지만 더 많은 단위가 소비되는 경우도 있습니다. 100단위가 소비되는 API로는 environments.create, environments.update, environments.delete가 있습니다.

다음 도구는 Cloud Composer API를 바탕으로 구축되어 있으며, Cloud Composer API 할당량을 사용합니다.

Cloud Composer는 다른 Google Cloud 제품을 활용합니다. 이러한 제품에는 Cloud Composer 사용에 적용되는 프로젝트 수준 할당량이 있습니다. Google Compute EngineGoogle Cloud Storage와 같은 일부 서비스는 Cloud Composer 사용이 필수입니다. 다른 서비스는 필요 시 Airflow에서 커넥터를 설정할 때 Cloud Composer와 함께 사용할 수 있습니다.

필수 서비스

다음 서비스는 Cloud Composer 환경을 만드는 데 필수적으로 자동 사용되며, 할당량 한도가 있습니다.

  • Deployment Manager
  • Kubernetes Engine(Compute Engine 사용)
  • Cloud Storage
  • Cloud Pub/Sub
  • Cloud Logging
  • Cloud Monitoring
  • Cloud Build(PyPi 종속 항목을 사용하는 경우)
  • Google Container Registry
  • Google Artifact Registry

Deployment Manager

Deployment Manager는 Cloud Composer에 필요한 다른 Google Cloud 리소스를 관리합니다. 각각의 gcloud composer, create, update 또는 delete 호출은 Deployment Manager 쓰기 쿼리 1개와 읽기 쿼리 여러 개로 변환되며 여기에는 Deployment Manager 할당량이 적용됩니다.

Kubernetes Engine

Airflow 스케줄러와 작업자는 Kubernetes Engine 클러스터 내에서 실행됩니다. Cloud Composer 환경마다 클러스터가 하나씩 생성됩니다. 기본적으로 환경에는 Compute Engine VM이 3개 있지만 생성 중이나 생성 후에 VM 개수를 구성할 수 있습니다. 이 클러스터는 Kubernetes Engine 할당량에 영향을 미치고 노드의 개수는 Compute Engine 할당량에 영향을 미칩니다.

Cloud Pub/Sub

Cloud Pub/Sub는 생성되는 Composer 서비스 및 Airflow 배포 간의 통신에 사용됩니다. 각 gcloud composer environments create 또는 update 호출이 2개의 Cloud Pub/Sub 주제와 2개의 Cloud Pub/Sub 구독을 만듭니다. 여기에는 Cloud Pub/Sub 할당량이 적용됩니다.

Cloud Logging 및 Cloud Monitoring

Cloud Logging은 Cloud Composer 로그 및 스트리밍 Airflow 로그에 사용됩니다. 여기에는 Logging 할당량이 적용됩니다.

Cloud Monitoring을 사용하면 커스텀 대시보드에서 Airflow 측정항목을 수집하고 시각화할 수 있습니다. 여기에는 Monitoring 할당량이 적용됩니다.

Cloud Build

Cloud Build를 사용하면 PyPi 패키지를 설치할 때 커스텀 Docker 이미지를 빌드할 수 있으며 여기에는 Cloud Build 할당량이 적용됩니다.

비필수 서비스

Google Cloud 서비스에서 Airflow 연산자를 사용할 수 있습니다. Cloud Composer 환경에서 사용하는 모든 서비스에 해당 서비스의 할당량이 적용됩니다.