할당량 및 한도

이 문서에서는 Cloud Composer에 적용되는 할당량과 한도를 설명합니다.

할당량은 하드웨어, 소프트웨어, 네트워크 구성요소를 포함하여 Google Cloud 프로젝트에서 사용할 수 있는 공유 Google Cloud 리소스의 양을 제한합니다. 따라서 할당량은 다음을 수행하는 시스템에 속합니다.

  • Google Cloud 제품 및 서비스 사용 또는 소비량을 모니터링합니다.
  • 공정성 보장 및 사용량 급증 방지 등의 이유로 리소스 소비를 제한합니다.
  • 사전 정의된 제한사항을 자동으로 적용하는 구성을 유지합니다.
  • 할당량을 요청하거나 변경할 수 있는 수단을 제공합니다.

대부분의 경우 할당량이 초과되면 시스템에서 관련 Google 리소스에 대한 액세스를 즉시 차단하고 수행하려는 작업이 실패합니다. 대부분의 경우 할당량은 각 Google Cloud 프로젝트에 적용되며 해당 Google Cloud 프로젝트를 사용하는 모든 애플리케이션과 IP 주소 전반에 공유됩니다.

대부분의 할당량은 Google Cloud 콘솔을 사용해 늘리거나 줄입니다. 자세한 내용은 할당량 상향 요청을 참조하세요.

Cloud Composer 리소스에도 한도가 있습니다. 이 한도는 할당량 시스템과 관련이 없습니다. 별도로 명시되지 않는 한 한도를 변경할 수 없습니다.

Cloud Composer 할당량

이 섹션의 할당량은 Cloud Composer API와 Cloud Composer API를 활용하는 도구에만 적용됩니다.

  • Google Cloud Console의 Cloud Composer 인터페이스
  • gcloud composer 및 gcloud beta composer 명령어
  • Cloud Composer REST API
  • Cloud Composer RPC API
  • Terraform(Cloud Composer 환경에서 작동)

Airflow DAG에서 사용하는 서비스에는 이 섹션의 할당량이 적용되지 않습니다. 이러한 서비스에서는 자체 할당량을 사용합니다.

Cloud Composer의 API 할당량은 다음과 같습니다.

할당량 이름 한도
프로젝트당 읽기 요청 분당 할당량 단위 1,000개
프로젝트당 쓰기 요청 일별 할당량 단위 25,000개
프로젝트당 쓰기 요청 분당 할당량 단위 1,500개
프로젝트당 스냅샷 저장 요청 일별 할당량 단위 5,000개
프로젝트당 스냅샷 저장 요청 분당 할당량 단위 250개
환경별 프로젝트당 스냅샷 저장 요청 일별 할당량 단위 2,600개
프로젝트당 스냅샷 로드 요청 일별 할당량 단위 2,500개
프로젝트당 스냅샷 로드 요청 분당 할당량 단위 150개
환경별 프로젝트당 스냅샷 로드 요청 일별 할당량 단위 700개

할당량 단위당 Cloud Composer API 호출 비용은 다음과 같습니다.

작업 할당량 단위당 비용 요청 유형
모든 연산 1 읽기
environments.create 100 쓰기
environments.patch 100 쓰기
environments.delete 100 쓰기
environments.databaseFailover 100 쓰기
environments.restartWebServer 100 쓰기
environments.checkUpgrade 100 쓰기
environments.executeAirflowCommand 25 쓰기
environments.stopAirflowCommand 25 쓰기
environments.saveSnapshot 50 스냅샷 저장
environments.loadSnapshot 50 스냅샷 로드

할당량 계산 예시

  • environments.create 요청은 쓰기 할당량에서 할당량 단위를 100개 사용합니다.

    쓰기 요청에는 다음 두 가지 할당량이 있습니다.

    • 프로젝트별 일일 쓰기 요청
    • 프로젝트별 분당 쓰기 요청

    이 작업은 각 할당량에서 할당량 단위 100개를 사용합니다.

    그 후에 environments.restartWebServer 요청을 실행하면 environments.restartWebServer가 environments.create 요청과 할당량을 공유하므로 동일한 할당량에서 또 다른 할당량 단위 100개가 사용됩니다.

  • environments.saveSnapshot 요청은 3개의 할당량에서 50개의 할당량 단위를 사용합니다.

    • 프로젝트별 일일 스냅샷 저장 요청
    • 프로젝트별 분당 스냅샷 저장 요청
    • 환경별 프로젝트당 일일 스냅샷 저장 요청

    이 3개의 할당량은 최대 environments.saveSnapshot 요청 수를 제한합니다. 각각 다른 방식으로 수행됩니다.

    프로젝트별 일일 스냅샷 저장 요청 할당량 한도는 할당량 단위가 2,500개입니다. 프로젝트에서 하루에 최대 50개의 environments.saveSnapshot 요청을 실행할 수 있습니다.

    프로젝트별 분당 스냅샷 저장 요청 할당량 한도는 할당량 단위가 150개입니다. 1분 동안 프로젝트에서 최대 3개의 environments.saveSnapshot 요청만 실행할 수 있습니다.

    마지막으로 환경당 프로젝트당 일일 스냅샷 저장 요청 할당량 한도는 할당량 단위가 750개입니다. 단일 환경에 대해 매일 최대 15개의 environments.saveSnapshot 요청을 실행할 수 있습니다. 특정 환경에 모든 할당량 단위가 사용되는 경우에도 프로젝트의 다른 환경에 대한 environments.saveSnapshot 요청을 실행할 수 있습니다.

다른 서비스의 할당량

Cloud Composer는 다른 Google Cloud 서비스를 사용합니다. 이러한 서비스에는 Cloud Composer를 사용할 때 적용하는 프로젝트 수준 할당량이 있습니다.

예를 들어 Cloud Storage에 대한 할당량은 프로젝트의 환경과 연결된 모든 버킷에 적용됩니다. 또 다른 예시로 환경의 클러스터는 Google Kubernetes Engine을 사용하므로 GKE의 할당량은 프로젝트의 환경과 연결된 모든 클러스터에 적용됩니다.

Cloud Composer에서 사용하는 서비스 할당량

Cloud Composer에서 사용하는 서비스는 다음과 같습니다. 이러한 서비스에는 자체 할당량 한도가 있습니다.

선택적 서비스 할당량

Google Cloud 서비스에서 Airflow 연산자를 사용할 수 있습니다. DAG에서 사용하는 모든 서비스에는 해당 서비스의 할당량이 적용됩니다.