이 문서에서는 Cloud Composer에 적용되는 할당량 및 시스템 한도를 설명합니다. 할당량은 사용할 수 있는 계수 가능한 공유 리소스의 양을 지정하며 Cloud Composer와 같은 Google Cloud 서비스에서 정의됩니다. 시스템 한도는 변경할 수 없는 고정 값입니다.
Google Cloud는 공정성을 보장하고 리소스 사용 및 가용성의 급증을 줄이기 위해 할당량을 사용합니다. 할당량은 Google Cloud 프로젝트에서 사용할 수 있는 Google Cloud 리소스의 양을 제한합니다. 할당량은 하드웨어, 소프트웨어, 네트워크 구성요소를 포함하여 다양한 리소스 유형에 적용됩니다. 예를 들어 할당량에 따라 서비스에 대한 API 호출 수, 프로젝트에서 동시에 사용하는 부하 분산기 수, 만들 수 있는 프로젝트 수가 제한될 수 있습니다. 할당량은 서비스 과부하를 방지하여 Google Cloud 사용자 커뮤니티를 보호합니다. 할당량은 자체 Google Cloud 리소스를 관리하는 데도 도움이 됩니다.
Cloud Quotas 시스템은 다음을 수행합니다.
- Google Cloud 제품 및 서비스 소비량 모니터링
- 리소스 소비 제한
- 할당량 값 변경을 요청할 수 있는 수단 제공
대부분의 경우 할당량이 허용하는 것보다 더 많은 리소스를 소비하려고 하면 시스템에서 리소스에 대한 액세스를 차단하고 수행하려는 작업이 실패합니다.
할당량은 일반적으로 Google Cloud 프로젝트 수준에서 적용됩니다. 한 프로젝트의 리소스를 사용해도 다른 프로젝트에서 사용 가능한 할당량에는 영향을 미치지 않습니다. Google Cloud 프로젝트 내에서 할당량은 모든 애플리케이션과 IP 주소에 공유됩니다.
대부분의 할당량을 조정하려면 Google Cloud 콘솔을 사용합니다. 자세한 내용은 할당량 조정 요청을 참고하세요.
Cloud Composer 리소스에도 시스템 한도가 있습니다. 시스템 한도는 변경할 수 없습니다.
Cloud Composer 할당량
이 섹션의 할당량은 Cloud Composer API와 Cloud Composer API를 활용하는 도구에만 적용됩니다.
- Google Cloud Console의 Cloud Composer 인터페이스
gcloud composer및gcloud beta composer명령어- Cloud Composer REST API
- Cloud Composer RPC API
- Terraform(Cloud Composer 환경에서 작동)
Airflow DAG에서 사용하는 서비스에는 이 섹션의 할당량이 적용되지 않습니다. 이러한 서비스에서는 자체 할당량을 사용합니다.
Cloud Composer의 API 할당량은 다음과 같습니다.
| 할당량 이름 | 한도 |
|---|---|
| 프로젝트당 읽기 요청 | 분당 할당량 단위 1,000개 |
| 프로젝트당 쓰기 요청 | 일별 할당량 단위 25,000개 |
| 프로젝트당 쓰기 요청 | 분당 할당량 단위 1,500개 |
| 프로젝트당 스냅샷 저장 요청 | 일별 할당량 단위 5,000개 |
| 프로젝트당 스냅샷 저장 요청 | 분당 할당량 단위 250개 |
| 환경별 프로젝트당 스냅샷 저장 요청 | 일별 할당량 단위 2,600개 |
| 프로젝트당 스냅샷 로드 요청 | 일별 할당량 단위 2,500개 |
| 프로젝트당 스냅샷 로드 요청 | 분당 할당량 단위 150개 |
| 환경별 프로젝트당 스냅샷 로드 요청 | 일별 할당량 단위 700개 |
할당량 단위당 Cloud Composer API 호출 비용은 다음과 같습니다.
| 작업 | 할당량 단위당 비용 | 요청 유형 |
|---|---|---|
| 모든 연산 | 1 | 읽기 |
| environments.create | 100 | 쓰기 |
| environments.patch | 100 | 쓰기 |
| environments.delete | 100 | 쓰기 |
| environments.databaseFailover | 100 | 쓰기 |
| environments.restartWebServer | 100 | 쓰기 |
| environments.checkUpgrade | 100 | 쓰기 |
| environments.executeAirflowCommand | 25 | 쓰기 |
| environments.stopAirflowCommand | 25 | 쓰기 |
| environments.saveSnapshot | 50 | 스냅샷 저장 |
| environments.loadSnapshot | 50 | 스냅샷 로드 |
할당량 계산 예시
environments.create요청은 쓰기 할당량에서 할당량 단위를 100개 사용합니다.쓰기 요청에는 다음 두 가지 할당량이 있습니다.
- 프로젝트별 일일 쓰기 요청
- 프로젝트별 분당 쓰기 요청
이 작업은 각 할당량에서 할당량 단위 100개를 사용합니다.
그 후에
environments.restartWebServer요청을 실행하면environments.restartWebServer가environments.create요청과 할당량을 공유하므로 동일한 할당량에서 또 다른 할당량 단위 100개가 사용됩니다.environments.saveSnapshot요청은 3개의 할당량에서 50개의 할당량 단위를 사용합니다.- 프로젝트별 일일 스냅샷 저장 요청
- 프로젝트별 분당 스냅샷 저장 요청
- 환경별 프로젝트당 일일 스냅샷 저장 요청
이 3개의 할당량은 최대
environments.saveSnapshot요청 수를 제한합니다. 각각 다른 방식으로 수행됩니다.프로젝트별 일일 스냅샷 저장 요청 할당량 한도는 할당량 단위가 2,500개입니다. 프로젝트에서 하루에 최대 50개의
environments.saveSnapshot요청을 실행할 수 있습니다.프로젝트별 분당 스냅샷 저장 요청 할당량 한도는 할당량 단위가 150개입니다. 1분 동안 프로젝트에서 최대 3개의
environments.saveSnapshot요청만 실행할 수 있습니다.마지막으로 환경당 프로젝트당 일일 스냅샷 저장 요청 할당량 한도는 할당량 단위가 750개입니다. 단일 환경에 대해 매일 최대 15개의
environments.saveSnapshot요청을 실행할 수 있습니다. 특정 환경에 모든 할당량 단위가 사용되는 경우에도 프로젝트의 다른 환경에 대한environments.saveSnapshot요청을 실행할 수 있습니다.
다른 서비스의 할당량
Cloud Composer는 다른 Google Cloud 서비스를 사용합니다. 이러한 서비스에는 Cloud Composer를 사용할 때 적용하는 프로젝트 수준 할당량이 있습니다.
예를 들어 Cloud Storage에 대한 할당량은 프로젝트의 환경과 연결된 모든 버킷에 적용됩니다. 또 다른 예시로 환경의 클러스터는 Google Kubernetes Engine을 사용하므로 GKE의 할당량은 프로젝트의 환경과 연결된 모든 클러스터에 적용됩니다.
Cloud Composer에서 사용하는 서비스 할당량
Cloud Composer에서 사용하는 서비스는 다음과 같습니다. 이러한 서비스에는 자체 할당량 한도가 있습니다.
- Cloud Deployment Manager 할당량
- Google Kubernetes Engine 할당량
- Compute Engine 할당량
- Cloud Storage 할당량
- Pub/Sub 할당량
- Cloud Logging 할당량
- Cloud Monitoring 할당량
- Cloud Build 할당량(커스텀 PyPI 패키지를 사용하는 환경에 적용)
- Artifact Registry 할당량
- Identity and Access Management 할당량
- Virtual Private Cloud 할당량(Private Service Connect를 사용하는 환경에는 적용되지 않음)
- Resource Manager 할당량
- 서비스 디렉터리 할당량
선택적 서비스 할당량
Google Cloud 서비스에서 Airflow 연산자를 사용할 수 있습니다. DAG에서 사용하는 모든 서비스에는 해당 서비스의 할당량이 적용됩니다.