이 문서에서는 Dataform에 적용되는 할당량과 한도에 대해 설명합니다.
할당량은 하드웨어, 소프트웨어, 네트워크 구성요소를 포함하여 Google Cloud 프로젝트에서 사용할 수 있는 공유 Google Cloud 리소스의 양을 제한합니다. 따라서 할당량은 다음을 수행하는 시스템에 속합니다.
- Google Cloud 제품 및 서비스 사용 또는 소비량을 모니터링합니다.
- 공정성 보장 및 사용량 급증 방지 등의 이유로 리소스 소비를 제한합니다.
- 사전 정의된 제한사항을 자동으로 적용하는 구성을 유지합니다.
- 할당량을 요청하거나 변경할 수 있는 수단을 제공합니다.
대부분의 경우 할당량이 초과되면 시스템에서 관련 Google 리소스에 대한 액세스를 즉시 차단하고 수행하려는 작업이 실패합니다. 대부분의 경우 할당량은 각 Google Cloud 프로젝트에 적용되며 해당 Google Cloud 프로젝트를 사용하는 모든 애플리케이션과 IP 주소 전반에 공유됩니다.
Dataform 리소스에도 한도가 있습니다. 이 한도는 할당량 시스템과 관련이 없습니다. 별도로 명시되지 않는 한 한도를 변경할 수 없습니다.
할당량 보충
일일 할당량은 비율을 제한하는 동작을 유도하기 위해 온종일 정기적으로 보충됩니다. 할당량이 소진되었을 때 장시간 중단되지 않도록 간헐적인 보충도 이루어집니다. 할당량은 하루에 한 번 전체적으로 보충되기보다는 대개 몇 분 단위로 제공됩니다.
할당량 상향 조정 요청
대부분의 할당량은 Google Cloud 콘솔을 사용해 늘리거나 줄입니다. 자세한 내용은 할당량 상향 요청을 참조하세요.
사용 할당량 상한
기본 할당량보다 적은 할당량을 지정하여 특정 리소스의 사용량을 제한하는 방법은 사용량 상한 설정을 참조하세요.
필수 권한
Google Cloud 콘솔에서 Dataform 할당량을 보고 업데이트하려면 Google Cloud 할당량과 동일한 권한이 필요합니다. 자세한 내용은 할당량 권한을 참조하세요.
문제 해결
Dataform 할당량 및 한도와 관련된 오류 문제 해결에 대한 자세한 내용은 문제 해결을 참조하세요.
Dataform 할당량
Dataform의 API 할당량은 다음과 같습니다.
| 할당량 | 한도 |
|---|---|
| 리전별 프로젝트당 총 요청 | 프로젝트/리전별 6,000/분 |
| 리전별 프로젝트별 컴파일 요청 | 프로젝트/리전별 120개/분 |
| 리전별 프로젝트당 파일 액세스 요청 | 프로젝트/리전별 120개/분 |
| 리전별 프로젝트당 패키지 설치 요청 | 프로젝트/리전별 120개/분 |
| 리전별 프로젝트당 워크플로 호출 요청 | 프로젝트당 60개/분 |
| 실행당 워크플로 작업 | 5000 |
Dataform에서 사용하는 서비스의 할당량
Dataform에는 다른 Google Cloud 서비스가 사용됩니다. Dataform을 사용할 때 이러한 서비스의 프로젝트 수준 할당량이 적용됩니다.
Dataform에는 자체 할당량 한도가 있는 다음 Google Cloud 서비스가 사용됩니다.
Dataform 컴파일 리소스 한도
Dataform은 컴파일 리소스에 다음 사용량 한도를 적용합니다.
| 사용량 한도 | 값 |
|---|---|
| 저장소 컴파일당 최대 작업 수 | 5000 |
| 컴파일된 그래프의 작업당 최대 종속 항목 수 | 50 |
| 컴파일된 작업 그래프의 직렬화된 최대 데이터 크기 | 20MB |
| NPM 종속 항목의 최대 크기 | 200MB |
또한 Dataform은 컴파일 중 CPU 및 메모리 사용에 한도를 적용합니다. 코드를 컴파일할 때 이러한 한도가 초과되면 컴파일이 실패하고 Dataform에서 컴파일 오류가 발생합니다.
저장소의 컴파일 리소스 사용량을 예측하려면 저장소의 컴파일 리소스 사용량 예측을 참조하세요.
다음과 같은 이유로 저장소의 사용량 한도가 초과될 수 있습니다.
- 저장소 코드의 무한 루프 버그
- 저장소 코드의 메모리 누수 버그
- 큰 저장소 크기(SQL 워크플로 노드 약 1,000개 이상)
- 많은 수의 동시 쿼리
Dataform에서 저장소 크기에 대한 자세한 내용은 저장소 크기 개요를 참조하세요.