할당량
이 문서에서는 Cloud TPU에 적용되는 할당량을 설명합니다. Cloud TPU 가격 책정에 대한 자세한 내용은 Cloud TPU 가격 책정을 참조하세요.
할당량은 하드웨어, 소프트웨어, 네트워크 구성요소를 포함하여 Google Cloud 프로젝트에서 사용할 수 있는 공유 Google Cloud 리소스의 양을 제한합니다. 따라서 할당량은 다음을 수행하는 시스템에 속합니다.
- Google Cloud 제품 및 서비스 사용 또는 소비를 모니터링합니다.
- 공정성 보장 및 사용량 급증 방지 등의 이유로 리소스 소비를 제한합니다.
- 사전 정의된 제한사항을 자동으로 적용하는 구성을 유지합니다.
- 할당량을 요청하거나 변경할 수 있는 수단을 제공합니다.
대부분의 경우 할당량이 초과되면 시스템에서 관련 Google 리소스에 대한 액세스를 즉시 차단하고 수행하려는 작업이 실패합니다. 대부분의 경우 할당량은 각 Google Cloud 프로젝트에 적용되며 해당 Google Cloud 프로젝트를 사용하는 모든 애플리케이션과 IP 주소 전반에 공유됩니다.
할당량 유형
GKE를 사용하는 경우 GKE 할당량에 대한 자세한 내용은 충분한 할당량 보장을 참조하세요. Cloud TPU API 할당량이 있는 경우 예약, 주문형, 선점형 Cloud TPU 리소스에 대해 별도의 할당량이 적용됩니다. 다음 표에서는 각 유형의 할당량을 비교합니다.
| 할당량 유형 | 설명 | 기본값 | 요청 방법 | TPU 생성 플래그 |
|---|---|---|---|---|
| 예약한 라이선스 수 | 액세스가 보장된 Cloud TPU 리소스 수입니다. 예약된 리소스에 액세스하려면 예약 계약이 있어야 합니다. 예약된 인스턴스는 용량 부족으로부터 보호되지만 중단될 수 있습니다. | 0 | 예약된 할당량을 요청하려면 Google Cloud 계정 담당자에게 문의하세요. | --reserved 플래그를 사용합니다. |
| 주문형 | 액세스 권한이 있는 주문형 리소스 수입니다. 주문형 리소스는 선점되지 않지만 주문형 할당량은 요청을 이행하는 데 충분한 Cloud TPU 리소스를 제공한다고 보장하지 않습니다. |
v3-8 및 v2-8: TensorCore 16개 기타: 0개 |
추가 할당량 요청을 참조하세요. | 플래그가 필요하지 않으며 기본적으로 선택되어 있습니다. |
| 선점형 | 액세스 권한이 있는 선점형 Cloud TPU 리소스의 수입니다. 우선순위가 더 높은 작업을 위한 공간을 확보하기 위해 선점형 리소스가 선점될 수 있습니다. 선점형 할당량은 요청을 이행하는 데 충분한 Cloud TPU 리소스를 제공한다고 보장하지 않습니다. 자세한 내용은 선점형 TPU를 참조하세요. |
v3-8 및 v2-8: TensorCore 48개 기타: 0개 |
추가 할당량 요청을 참조하세요. |
--preemptible 플래그 또는 큐에 추가된 리소스 요청에 --best-effort 플래그를 사용합니다. |
할당량 설정
Cloud TPU 할당량은 사용하는 TPU 버전에 따라 다르게 부여됩니다.
TPU v4 및 v5p
TPU v4 및 v5p의 경우 TPU 칩 또는 TensorCore를 기준으로 할당량을 지정할 수 있습니다. 할당량은 모든 슬라이스 조합에서 사용할 수 있습니다. 예를 들어 v4-32 슬라이스에 대한 할당량이 있으면 이 할당량을 사용하여 v4-8 슬라이스 4개를 만들 수 있습니다.
TPU v5e(학습 및 추론)
v5e는 학습과 추론을 모두 지원합니다. 추론에 사용되는 v5e 슬라이스에는 가속기 유형이 v5litepod-1, v5litepod-4 또는 v5litepod-8인 TPU가 있습니다.
주문형 Cloud TPU의 경우 tpu-v5s-litepod-serving 할당량, 선점형 Cloud TPU의 경우 tpu-v5s-litepod-serving-preemptible, 예약된 Cloud TPU의 경우 tpu-v5s-litepod-serving-reserved가 필요합니다.
TPU v2 및 v3
v2 및 v3 TPU 할당량은 TensorCore 기준으로 지정됩니다. 단일 TPU 기기에는 TPU 칩 4개와 TensorCore 8개(칩당 TensorCore 2개)가 포함됩니다. v2 및 v3 TPU에는 단일 TPU 기기와 TPU Pod에 대한 할당량이 별도로 포함됩니다. v2-8 또는 v3-8 TPU에는 v2 또는 v3 TPU Pod 할당량을 사용할 수 없습니다. 예를 들어 v3-32 슬라이스에 대한 할당량이 있으면 이 할당량을 사용하여 v3-8 TPU 4개를 만들 수 없습니다.
TPU 칩 및 TensorCore에 대한 자세한 내용은 TPU 시스템 아키텍처를 참조하세요.
추가 할당량 보기 및 요청
Google Cloud 콘솔의 할당량 페이지에서 Google Cloud 프로젝트에 할당된 할당량을 볼 수 있습니다. Cloud TPU 할당량이 추가로 필요하면 할당량 페이지에서 요청하면 됩니다. 자세한 내용은 할당량 한도 상향 요청을 참조하세요.