할당량 정책

할당량 설정

할당량은 사용 중인 TPU 버전에 따라 다르게 부여됩니다. TPU v2 및 v3의 경우 할당량은 Cloud TPU 코어의 기준으로 정의됩니다. 단일 Cloud TPU 기기는 4개의 TPU 칩과 8개의 코어(TPU 칩당 2개의 코어)로 구성됩니다. TPU v2 및 v3에는 단일 기기 및 TPU Pod에 대해 별개의 할당량이 포함됩니다. 단일 기기에는 v2 또는 v3 TPU Pod 할당량을 사용할 수 없습니다. 예를 들어 v3-16 포드 슬라이스에 대한 할당량이 있으면 이를 사용하여 2개의 v3-8 단일 기기를 만들 수 없습니다.

TPU v4의 경우 할당량은 Cloud TPU 칩만 기준으로 결정됩니다. 모든 TPU v4는 포드 슬라이스로 처리되므로 단일 TPU 기기의 개념이 없습니다. v4 할당량은 원하는 모든 방식으로 사용할 수 있습니다. 예를 들어 v4-32 포드 슬라이스에 대해 할당량이 있으면 이 할당량을 사용하여 4개의 v4-8 포드 슬라이스를 만들 수 있습니다.

Cloud TPU v2 Pod는 TPU 칩이 256개(코어 512개) 포함된 64개의 TPU 기기로 구성됩니다.
Cloud TPU v3 포드는 TPU 칩이 1,024개(코어 2,048개) 포함된 256개의 TPU 기기로 구성됩니다.
Cloud TPU v4 포드는 4,096개의 칩과 8,192개의 코어가 포함된 1,024개의 TPU 기기로 구성됩니다.

또한 코어 수에 따라 Cloud TPU별 할당량도 지정됩니다. 예를 들어 할당량이 8개면 코어 8개를, 할당량이 16개면 코어를 최대 16개 사용할 수 있습니다.

버전-코어 수 표기(예: v2-8)는 Cloud TPU 버전과 코어 수를 나타냅니다. 코어 수는 할당량을 지정하는 데에도 사용되기 때문에 이 표기법으로 Cloud TPU 할당량 설정도 확인할 수 있습니다. 예를 들어 v2-32는 코어가 32개 있는 TPU v2 유형을 의미합니다.

새로운 Google Cloud 프로젝트를 만들면 Cloud TPU는 프로젝트에 기본 할당량을 할당합니다.

TPU v4 할당량

TPU v4 할당량을 받으려면 영업 담당자에게 문의하거나 이 등록 양식을 작성하세요.

단일 기기 v2 및 v3 TPU 유형의 할당량

단일 기기 TPU 유형에서는 주문형 코어 개수 및 선점형 TPU 코어 개수에 할당량 개수가 있습니다.

주문형 TPU: 기본 할당량은 코어 16개(TPU 기기 2개)입니다.
선점형 TPU: 기본 할당량은 코어 48개(TPU 기기 6개) 이상입니다.

v2 및 v3 TPU Pod 유형의 할당량

Cloud TPU Pod의 기본 할당량은 0입니다. TPU Pod 유형을 사용하려면 평가 할당량 또는 추가 할당량을 요청해야 합니다.

평가 할당량

TPU Pod 유형의 성능을 테스트할 수 있도록 평가 할당량에 대한 액세스를 요청합니다. 평가 할당량을 사용해 만드는 TPU 노드는 1초 단위로 요금이 청구되지만 주문형 TPU 기기 또는 약정 할당량을 사용해 만든 기기와 동일한 수준의 서비스가 보장되지는 않습니다. 평가 할당량은 제한된 기간 동안에만 프로젝트에서 유지됩니다.

요청 큐 할당량

큐에는 모든 TPU 유형에 공유되는 요청 수 할당량이 있습니다. 기본 할당량이 모든 프로젝트에 제공되고, 추가 할당량을 요청할 수 있습니다.

추가 할당량 요청

Google Cloud 프로젝트에 할당된 할당량은 Google Cloud Console에 표시됩니다. Cloud TPU 할당량이 추가로 필요한 경우 다음 절차를 통해 Google Cloud Console의 할당량 페이지에서 요청하면 됩니다.

할당량 페이지로 이동합니다.
할당량 페이지로 이동
필터 상자의 드롭다운 목록에서 할당량을 선택합니다. 새 속성 드롭다운 메뉴가 열립니다.
속성 메뉴에서 리전별 프로젝트당 TPU tpu-type 포드 코어를 선택합니다. 여기서 tpu-type은 사용 중인 TPU 유형입니다. 예를 들어 v2 또는 v3입니다.
또는 영역별 프로젝트당 TPU tpu-type Pod 코어를 선택할 수 있습니다.

각 영역에서 사용할 수 있는 전체 TPU 유형 목록은 TPU 유형 및 영역을 참조하세요.
Cloud TPU Pod를 사용할 리전이나 영역을 하나 이상 선택합니다.
할당량 수정을 클릭합니다.
이름, 이메일, 전화번호를 입력하고 다음을 클릭합니다.
할당량 증가 요청을 입력하고 다음을 클릭합니다.
요청을 제출합니다.

요청 후 영업일 기준 1~2일 내에 Cloud TPU팀이 답변을 드립니다.