선점형 TPU

선점형 TPU 비용은 비선점형 TPU보다 훨씬 저렴합니다. Cloud TPU 서비스는 TPU 리소스가 추가로 필요할 때 언제든지 이러한 TPU를 선점(종료)할 수 있습니다.

선점형 TPU VM 만들기

gcloud

$ gcloud compute tpus tpu-vm create demo-tpu \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.17.0-pjrt \
  --preemptible

각 항목의 의미는 다음과 같습니다.

demo-tpu는 TPU의 이름입니다.
accelerator-type은 TPU의 유형입니다. 각 TPU 버전에서 지원되는 가속기 유형에 대한 자세한 내용은 TPU 버전을 참조하세요.
version은 설치할 Cloud TPU VM 이미지입니다.
preemptible은 Cloud TPU에서 TPU를 선점하도록 허용합니다.

선점형 TPU 가격 및 할당량

선점형 TPU 가격은 일반 TPU에 비해 훨씬 저렴합니다. 자세한 내용은 가격 책정 페이지를 참조하세요. 만든 후 1분 내에 선점된 TPU에 대해서는 요금이 청구되지 않습니다.

선점형 TPU의 할당량은 일반적으로 높은 편이며 일반 TPU의 할당량과는 분리되어 있습니다. 자세한 내용은 할당량 페이지를 참조하세요.

TPU의 선점 여부 감지

다음 gcloud 명령어를 사용하여 Cloud TPU 서비스가 TPU를 선점했는지 확인합니다.

사용 가능한 TPU를 나열합니다.

gcloud compute tpus tpu-vm list
  --zone=us-central1-b

이 명령어의 출력에는 프로젝트에서 만든 TPU의 세부정보가 표시됩니다. TPU가 선점된 경우 상태가 READY에서 PREEMPTED로 변경됩니다.

예를 들면 다음과 같습니다.

NAME       ZONE           ACCELERATOR_TYPE  NETWORK_ENDPOINT   NETWORK  RANGE          STATUS
demo-tpu   us-central1-b  v2-8              10.240.1.2:8470    default  10.240.1.0/29  PREEMPTED

선점형 TPU에서 실행되도록 머신러닝 애플리케이션 설계

재시작 시 모델 체크포인트를 정기적으로 저장하고 가장 최근 체크포인트를 복원하도록 애플리케이션을 구성하여 애플리케이션이 VM 및 TPU의 재시작에 탄력적으로 반응하는지 확인합니다.