지원되는 TPU 구성
모델 학습에 가장 효과적인 TPU 구성을 확인하려면 시스템 아키텍처 문서의 TPU 하드웨어 버전 섹션을 참조하세요. Cloud TPU에서 지원되는 참조 모델 목록은 지원되는 참조 모델 페이지를 참조하세요.
이 페이지에서는 TPU 유형과 TPU 런타임 버전의 목록을 제공합니다. TensorFlow 프레임워크를 사용하여 프로그래밍할 때 사용하는 런타임은 TPU VM 또는 TPU 노드 아키텍처를 사용하는지에 따라 달라집니다. 두 VM 아키텍처의 차이점은 시스템 아키텍처 페이지를 참조하세요.
다음 표에는 지원되는 TPU 하드웨어 유형이 나와 있습니다.
TPU v4 구성
TPU v4 구성은 64개 칩보다 작은 토폴로지(소형 토폴로지)와 64개 칩보다 큰 토폴로지(대형 토폴로지)가 있는 그룹 두 개로 구성됩니다. 이러한 각 토폴로지에 지원되는 구성은 다음 섹션에서 설명합니다.
작은 v4 토폴로지
Cloud TPU는 64개 칩이 있는 4x4x4 큐브보다 작은 다음 TPU v4 슬라이스를 지원합니다. 다음과 같은 TensorCore 기반 이름(예: v4-32) 또는 토폴로지(예: 2x2x4)를 사용하여 이러한 작은 v4 토폴로지를 만들 수 있습니다.
| 이름(TensorCore 수 기반) | 칩 수 | 토폴로지 |
| v4-8 | 4 | 2x2x1 |
| v4-16 | 8 | 2x2x2 |
| v4-32 | 16 | 2x2x4 |
| v4-64 | 32 | 2x4x4 |
대형 v4 토폴로지
TPU v4 슬라이스는 64개의 칩 단위로 제공되며, 세 차원 모두에서 4의 배수인 형태를 띱니다. 차원도 오름차순이어야 합니다. 다음 표에 몇 가지 예시가 나와 있습니다. 이러한 토폴로지 중 일부는 토폴로지 API를 통해서만 실행할 수 있는 '커스텀' 토폴로지입니다. 일반적으로 사용되는 토폴로지와 칩 수가 동일하기 때문입니다.
| 이름(TensorCore 수 기반) | 칩 수 | 토폴로지 |
| v4-128 | 64 | 4x4x4 |
| v4-256 | 128 | 4x4x8 |
| v4-512 | 256 | 4x8x8 |
| 토폴로지 API 보기 | 256 | 4x4x16 |
| v4-1024 | 512 | 8x8x8 |
| v4-1536 | 768 | 8x8x12 |
| v4-2048 | 1024 | 8x8x16 |
| 토폴로지 API 보기 | 1024 | 4x16x16 |
| v4-4096 | 2048 | 8x16x16 |
| … | … | … |
토폴로지 API
커스텀 토폴로지로 Cloud TPU Pod 슬라이스를 만들려면 다음과 같이 gcloud TPU API를 사용하면 됩니다.
$ gcloud alpha compute tpus tpu-vm create tpu-name \
--zone=us-central2-b \
--subnetwork=tpusubnet \
--type=v4 \
--topology=4x4x16 \
--version=runtime-version
TPU v2 및 v3 구성
다음 표에는 지원되는 TPU v2 및 v3 유형이 나열되어 있습니다.
| TPU 버전 | 지원 종료 |
|---|---|
| v2-8 | (종료일 미정) |
| v2-32 | (종료일 미정) |
| v2-128 | (종료일 미정) |
| v2-256 | (종료일 미정) |
| v2-512 | (종료일 미정) |
| v3-8 | (종료일 미정) |
| v3-32 | (종료일 미정) |
| v3-128 | (종료일 미정) |
| v3-256 | (종료일 미정) |
| v3-512 | (종료일 미정) |
| v3-1024 | (종료일 미정) |
| v3-2048 | (종료일 미정) |
TPU 소프트웨어 버전
사용해야 하는 TPU 소프트웨어 버전은 TPU 아키텍처, TPU VM 또는 TPU 노드, 사용 중인 ML 프레임워크(TensorFlow, PyTorch, JAX)에 따라 달라집니다.
TPU VM
TPU VM을 만들면 최신 버전의 TensorFlow가 TPU VM에 사전 설치됩니다.
TensorFlow
모델이 작성된 TensorFlow 버전과 일치하는 TPU 소프트웨어 버전을 사용합니다. 예를 들어 TensorFlow 2.11.0을 사용하는 경우 tpu-vm-tf-2.11.0 TPU 소프트웨어 버전을 사용합니다. TPU Pod를 사용하는 경우에는 tpu-vm-tf-2.11.0-pod를 사용합니다. 현재 TPU에 지원되는 TensorFlow TPU VM 소프트웨어 버전은 다음과 같습니다.
- tpu-vm-tf-2.11.0
- tpu-vm-tf-2.10.1
- tpu-vm-tf-2.10.0
- tpu-vm-tf-2.9.3
- tpu-vm-tf-2.9.1
- tpu-vm-tf-2.8.4
- tpu-vm-tf-2.8.3
- tpu-vm-tf-2.8.0
- tpu-vm-tf-2.7.4
- tpu-vm-tf-2.7.3
- tpu-vm-tf-2.6.5
TPU VM 포드를 지정하려면 사용할 TPU 소프트웨어 버전에 -pod를 추가합니다(예: tpu-vm-tf-2.11.0-pod).
TPU v4가 있는 TPU VM
TensorFlow를 사용하여 TPU VM v4에서 모델을 학습시키는 경우 아래 표시된 v4 버전 중 하나를 사용하세요.
2.10.0 - tpu-vm-tf-2.10.0-v4, tpu-vm-tf-2.10.0-pod-v4 2.9.3 - tpu-vm-tf-2.9.3-v4, tpu-vm-tf-2.9.3-pod-v4 2.9.2 - tpu-vm-tf-2.9.2-v4, tpu-vm-tf-2.9.2-pod-v4 2.9.1 - tpu-vm-tf-2.9.1-v4, tpu-vm-tf-2.9.1-pod-v4 2.10.0 - tpu-vm-tf-2.10.0-v4, tpu-vm-tf-2.10.0-pod-v4
TensorFlow 2.10.1부터는 단일 이미지만 있으며 버전 번호로 -v4를 지정할 필요가 없습니다.
TensorFlow 패치 버전에 대한 자세한 내용은 지원되는 TensorFlow 패치 버전을 참조하세요.
TPU VM은 TensorFlow 및 해당 Libtpu 라이브러리가 사전 설치되어 생성됩니다. 자체 VM 이미지를 만드는 경우 다음 TensorFlow TPU 소프트웨어 버전과 해당 Libtpu 버전을 지정합니다.
| TensorFlow 버전 | libtpu.so 버전 |
|---|---|
| 2.11.0 | 1.5.0 |
| 2.10.1 | 1.4.1 |
| 2.10.0 | 1.4.0 |
| 2.9.3 | 1.3.2 |
| 2.9.1 | 1.3.0 |
| 2.8.3 | 1.2.3 |
| 2.8.* | 1.2.0 |
| 2.7.3 | 1.1.2 |
PyTorch
모델이 작성된 PyTorch 버전과 일치하는 TPU 소프트웨어 버전을 사용합니다. 예를 들어 PyTorch 1.13을 사용하는 경우 v2 및 v3의 경우 tpu-vm-pt-1.13 TPU 소프트웨어 버전을 사용하거나 v4의 경우 tpu-vm-v4-pt-1.13 TPU 소프트웨어 버전을 사용합니다. TPU Pod에는 동일한 TPU 소프트웨어 버전이 사용됩니다(예: v2-32, v3-128, v4-32). 현재 지원되는 TPU 소프트웨어 버전은 다음과 같습니다.
TPU v2/v3:
- tpu-vm-pt-1.13(pytorch-1.13)
- tpu-vm-pt-1.12(pytorch-1.12)
- tpu-vm-pt-1.11(pytorch-1.11)
- tpu-vm-pt-1.10(pytorch-1.10)
- v2-alpha(pytorch-1.8.1)
TPU v4:
- tpu-vm-v4-pt-1.13(pytorch-1.13)
TPU VM을 만들면 최신 버전의 PyTorch가 TPU VM에 사전 설치됩니다. PyTorch를 설치하면 올바른 버전의 libtpu.so가 자동으로 설치됩니다.
현재 PyTorch 소프트웨어 버전을 변경하려면 PyTorch 버전 변경을 참조하세요.
JAX
JAX 특정 TPU 소프트웨어 버전이 없으므로 TPU VM에 JAX를 수동으로 설치해야 합니다. v2 및 v3 구성의 경우 tpu-vm-base TPU 소프트웨어 버전을 사용합니다. v4 구성의 경우 tpu-vm-v4-base를 사용합니다. JAX를 설치하면 올바른 버전의 libtpu.so가 자동으로 설치됩니다.
TPU 노드
TensorFlow
모델이 작성된 TensorFlow 버전과 일치하는 TPU 소프트웨어 버전을 사용합니다. 예를 들어 TF 2.11.0을 사용하는 경우 2.11.0 TPU 소프트웨어 버전을 사용합니다. TensorFlow 특정 TPU 소프트웨어 버전은 다음과 같습니다.
- 2.11.0
- 2.10.1
- 2.10.0
- 2.9.3
- 2.9.1
- 2.8.4
- 2.8.2
- 2.7.3
- 2.6.5
- 2.5.3
- 2.4.3
- 2.3.4
- 2.2.3
- 2.1.4
TensorFlow 패치 버전에 대한 자세한 내용은 지원되는 TensorFlow 패치 버전을 참조하세요.
TPU 노드를 만들면 최신 버전의 TensorFlow가 TPU 노드에 사전 설치됩니다.
PyTorch
모델이 작성된 PyTorch 버전과 일치하는 TPU 소프트웨어 버전을 사용합니다. 예를 들어 PyTorch 1.9를 사용하는 경우 pytorch-1.9 소프트웨어 버전을 사용합니다.
PyTorch 특정 TPU 소프트웨어 버전은 다음과 같습니다.
- pytorch-1.13
- pytorch-1.12
- pytorch-1.11
- pytorch-1.10
- pytorch-1.9
- pytorch-1.8
- pytorch-1.7
pytorch-1.6
pytorch-nightly
TPU 노드를 만들면 최신 버전의 PyTorch가 TPU 노드에 사전 설치됩니다.
JAX
TPU VM에 JAX를 수동으로 설치해야 하므로 JAX 특정 TPU 소프트웨어 버전이 사전에 설치되어 있지 않습니다. TensorFlow에 나열된 소프트웨어 버전을 사용할 수 있습니다.