자주 묻는 질문(FAQ) - Cloud TPU

이 문서에는 Cloud TPU에 관한 자주 묻는 질문(FAQ) 목록이 포함되어 있습니다. 이 문서는 다음 섹션으로 구분됩니다.

  1. 프레임워크 독립 FAQ - 사용 중인 ML 프레임워크에 관계없이 Cloud TPU를 사용하는 방법에 대한 질문입니다.
  2. JAX FAQ - JAX에서 Cloud TPU를 사용하는 방법에 대한 질문입니다.
  3. PyTorch FAQ - PyTorch에서 Cloud TPU를 사용하는 방법에 대한 질문입니다.

프레임워크 독립 FAQ

Cloud TPU VM에서 TPU를 사용하는 프로세스를 확인하려면 어떻게 해야 하나요?

Cloud TPU VM에서 tpu-info를 실행하여 프로세스 ID 및 TPU를 사용하는 프로세스에 대한 기타 정보를 인쇄합니다. 측정항목과 해당 정의는 지원되는 측정항목을 참고하세요.

   tpu-info

tpu-info의 출력은 다음과 비슷합니다.

   TPU Chips
   ┏━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┓
   ┃ Chip        ┃ Type        ┃ Devices ┃ PID    ┃
   ┡━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━┩
   │ /dev/accel0 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel1 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel2 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel3 │ TPU v4 chip │ 1       │ 130007 │
   └─────────────┴─────────────┴─────────┴────────┘

   TPU Runtime Utilization
   ┏━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓
   ┃ Device ┃ Memory usage         ┃ Duty cycle ┃
   ┡━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩
   │ 0      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 1      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 2      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 3      │ 0.00 GiB / 31.75 GiB │      0.00% │
   └────────┴──────────────────────┴────────────┘

   TensorCore Utilization
   ┏━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┓
   ┃ Chip ID ┃ TensorCore Utilization ┃
   ┡━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━┩
   │ 0       │                  0.00% │
   │ 1       │                  0.00% │
   │ 3       │                  0.00% │
   │ 2       │                  0.00% |
   └─────────┴────────────────────────┘

   Buffer Transfer Latency
   ┏━━━━━━━━━━━━━┳━━━━━┳━━━━━┳━━━━━┳━━━━━━┓
   ┃ Buffer Size ┃ P50 ┃ P90 ┃ P95 ┃ P999 ┃
   ┡━━━━━━━━━━━━━╇━━━━━╇━━━━━╇━━━━━╇━━━━━━┩
   │       8MB+  | 0us │ 0us │ 0us │  0us |
   └─────────────┴─────┴─────┴─────┴──────┘

Cloud TPU VM에 영구 디스크 볼륨을 추가하려면 어떻게 해야 하나요?

자세한 내용은 TPU VM에 영구 디스크 추가를 참고하세요.

자세한 내용은 Cloud TPU 스토리지 옵션을 참조하세요.

JAX FAQ

내 프로그램에서 TPU를 사용 중인지 어떻게 알 수 있나요?

JAX가 TPU를 사용 중인지 다시 확인하는 방법에는 몇 가지가 있습니다.

  1. jax.devices() 함수를 사용합니다. 예를 들면 다음과 같습니다.

    assert jax.devices()[0].platform == 'tpu'

  2. 프로그램을 프로파일링하고 프로필에 TPU 작업이 포함되는지 확인합니다. 자세한 내용은 JAX 프로그램 프로파일링을 참조하세요

자세한 내용은 JAX FAQ를 참조하세요.

Pytorch FAQ

내 프로그램에서 TPU를 사용 중인지 어떻게 알 수 있나요?

다음 python 명령어를 실행할 수 있습니다.

>>> import torch_xla.core.xla_model as xm
>>> xm.get_xla_supported_devices(devkind="TPU")

TPU 기기가 표시되는지 확인합니다.