Perguntas frequentes: Cloud TPU
Este documento contém uma lista de perguntas frequentes sobre os Cloud TPUs. Ela é dividida em seções:
- Perguntas frequentes independentes de framework: perguntas sobre o uso de Cloud TPUs independente do framework de ML que você está usando.
- Perguntas frequentes sobre o JAX: dúvidas sobre como usar Cloud TPUs com o JAX.
- Perguntas frequentes sobre o PyTorch: dúvidas sobre como usar as Cloud TPUs com o PyTorch.
Perguntas frequentes independentes de framework
Como verificar qual processo está usando a TPU em uma VM do Cloud TPU?
Execute tpu-info na VM da Cloud TPU para imprimir o ID do processo e
outras informações sobre o processo usando a TPU. Consulte as métricas compatíveis e as definições correspondentes.
tpu-info
A saída de tpu-info é semelhante a esta:
TPU Chips
┏━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┓
┃ Chip ┃ Type ┃ Devices ┃ PID ┃
┡━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━┩
│ /dev/accel0 │ TPU v4 chip │ 1 │ 130007 │
│ /dev/accel1 │ TPU v4 chip │ 1 │ 130007 │
│ /dev/accel2 │ TPU v4 chip │ 1 │ 130007 │
│ /dev/accel3 │ TPU v4 chip │ 1 │ 130007 │
└─────────────┴─────────────┴─────────┴────────┘
TPU Runtime Utilization
┏━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓
┃ Device ┃ Memory usage ┃ Duty cycle ┃
┡━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩
│ 0 │ 0.00 GiB / 31.75 GiB │ 0.00% │
│ 1 │ 0.00 GiB / 31.75 GiB │ 0.00% │
│ 2 │ 0.00 GiB / 31.75 GiB │ 0.00% │
│ 3 │ 0.00 GiB / 31.75 GiB │ 0.00% │
└────────┴──────────────────────┴────────────┘
TensorCore Utilization
┏━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Chip ID ┃ TensorCore Utilization ┃
┡━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━┩
│ 0 │ 0.00% │
│ 1 │ 0.00% │
│ 3 │ 0.00% │
│ 2 │ 0.00% |
└─────────┴────────────────────────┘
Buffer Transfer Latency
┏━━━━━━━━━━━━━┳━━━━━┳━━━━━┳━━━━━┳━━━━━━┓
┃ Buffer Size ┃ P50 ┃ P90 ┃ P95 ┃ P999 ┃
┡━━━━━━━━━━━━━╇━━━━━╇━━━━━╇━━━━━╇━━━━━━┩
│ 8MB+ | 0us │ 0us │ 0us │ 0us |
└─────────────┴─────┴─────┴─────┴──────┘
Como adicionar um volume de disco permanente a uma VM do Cloud TPU?
Para mais informações, consulte Adicionar um disco permanente a uma VM de TPU.
Quais opções de armazenamento são compatíveis ou recomendadas para treinamento com a VM da TPU?
Para mais informações, consulte Opções de armazenamento da Cloud TPU.
Perguntas frequentes sobre o JAX
Como saber se a TPU está sendo usada pelo meu programa?
Há algumas maneiras de verificar se o JAX está usando a TPU:
Use a função
jax.devices(). Exemplo:assert jax.devices()[0].platform == 'tpu'Crie o perfil do seu programa e verifique se ele contém operações da TPU. Para mais informações, consulte Como criar perfis de programas JAX.
Para mais informações, consulte as Perguntas frequentes sobre o JAX.
Perguntas frequentes sobre o Pytorch
Como saber se a TPU está sendo usada pelo meu programa?
Você pode executar os seguintes comandos do Python:
>>> import torch_xla.core.xla_model as xm
>>> xm.get_xla_supported_devices(devkind="TPU")
e verifique se você consegue encontrar dispositivos TPU.