Cotas do Cloud TPU

Neste documento, listamos as cotas que se aplicam ao Cloud TPU. Para informações sobre os preços do Cloud TPU, consulte Preços do Cloud TPU.

Uma cota restringe quanto de um determinado recurso compartilhado do Google Cloud o projeto do Google Cloud pode usar, incluindo hardware, software e componentes de rede. Dessa forma, as cotas fazem parte de um sistema que:

  • monitora o uso ou o consumo de produtos e serviços do Google Cloud;
  • restringe o consumo desses recursos por motivos, que garantem imparcialidade e reduzem picos de uso;
  • mantém as configurações que aplicam automaticamente restrições prescritas;
  • fornece um meio de solicitar ou faz alterações na cota.

Na maioria dos casos, quando uma cota é excedida, o sistema bloqueia imediatamente o acesso ao recurso relevante do Google. Além disso, a tarefa que você está tentando executar falha. Na maioria dos casos, as cotas se aplicam a todos os projetos do Google Cloud. Além disso, elas são compartilhadas entre todos os aplicativos e endereços IP que usam esse projeto.

Cota de TPU

Há cotas diferentes para cada versão de TPU. Por exemplo, há cotas diferentes para a TPU v2, v3 e assim por diante. Para cada versão da TPU, há diferentes tipos de cota: sob demanda e preemptiva (spot). A tabela a seguir descreve os diferentes tipos de cota.

Tipo da cota Descrição Valor padrão Como solicitar Sinalizações para criação de TPU
Sob demanda O número de recursos sob demanda a que você tem acesso. Recursos sob demanda não serão interrompidos, mas essa cota não garante que haverá recursos suficientes do Cloud TPU disponíveis para atender à solicitação. v3-8 e v2-8: 16 TensorCores
Todos os outros: 0
Consulte Solicitar cota adicional. Nenhuma sinalização necessária, selecionada por padrão.
Preemptiva O número de recursos preemptivos do Cloud TPU aos quais você tem acesso. Essa cota se aplica a TPUs preemptivas e VMs spot de TPU. Recursos preemptivos podem ser interrompidos para dar espaço a jobs de maior prioridade. A cota preemptiva não garante que haverá recursos suficientes do Cloud TPU disponíveis para atender à solicitação. Para mais informações, consulte TPUs preemptivas e Gerenciar VMs spot da TPU. v3-8 e v2-8: 48 TensorCores
Todos os outros: 0
Consulte Solicitar cota adicional.
  • VMs spot: use a sinalização --spot.
  • TPUs preemptivas: use a sinalização --preemptible. A sinalização --preemptible não é compatível com recursos na fila. Use a sinalização --spot.

As cotas de TPU são especificadas em termos de núcleos de TPU por projeto por zona ou núcleos de TPU por projeto e região.

Cotas da TPU v5p

É possível usar a cota de TPU v5p em qualquer combinação de núcleos. Por exemplo, se você tiver uma cota para 32 núcleos, poderá usá-la para criar quatro frações de TPU, cada uma com oito núcleos.

Cotas preemptivas:

  • Núcleos de TPU v5p preemptivos por projeto e por região
  • Núcleos de TPU v5p preemptivos por projeto por zona

Cotas sob demanda:

  • Núcleos de TPU v5p por projeto por região
  • Núcleos de TPU v5p por projeto por zona

Cotas da TPU v5e

A TPU v5e pode ser usada para treinamento e disponibilização. Há cotas separadas para treinamento e disponibilização, bem como de host único (núcleos Lite) e de vários hosts (núcleos de pods Lite).

Cotas de veiculação

Cotas de veiculação preemptiva:

  • Núcleos do pod Lite da TPU v5 preemptiva para exibição por projeto por região
  • Núcleos do pod Lite da TPU v5 preemptiva para exibição por projeto por zona

Cotas de veiculação sob demanda:

  • Núcleos do pod da TPU v5 Lite para veiculação por projeto e por região
  • Núcleos do pod da TPU v5 Lite para veiculação por projeto e por zona

Cotas de treinamento

Cotas de treinamento preemptivo:

  • Núcleos preemptivas da TPU v5 Lite por projeto por região
  • Núcleos preemptivos da TPU v5 Lite por projeto por zona
  • Núcleos do pod Lite da TPU v5 preemptiva por projeto por região
  • Núcleos do pod Lite da TPU v5 preemptiva por projeto por zona

Cotas de treinamento sob demanda:

  • Núcleos de TPU v5 Lite por projeto por região
  • Núcleos da TPU v5 Lite por projeto por zona
  • Núcleos do pod da TPU v5 Lite por projeto por região
  • Núcleos do pod da TPU v5 Lite por projeto por zona

Cotas da TPU v4

É possível usar a cota da TPU v4 em qualquer combinação de núcleos. Por exemplo, se você tiver uma cota para 32 núcleos, poderá usá-la para criar quatro frações de TPU, cada uma com oito núcleos.

Cotas preemptivas:

  • Núcleos do pod da TPU v4 preemptiva por projeto por região
  • Núcleos do pod da TPU v4 preemptiva por projeto por zona

Cotas sob demanda:

  • Núcleos do pod da TPU v4 por projeto por região
  • Núcleos do pod da TPU v4 por projeto por zona

Cotas da TPU v3

Há cotas separadas de TPU v3 para TPUs de host único (núcleo) e TPUs de vários hosts (pod). É preciso usar as cotas de pod v3 para criar TPUs com mais de 8 núcleos.

Cotas preemptivas:

  • núcleos preemptivos da TPU v3 por projeto por região
  • Núcleos da TPU v3 preemptivos por projeto por zona
  • Núcleos do pod da TPU v3 preemptiva por projeto por região
  • Núcleos do pod da TPU v3 preemptiva por projeto por zona

Cotas sob demanda:

  • núcleos da TPU v3 por projeto por região
  • Núcleos de TPU v3 por projeto por zona
  • Núcleos do pod da TPU v3 por projeto por região
  • Núcleos do pod da TPU v3 por projeto por zona

Cotas da TPU v2

Há cotas separadas de TPU v2 para TPUs de host único (núcleo) e TPUs de vários hosts (pod).

Cotas preemptivas:

  • núcleos preemptivos da TPU v2 por projeto por região
  • Núcleos preemptivos da TPU v2 por projeto por zona
  • Núcleos do pod da TPU v2 preemptiva por projeto por região
  • Núcleos do pod da TPU v2 preemptiva por projeto por zona

Cotas sob demanda:

  • núcleos da TPU v2 por projeto por região
  • Núcleos de TPU v2 por projeto por zona
  • Núcleos do pod da TPU v2 por projeto por região
  • Núcleos do pod da TPU v2 por projeto por zona

Para mais informações sobre chips de TPU e TensorCores, consulte Arquitetura do sistema de TPU.

Ver e solicitar cota adicional

Veja a cota alocada para seu projeto do Google Cloud na página Cotas no Console do Google Cloud. Se você precisar de cota adicional da Cloud TPU, solicite-a na página "Cotas". Para mais informações, consulte Solicitar um limite de cota maior.