Cotas do Cloud TPU

Neste documento, listamos as cotas que se aplicam ao Cloud TPU. Para informações sobre os preços da Cloud TPU, consulte Preços da Cloud TPU.

O Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um recurso do Google Cloud o projeto do Google Cloud pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários do Google Cloud, impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos do Google Cloud.

O sistema de cotas do Cloud faz o seguinte:

• Monitora o consumo de produtos e serviços do Google Cloud.
• Restringe o consumo desses recursos.
• Fornece um meio de solicitar mudanças no valor da cota

Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.

As cotas geralmente se aplicam ao projeto do nível Google Cloud. O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud, as cotas são compartilhadas entre todos os aplicativos e endereços IP.

Importante: este documento descreve a cota da API Cloud TPU. Se você estiver criando fatias de TPU no GKE, use a cota da API Compute Engine, que é diferente. Para mais informações sobre as cotas que você usa para TPUs no GKE, consulte Garantir cota suficiente

.

Cota de TPU

Há cotas diferentes para cada versão de TPU. Por exemplo, há diferentes cotas para TPU v2, v3 e assim por diante. Para cada versão de TPU, há diferentes tipos de cota: sob demanda e preemptiva (VMs spot). A tabela a seguir descreve os diferentes tipos de cota.

Tipo da cota	Descrição	Valor padrão	Como solicitar	Flags para a criação de TPUs
Sob demanda	O número de recursos sob demanda a que você tem acesso. Os recursos sob demanda não serão substituídos, mas a cota sob demanda não garante que haja recursos suficientes do Cloud TPU disponíveis para atender à sua solicitação.	v3-8 e v2-8: 16 TensorCores Todos os outros: 0	Consulte Solicitar cota adicional.	Nenhuma sinalização necessária, selecionada por padrão.
Preemptiva	O número de recursos preemptivos do Cloud TPU a que você tem acesso. Essa cota se aplica a TPUs preemptivas e VMs spot de TPU. Os recursos preempíveis podem ser interrompidos para abrir espaço para jobs de prioridade mais alta. A cota preemptiva não garante que haverá disponibilidade suficiente recursos do Cloud TPU para atender à sua solicitação. Para mais informações, consulte TPUs preemptivas e Gerenciar VMs do Spot da TPU.	v3-8 e v2-8: 48 TensorCores Todos os outros: 0	Consulte Solicitar mais cota.	VMs do Spot: use a flag --spot. TPUs preemptivas: use a classe --preemptible. O --preemptible não há suporte para a classe enfileirada recursos. Use a sinalização --spot.

As cotas de TPU são especificadas em termos de núcleos de TPU por projeto por zona ou por projeto por região.

Cotas da TPU v5p

É possível usar a cota de TPU v5p em qualquer combinação de núcleos. Por exemplo, se você tiver cota para 32 núcleos, poderá usar essa cota para criar quatro fatias de TPU, cada uma com 8 núcleos.

Cotas preemptivas:

• Núcleos preemptivos da TPU v5p por projeto e por região
• Núcleos de TPU v5p preemptivos por projeto por zona

Cotas sob demanda:

• Núcleos da TPU v5p por projeto e por região
• Núcleos de TPU v5p por projeto por zona

Cotas da TPU v5e

A TPU v5e pode ser usada para treinamento e disponibilização. Há cotas separadas para treinamento e veiculação, além de host único (núcleos Lite) e vários hosts (núcleos Lite do pod).

Como veicular cotas

Cotas de veiculação preemptivas:

• Núcleos do pod Lite da TPU v5 preemptiva para exibição por projeto por região
• Núcleos de pod TPU v5 lite preemptivos para exibição por projeto e por zona

Cotas de veiculação sob demanda:

• Núcleos de pod da TPU v5 lite para exibição por projeto e região
• Núcleos do pod da TPU v5 Lite para veiculação por projeto e por zona

Cotas de treinamento

Cotas de treinamento preemptivo:

• Núcleos preemptivas da TPU v5 Lite por projeto por região
• Núcleos preemptivos da TPU v5 Lite por projeto e por zona
• Núcleos do pod Lite da TPU v5 preemptiva por projeto por região
• Núcleos de pod TPU v5 lite preemptivos por projeto e zona

Cotas de treinamento sob demanda:

• Núcleos da TPU v5 Lite por projeto por região
• Núcleos da TPU v5 Lite por projeto por zona
• Núcleos do pod da TPU v5 Lite por projeto por região
• Núcleos do pod da TPU v5 Lite por projeto por zona

Cotas da TPU v4

É possível usar a cota da TPU v4 em qualquer combinação de núcleos. Por exemplo, se você tiver cota para 32 núcleos, é possível usá-la para criar quatro frações de TPU cada com 8 núcleos.

Cotas preemptivas:

• Núcleos do pod da TPU v4 preemptiva por projeto e por região
• Núcleos do pod da TPU v4 preemptiva por projeto por zona

Cotas sob demanda:

• Núcleos de TPU v4 por projeto e por região
• Núcleos do pod da TPU v4 por projeto por zona

cotas da TPU v3

Há cotas separadas de TPU v3 para TPUs de host único (núcleo) e TPUs mulithost (pod). É preciso usar as cotas de pod v3 para criar TPUs com mais de 8 núcleos.

Cotas preemptivas:

• núcleos preemptivos da TPU v3 por projeto por região
• Núcleos da TPU v3 preemptivos por projeto por zona
• Núcleos do pod da TPU v3 preemptiva por projeto por região
• Núcleos de pod preemptivos da TPU v3 por projeto e zona

Cotas sob demanda:

• núcleos da TPU v3 por projeto por região
• Núcleos de TPU v3 por projeto por zona
• Núcleos de TPU v3 por projeto e por região
• Núcleos do pod da TPU v3 por projeto por zona

cotas da TPU v2

Existem cotas separadas para TPU v2 para TPUs de host único (núcleo) e TPUs de vários hosts (pod).

Cotas preemptivas:

• núcleos preemptivos da TPU v2 por projeto por região
• Núcleos preemptivos da TPU v2 por projeto por zona
• Núcleos de pod preemptivos da TPU v2 por projeto e por região
• Núcleos de pod preemptivos da TPU v2 por projeto e zona

Cotas sob demanda:

• núcleos da TPU v2 por projeto por região
• Núcleos de TPU v2 por projeto por zona
• Núcleos do pod da TPU v2 por projeto por região
• Núcleos de pod da TPU v2 por projeto e zona

Para mais informações sobre chips de TPU e TensorCores, consulte Arquitetura do sistema de TPU.

Ver e solicitar cota adicional

É possível consultar a cota alocada para seu projeto do Google Cloud no página "Cotas" no Console do Google Cloud. Se você precisar de mais cotas do Cloud TPU, solicite na página de cotas. Para mais informações, consulte Solicitar uma cota maior máximo.