Cotas do Cloud TPU

Este documento lista as cotas que se aplicam ao Cloud TPU. Para informações sobre os preços da Cloud TPU, consulte Preços da Cloud TPU.

O Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um recurso do Google Cloud o projeto do Google Cloud pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários do Google Cloud, impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos do Google Cloud.

O sistema de cotas do Cloud faz o seguinte:

• Monitora o consumo de produtos e serviços do Google Cloud.
• Restringe o consumo desses recursos.
• Fornece um meio de solicitar mudanças no valor da cota

Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.

As cotas geralmente se aplicam ao projeto do nível Google Cloud. O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud, as cotas são compartilhadas entre todos os aplicativos e endereços IP.

Importante: este documento descreve a cota da API Cloud TPU. Se você estiver criando fatias de TPU no GKE, use a cota da API Compute Engine, que é diferente. Para mais informações sobre as cotas que você usa para TPUs no GKE, consulte Garantir cota suficiente

.

cota de TPU

Há cotas diferentes para cada versão de TPU. Por exemplo, há diferentes cotas para TPU v2, v3 e assim por diante. Para cada versão de TPU, há diferentes tipos de cota: sob demanda e preemptiva (VMs Spot). A tabela a seguir descreve os diferentes tipos de cota.

Tipo da cota	Descrição	Valor padrão	Como solicitar	Flags para a criação de TPUs
Sob demanda	O número de recursos sob demanda a que você tem acesso. Os recursos sob demanda não serão substituídos, mas a cota sob demanda não garante que haja recursos suficientes do Cloud TPU disponíveis para atender à sua solicitação.	v3-8 e v2-8: 16 TensorCores Todos os outros: 0	Consulte Solicitar mais cota.	Nenhuma flag necessária, selecionada por padrão.
Preemptiva	O número de recursos preemptivos do Cloud TPU a que você tem acesso. Essa cota se aplica a TPUs preemptivas e VMs spot de TPU. Os recursos preemptíveis podem ser suspensos para abrir espaço para jobs de prioridade mais alta. A cota preemptiva não garante que haja recursos suficientes do Cloud TPU disponíveis para atender à sua solicitação. Para mais informações, consulte TPUs preemptivas e Gerenciar VMs spot de TPU.	v3-8 e v2-8: 48 TensorCores Todos os outros: 0	Consulte Solicitar mais cota.	VMs do Spot: use a flag --spot. TPUs preemptivas: use a flag --preemptible. A flag --preemptible não é compatível com recursos em fila. Use a flag --spot.

As cotas de TPU são especificadas em termos de núcleos de TPU por projeto por zona ou por projeto por região.

cotas da TPU v5p

É possível usar a cota de TPU v5p em qualquer combinação de cores. Por exemplo, se você tiver cota para 32 núcleos, poderá usar essa cota para criar quatro fatias de TPU, cada uma com 8 núcleos.

Cotas preemptivas:

• Núcleos preemptivos da TPU v5p por projeto e por região
• Núcleos preemptivos da TPU v5p por projeto e zona

Cotas sob demanda:

• Núcleos da TPU v5p por projeto e por região
• Núcleos da TPU v5p por projeto e zona

cotas da TPU v5e

A TPU v5e pode ser usada para treinamento e disponibilização. Há cotas separadas para treinamento e veiculação, além de host único (núcleos Lite) e vários hosts (núcleos Lite do pod).

Como veicular cotas

Cotas de veiculação preemptivas:

• Núcleos de pod TPU v5 lite preemptivos para exibição por projeto e região
• Núcleos de pod TPU v5 lite preemptivos para exibição por projeto e por zona

Cotas de veiculação sob demanda:

• Núcleos de pod da TPU v5 lite para exibição por projeto e região
• Núcleos de pod da TPU v5 lite para exibição por projeto e zona

Cotas de treinamento

Cotas de treinamento preemptivas:

• Núcleos preemptivos da TPU v5 Lite por projeto e região
• Núcleos preemptivos da TPU v5 Lite por projeto e por zona
• Núcleos de pod TPU v5 lite preemptivos por projeto e região
• Núcleos de pod TPU v5 lite preemptivos por projeto e zona

Cotas de treinamento sob demanda:

• Núcleos de TPU v5 Lite por projeto e região
• Núcleos TPU v5 Lite por projeto e por zona
• Núcleos de pod TPU v5 Lite por projeto e região
• Núcleos de pod TPU v5 Lite por projeto e por zona

cotas da TPU v4

É possível usar a cota de TPU v4 em qualquer combinação de cores. Por exemplo, se você tiver cota para 32 núcleos, poderá usar essa cota para criar quatro fatias de TPU, cada uma com 8 núcleos.

Cotas preemptivas:

• Núcleos de pod preemptivos da TPU v4 por projeto e por região
• Núcleos de pod preemptivos da TPU v4 por projeto e zona

Cotas sob demanda:

• Núcleos de TPU v4 por projeto e por região
• Núcleos de pod da TPU v4 por projeto e zona

cotas da TPU v3

Há cotas separadas da TPU v3 para TPUs de host único (core) e TPUs de vários hosts (pod). É necessário usar as cotas de pod v3 para criar TPUs com mais de 8 núcleos.

Cotas preemptivas:

• núcleos preemptivos da TPU v3 por projeto por região
• Núcleos preemptivos da TPU v3 por projeto e zona
• Núcleos de pod preemptivos da TPU v3 por projeto e por região
• Núcleos de pod preemptivos da TPU v3 por projeto e zona

Cotas sob demanda:

• núcleos da TPU v3 por projeto por região
• Núcleos de TPU v3 por projeto e zona
• Núcleos de TPU v3 por projeto e por região
• Núcleos de pod da TPU v3 por projeto e zona

cotas da TPU v2

Há cotas separadas para TPUs v2 de host único (core) e TPUs de vários hosts (pod).

Cotas preemptivas:

• núcleos preemptivos da TPU v2 por projeto por região
• Núcleos preemptivos de TPU v2 por projeto e zona
• Núcleos de pod preemptivos da TPU v2 por projeto e por região
• Núcleos de pod preemptivos da TPU v2 por projeto e zona

Cotas sob demanda:

• núcleos da TPU v2 por projeto por região
• Núcleos de TPU v2 por projeto e por zona
• Núcleos de TPU v2 por projeto e por região
• Núcleos de pod da TPU v2 por projeto e zona

Para mais informações sobre chips de TPU e TensorCores, consulte Arquitetura do sistema de TPU.

Conferir e solicitar cota extra

Confira a cota alocada para seu projeto do Google Cloud na página Cotas no console do Google Cloud. Se você precisar de mais cotas do Cloud TPU, solicite na página de cotas. Para mais informações, consulte Solicitar um limite de cota maior.

Quando um serviço do Google Cloud aumenta os valores de cota padrão para recursos e APIs, essas mudanças ocorrem gradualmente. Isso pode resultar em lançamentos contínuos em diferentes regiões ou recursos. Durante o lançamento, o valor de cota que aparece no console do Google Cloud ou na API Cloud Quotas não vai refletir o novo valor de cota aumentado até que o lançamento seja concluído. Para mais informações, consulte Conferir os lançamentos em andamento.