Cotas do Cloud TPU

Neste documento, listamos as cotas que se aplicam ao Cloud TPU. Para informações sobre preços do Cloud TPU, consulte Preços do Cloud TPU.

Uma cota restringe quanto de um determinado recurso compartilhado do Google Cloud o projeto do Google Cloud pode usar, incluindo hardware, software e componentes de rede. Dessa forma, as cotas fazem parte de um sistema que:

• monitora o uso ou o consumo de produtos e serviços do Google Cloud;
• restringe o consumo desses recursos por motivos, que garantem imparcialidade e reduzem picos de uso;
• mantém as configurações que aplicam automaticamente restrições prescritas;
• fornece um meio de solicitar ou faz alterações na cota.

Na maioria dos casos, quando uma cota é excedida, o sistema bloqueia imediatamente o acesso ao recurso relevante do Google. Além disso, a tarefa que você está tentando executar falha. Na maioria dos casos, as cotas se aplicam a todos os projetos do Google Cloud. Além disso, elas são compartilhadas entre todos os aplicativos e endereços IP que usam esse projeto.

Importante: neste documento, descrevemos a cota da API Cloud TPU. Se você estiver criando nós de TPU no GKE, use a cota da API Compute Engine, que é uma cota diferente. Para mais informações sobre cotas que você usa para TPUs no GKE, consulte Garantir cota suficiente

Cota de TPU

Há cotas diferentes para cada versão da TPU. Por exemplo, existem cotas diferentes para a TPU v2, v3 e assim por diante. Para cada versão da TPU, há diferentes tipos de cota: reservada, sob demanda e preemptiva (local). A tabela a seguir descreve os diferentes tipos de cota.

Tipo da cota	Descrição	Valor padrão	Como solicitar	Sinalizações para criação de TPU
Reservado	O número de recursos do Cloud TPU a que você tem acesso garantido. Você precisa ter um contrato de reserva para acessar recursos reservados. Os recursos reservados são protegidos contra esgotamento, mas estão sujeitos a interrupções.	0	Para solicitar uma cota reservada, entre em contato com o representante da sua conta do Google Cloud.	Use a sinalização --reserved.
Sob demanda	O número de recursos sob demanda aos quais você tem acesso. Os recursos sob demanda não serão interrompidos, mas a cota sob demanda não garante que haverá recursos suficientes do Cloud TPU disponíveis para atender à sua solicitação.	v3-8 e v2-8: 16 TensorCores Todos os outros: 0	Consulte Solicitar cota adicional.	Nenhuma flag é necessária. Selecionada por padrão.
Preemptiva	O número de recursos preemptivos do Cloud TPU a que você tem acesso. Esta cota se aplica às TPUs preemptivas e VMs spot de TPU. Os recursos preemptivos podem ser interrompidos para liberar espaço para jobs de prioridade mais alta. A cota preemptiva não garante que haverá recursos suficientes do Cloud TPU disponíveis para atender à sua solicitação. Para mais informações, consulte TPUs preemptivas e Gerenciar VMs spot de TPU.	v3-8 e v2-8: 48 TensorCores Todos os outros: 0	Consulte Solicitar cota adicional.	VMs spot: use a sinalização --spot. TPUs preemptivas: use a sinalização --preemptible ou a sinalização --best-effort para uma solicitação de recurso em fila.

As cotas de TPU são especificadas em termos de núcleos de TPU por projeto por zona ou núcleos de TPU por projeto e região.

Cotas de TPU v5p

É possível usar sua cota da TPU v5p em qualquer combinação de núcleos. Por exemplo, se você tiver uma cota de 32 núcleos, poderá usá-la para criar quatro frações de TPU, cada uma com 8 núcleos.

Cotas reservadas:

• Núcleos reservados de TPU v5p por projeto por região
• Núcleos reservados de TPU v5p por projeto por zona

Cotas preemptivas:

• Núcleos de TPU v5p preemptiva por projeto por região
• Núcleos v5p da TPU preemptiva por projeto por zona

Cotas sob demanda:

• Núcleos da TPU v5p por projeto por região
• Núcleos da TPU v5p por projeto por zona

Cotas da TPU v5e

A TPU v5e pode ser usada para treinamento e disponibilização. Há cotas separadas para treinamento e disponibilização, bem como de host único (núcleos Lite) e de vários hosts (núcleos de pod Lite).

Cotas de veiculação

Cotas de veiculação reservadas:

• Núcleos reservados do pod da TPU v5 Lite para veiculação por projeto e região
• Núcleos reservados do pod da TPU v5 Lite para veiculação por projeto por zona

Cotas de disponibilização preemptivas:

• Núcleos do pod Lite da TPU v5 preemptiva para exibição por projeto e região
• Núcleos do pod Lite da TPU v5 preemptiva para exibição por projeto por zona

Cotas de veiculação sob demanda:

• Núcleos do pod da TPU v5 Lite para veiculação por projeto e região
• Núcleos do pod da TPU v5 Lite para veiculação por projeto por zona

Cotas de treinamento

Cotas de treinamento reservadas:

• Núcleos reservados da TPU v5 Lite por projeto por região
• Núcleos reservados da TPU v5 Lite por projeto por zona
• Núcleos reservados do pod da TPU v5 Lite por projeto por região
• Núcleos reservados do pod da TPU v5 Lite por projeto por zona

Cotas de treinamento preemptivas:

• Núcleos Lite da TPU v5 preemptiva por projeto por região
• Núcleos Literais da TPU v5 preemptiva por projeto por zona
• Núcleos do pod Lite da TPU v5 preemptiva por projeto por região
• Núcleos do pod Lite da TPU v5 preemptiva por projeto por zona

Cotas de treinamento sob demanda:

• Núcleos da TPU v5 Lite por projeto por região
• Núcleos Lite da TPU v5 por projeto por zona
• Núcleos do pod da TPU v5 Lite por projeto por região
• Núcleos do pod da TPU v5 Lite por projeto por zona

Cotas da TPU v4

É possível usar sua cota da TPU v4 em qualquer combinação de núcleos. Por exemplo, se você tiver uma cota de 32 núcleos, poderá usá-la para criar quatro frações de TPU, cada uma com 8 núcleos.

Cotas reservadas:

• Núcleos reservados do pod da TPU v4 por projeto por região
• Núcleos reservados do pod da TPU v4 por projeto por zona

Cotas preemptivas:

• Núcleos do pod da TPU v4 preemptiva por projeto por região
• Núcleos do pod da TPU v4 preemptiva por projeto por zona

Cotas sob demanda:

• Núcleos do pod da TPU v4 por projeto por região
• Núcleos do pod da TPU v4 por projeto por zona

Cotas da TPU v3

Há cotas separadas de TPU v3 para TPUs de host único (núcleo) e TPUs (pods) de vários hosts. É preciso usar cotas de pod v3 para criar TPUs com mais de 8 núcleos.

Cotas reservadas:

• Núcleos reservados da TPU v3 por projeto por região
• Núcleos reservados da TPU v3 por projeto por zona
• Núcleos reservados do pod da TPU v3 por projeto por região
• Núcleos reservados do pod da TPU v3 por projeto por zona

Cotas preemptivas:

• núcleos preemptivos da TPU v3 por projeto por região
• Núcleos da TPU v3 preemptiva por projeto por zona
• Núcleos do pod da TPU v3 preemptiva por projeto por região
• Núcleos do pod da TPU v3 preemptiva por projeto por zona

Cotas sob demanda:

• núcleos da TPU v3 por projeto por região
• Núcleos da TPU v3 por projeto por zona
• Núcleos do pod da TPU v3 por projeto por região
• Núcleos do pod da TPU v3 por projeto por zona

Cotas da TPU v2

Há cotas separadas de TPU v2 para TPUs de host único (núcleo) e TPUs de vários hosts (pod).

Cotas reservadas:

• Núcleos reservados da TPU v2 por projeto por região
• Núcleos reservados da TPU v2 por projeto por zona
• Núcleos reservados do pod da TPU v2 por projeto por região
• Núcleos reservados do pod da TPU v2 por projeto por zona

Cotas preemptivas:

• núcleos preemptivos da TPU v2 por projeto por região
• Núcleos da TPU v2 preemptiva por projeto por zona
• Núcleos do pod da TPU v2 preemptiva por projeto por região
• Núcleos do pod da TPU v2 preemptiva por projeto por zona

Cotas sob demanda:

• núcleos da TPU v2 por projeto por região
• Núcleos da TPU v2 por projeto por zona
• Núcleos do pod da TPU v2 por projeto por região
• Núcleos do pod da TPU v2 por projeto por zona

Para mais informações sobre chips de TPU e TensorCores, consulte Arquitetura do sistema de TPU.

Ver e solicitar cota adicional

É possível ver a cota alocada para seu projeto do Google Cloud na página "Cotas" do console do Google Cloud. Se você precisar de mais cota do Cloud TPU, será possível solicitá-la na página "Cotas". Para mais informações, consulte Solicitar um limite de cota maior.