Cloud TPU-Kontingente

In diesem Dokument sind die Kontingente für Cloud TPU aufgeführt. Weitere Informationen Informationen zu Cloud TPU-Preisen finden Sie unter Cloud TPU-Preise.

Ein Kontingent schränkt ein, wie viel von einer bestimmten gemeinsam genutzten Google Cloud-Ressource Ihr Google Cloud-Projekt nutzen kann, einschließlich Hardware, Software und Netzwerkkomponenten. Daher sind Kontingente Teil eines Systems, das Folgendes tut:

• Ihre Nutzung oder Ihren Verbrauch von Google Cloud-Produkten und -Diensten überwachen.
• Ihren Verbrauch dieser Ressourcen einschränken, um u. a. für Fairness zu sorgen und Nutzungsspitzen zu reduzieren.
• Konfigurationen verwalten, die automatisch vorgeschriebene Einschränkungen erzwingen.
• Möglichkeit, das Kontingent anzufordern oder zu ändern.

Wenn ein Kontingentlimit überschritten wird, blockiert das System in den meisten Fällen den Zugriff auf die entsprechende Google-Ressource und die Aufgabe, die Sie ausführen möchten, schlägt fehl. In den meisten Fällen gelten Kontingente für jedes Google Cloud-Projekt und werden von allen Anwendungen und IP-Adressen geteilt, die dieses Google Cloud-Projekt verwenden.

Wichtig: In diesem Dokument wird das Cloud TPU API-Kontingent beschrieben. Wenn Sie TPU-Slices in GKE erstellen verwenden Sie ein Compute Engine API-Kontingent, das einem anderen Kontingent entspricht. Weitere Informationen Informationen zu Kontingenten für TPUs in GKE finden Sie unter Ausreichende Kontingente gewährleisten.

TPU-Kontingent

Für jede TPU-Version gibt es unterschiedliche Kontingente. Zum Beispiel gibt es verschiedene Kontingente für TPU v2, v3 usw. Für jede TPU-Version gibt es verschiedene Kontingentarten: On-Demand und auf Abruf (Spot). In der folgenden Tabelle werden die verschiedenen Kontingentarten beschrieben.

Kontingenttyp	Beschreibung	Standardwert	Anfrage senden	Flags für die TPU-Erstellung
On demand	Die Anzahl der On-Demand-Ressourcen, auf die Sie Zugriff haben. On demand Ressourcen werden nicht vorzeitig beendet, aber das On-Demand-Kontingent garantiert dies nicht. genügend Cloud TPU-Ressourcen zur Verfügung, um Ihre Anfrage zu erfüllen.	v3-8 und v2-8: 16 TensorCores Alle anderen: 0	Weitere Informationen finden Sie unter Weitere Kontingente anfordern.	Keine Flags erforderlich, standardmäßig ausgewählt.
Auf Abruf	Die Anzahl der Cloud TPU-Ressourcen auf Abruf, auf die Sie Zugriff haben. Dieses Kontingent gilt sowohl für TPUs auf Abruf als auch für TPU-Spot-VMs. Ressourcen auf Abruf können vorzeitig beendet werden, um Platz für höhere Priorität zu schaffen Jobs. Das präemptive Kontingent garantiert nicht, dass genügend verfügbar ist Cloud TPU-Ressourcen, um Ihre Anfrage zu erfüllen. Weitere Informationen finden Sie unter Präemptive TPUs und TPU Spot-VMs verwalten.	v3-8 und v2-8: 48 TensorCores Alle anderen: 0	Weitere Informationen finden Sie unter Weitere Kontingente anfordern.	Spot-VMs: Verwenden Sie die Methode --spot. Präemptive TPUs: Verwenden Sie die Methode --preemptible oder den --best-effort-Flag für ein Anfrage einer Ressource in der Warteschlange

TPU-Kontingente werden in Form von TPU-Kernen pro Projekt und Zone oder als TPU-Kerne angegeben pro Projekt und Region.

TPU v5p-Kontingente

Sie können Ihr TPU-v5p-Kontingent in einer beliebigen Kombination von Kernen verwenden. Wenn Sie beispielsweise ein Kontingent von 32 Kernen haben, können Sie mit diesem Kontingent jeweils vier TPU-Slices erstellen. mit 8 Kernen.

Kontingente auf Abruf:

• TPU v5p-Kerne auf Abruf pro Projekt und Region
• TPU v5p-Kerne auf Abruf pro Projekt und Zone

On-Demand-Kontingente:

• TPU v5p-Kerne pro Projekt und Region
• TPU v5p-Kerne pro Projekt und Zone

TPU v5e-Kontingente

TPU v5e kann für Training und Bereitstellung verwendet werden. Es gibt unterschiedliche Kontingente für Training und Bereitstellung sowie Single-Host (Lite-Kerne) und Multi-Hosts (Lite-Pod-Kerne).

Bereitstellungskontingente

Kontingente für die Bereitstellung auf Abruf:

• TPU v5 Lite-Pod-Kerne auf Abruf für die Bereitstellung pro Projekt und Region
• TPU v5 Lite-Pod-Kerne auf Abruf für die Bereitstellung pro Projekt und Zone

Kontingente für die On-Demand-Bereitstellung:

• TPU v5 Lite-Pod-Kerne für die Bereitstellung pro Projekt und Region
• TPU v5 Lite-Pod-Kerne für die Bereitstellung pro Projekt und Zone

Trainingskontingente

Kontingente für Training auf Abruf:

• TPU v5 Lite-Kerne auf Abruf pro Projekt und Region
• TPU v5 Lite-Kerne auf Abruf pro Projekt und Zone
• TPU v5 Lite-Pod-Kerne auf Abruf pro Projekt und Region
• TPU v5 Lite-Pod-Kerne auf Abruf pro Projekt und Zone

On-Demand-Trainingskontingente:

• TPU v5 Lite-Kerne pro Projekt und Region
• TPU v5 Lite-Kerne pro Projekt und Zone
• TPU v5 Lite-Pod-Kerne pro Projekt und Region
• TPU v5 Lite-Pod-Kerne pro Projekt und Zone

TPU v4-Kontingente

Sie können Ihr TPU v4-Kontingent in einer beliebigen Kombination von Kernen verwenden. Wenn Sie beispielsweise ein Kontingent von 32 Kernen haben, können Sie mit diesem Kontingent jeweils vier TPU-Slices erstellen. mit 8 Kernen.

Kontingente auf Abruf:

• TPU v4-Pod-Kerne auf Abruf pro Projekt und Region
• TPU v4-Pod-Kerne auf Abruf pro Projekt und Zone

On-Demand-Kontingente:

• TPU v4-Pod-Kerne pro Projekt und Region
• TPU v4-Pod-Kerne pro Projekt und Zone

TPU v3-Kontingente

Es gibt unterschiedliche TPU v3-Kontingente für Einzelhost-TPUs (Kern) und Multihost-TPUs (Pod) aus. Sie müssen v3-Pod-Kontingente verwenden, um TPUs mit mehr als 8 Kernen zu erstellen.

Kontingente auf Abruf:

• TPU v3-Kerne auf Abruf pro Projekt und Region
• TPU v3-Kerne auf Abruf pro Projekt und Zone
• TPU v3-Pod-Kerne auf Abruf pro Projekt und Region
• TPU v3-Pod-Kerne auf Abruf pro Projekt und Zone

On-Demand-Kontingente:

• TPU v3-Kerne pro Projekt und Region
• TPU v3-Kerne pro Projekt und Zone
• TPU v3-Pod-Kerne pro Projekt und Region
• TPU v3-Pod-Kerne pro Projekt und Zone

TPU v2-Kontingente

Es gibt separate TPU v2-Kontingente für TPUs mit einzelnem Host (Kern) und TPUs mit mehreren Hosts. (Pod) aus.

Kontingente auf Abruf:

• TPU v2-Kerne auf Abruf pro Projekt und Region
• TPU v2-Kerne auf Abruf pro Projekt und Zone
• TPU v2-Pod-Kerne auf Abruf pro Projekt und Region
• TPU v2-Pod-Kerne auf Abruf pro Projekt und Zone

On-Demand-Kontingente:

• TPU v2-Kerne pro Projekt und Region
• TPU v2-Kerne pro Projekt und Zone
• TPU v2-Pod-Kerne pro Projekt und Region
• TPU v2-Pod-Kerne pro Projekt und Zone

Weitere Informationen zu TPU-Chips und TensorCores finden Sie unter TPU-System Architektur.

Kontingent aufrufen und weitere Kontingente anfordern

Sie können das Ihrem Google Cloud-Projekt zugewiesene Kontingent auf der Seite „Kontingente“ im Google Cloud Console Wenn Sie Wenn Sie ein zusätzliches Cloud TPU-Kontingent benötigen, können Sie es unter „Kontingente“ anfordern Seite. Weitere Informationen finden Sie unter Höheres Kontingent anfordern Limit fest.