Cloud TPU-Kontingente

In diesem Dokument sind die Kontingente für Cloud TPU aufgeführt. Informationen zu den Preisen für Cloud TPU finden Sie unter Cloud TPU-Preise.

Google Cloud nutzt Kontingente, um Fairness zu gewährleisten und Spitzen bei Ressourcennutzung und -verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einerGoogle Cloud Ressource Ihr Google Cloud Projekt nutzen darf. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt gleichzeitig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Die Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community derGoogle Cloud -Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Google Cloud Ressourcen.

Das Cloud-Kontingentsystem ermöglicht Folgendes:

• Verbrauch von Google Cloud Produkten und Diensten überwachen
• Ihren Verbrauch dieser Ressourcen einschränken
• Eine Möglichkeit bieten, Änderungen am Kontingentwert anzufordern

Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie ausführen möchten, schlägt fehl.

Kontingente gelten in der Regel auf Google Cloud-Projektebene. Ihre Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf Ihr verfügbares Kontingent in einem anderen Projekt. Innerhalb eines Google Cloud-Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.

Wichtig: In diesem Dokument wird das Kontingent für die Cloud TPU API beschrieben. Wenn Sie TPU-Scheiben in GKE erstellen, verwenden Sie das Kontingent für die Compute Engine API. Weitere Informationen zu den Kontingenten, die Sie für TPUs in GKE verwenden, finden Sie unter Ausreichendes Kontingent bereitstellen.

TPU-Kontingent

Für jede TPU-Version gelten unterschiedliche Kontingente. So gibt es beispielsweise unterschiedliche Kontingente für TPU v2, v3 usw. Für jede TPU-Version gibt es verschiedene Kontingenttypen: On-Demand- und auf Abruf (Speicherplatz-VMs). In der folgenden Tabelle werden die verschiedenen Arten von Kontingenten beschrieben.

Kontingenttyp	Beschreibung	Standardwert	So stellen Sie einen Antrag	Flags für die TPU-Erstellung
On demand	Die Anzahl der On-Demand-Ressourcen, auf die Sie Zugriff haben. On-Demand-Ressourcen werden nicht vorrangig verwendet. Das On-Demand-Kontingent ist jedoch keine Garantie dafür, dass genügend Cloud TPU-Ressourcen verfügbar sind, um Ihre Anfrage zu erfüllen.	v3-8 und v2-8: 16 TensorCores Alle anderen: 0	Weitere Informationen finden Sie unter Weitere Kontingente anfordern.	Keine Markierungen erforderlich, standardmäßig ausgewählt.
Auf Abruf	Die Anzahl der auf Abruf verfügbaren Cloud TPU-Ressourcen, auf die Sie Zugriff haben. Dieses Kontingent gilt sowohl für TPUs auf Abruf als auch für TPU-Spot-VMs. Vorwegnehmbare Ressourcen können vorweggenommen werden, um Platz für Jobs mit höherer Priorität zu schaffen. Ein Kontingent auf Abruf ist keine Garantie dafür, dass genügend Cloud TPU-Ressourcen verfügbar sind, um Ihre Anfrage zu erfüllen. Weitere Informationen finden Sie unter Präemptive TPUs und TPU-Spot-VMs verwalten.	v3-8 und v2-8: 48 TensorCores Alle anderen: 0	Weitere Informationen finden Sie unter Weitere Kontingente anfordern.	Spot-VMs: Verwenden Sie das Flag --spot. TPUs auf Abruf: Verwenden Sie das Flag --preemptible. Das Flag --preemptible wird für in der Warteschlange befindliche Ressourcen nicht unterstützt. Verwenden Sie stattdessen das Flag --spot.

TPU-Kontingente werden in TPU-Kernen pro Projekt und Zone oder TPU-Kernen pro Projekt und Region angegeben.

Kontingente für TPU v5p

Sie können Ihr TPU v5p-Kontingent in einer beliebigen Kombination von Kernen verwenden. Wenn Sie beispielsweise ein Kontingent für 32 Kerne haben, können Sie damit vier TPU-Slices mit jeweils 8 Kernen erstellen.

Kontingente auf Abruf:

• Auf Abruf verfügbare TPU v5p-Kerne pro Projekt und Region
• Auf Abruf verfügbare TPU v5p-Kerne pro Projekt und Zone

On-Demand-Kontingente:

• TPU v5p-Kerne pro Projekt und Region
• TPU v5p-Kerne pro Projekt und Zone

Kontingente für TPU v5e

TPU v5e kann für das Training und das Bereitstellen verwendet werden. Es gibt separate Kontingente für Training und Bereitstellung sowie für einzelne Hosts (Lite-Cores) und mehrere Hosts (Lite-Pod-Cores).

Auslieferungskontingente

Kontingente für die Bereitstellung auf Abruf:

• Anzahl der auf Abruf verfügbaren TPU v5 Lite-Pod-Kerne für die Bereitstellung pro Projekt und Region
• Pod-Kerne der auf Abruf verfügbaren TPU v5 Lite für die Bereitstellung pro Projekt und Zone

Kontingente für die Auslieferung on demand:

• TPU v5 Lite-Pod-Kerne für die Bereitstellung pro Projekt und Region
• TPU v5 Lite-Pod-Kerne für die Bereitstellung pro Projekt und Zone

Trainingskontingente

Präemptive Trainingskontingente:

• TPU v5 Lite-Kerne auf Abruf pro Projekt und Region
• Auf Abruf verfügbare TPU v5 Lite-Kerne pro Projekt und Zone
• Pod-Kerne der auf Abruf verfügbaren TPU v5 Lite pro Projekt und Region
• TPU v5 Lite-Pod-Kerne auf Abruf pro Projekt und Zone

Kontingente für On-Demand-Schulungen:

• TPU v5 Lite-Kerne pro Projekt und Region
• TPU v5 Lite-Kerne pro Projekt und Zone
• TPU v5 Lite-Pod-Kerne pro Projekt und Region
• TPU v5 Lite-Pod-Kerne pro Projekt und Zone

TPU v4-Kontingente

Sie können Ihr TPU v4-Kontingent in einer beliebigen Kombination von Kernen verwenden. Wenn Sie beispielsweise ein Kontingent für 32 Kerne haben, können Sie damit vier TPU-Slices mit jeweils 8 Kernen erstellen.

Kontingente auf Abruf:

• TPU v4-Pod-Kerne auf Abruf pro Projekt und Region
• TPU v4-Pod-Kerne auf Abruf pro Projekt und Zone

On-Demand-Kontingente:

• TPU v4-Pod-Kerne pro Projekt und Region
• TPU v4-Pod-Kerne pro Projekt und Zone

TPU v3-Kontingente

Es gibt separate TPU v3-Kontingente für TPUs mit einem einzelnen Host (Kern) und TPUs mit mehreren Hosts (Pod). Sie müssen Pod-Kontingente der Version 3 verwenden, um TPUs mit mehr als 8 Kernen zu erstellen.

Kontingente auf Abruf:

• TPU v3-Kerne auf Abruf pro Projekt und Region
• TPU v3-Kerne auf Abruf pro Projekt und Zone
• TPU v3-Pod-Kerne auf Abruf pro Projekt und Region
• TPU v3-Pod-Kerne auf Abruf pro Projekt und Zone

On-Demand-Kontingente:

• TPU v3-Kerne pro Projekt und Region
• TPU v3-Kerne pro Projekt und Zone
• TPU v3-Pod-Kerne pro Projekt und Region
• TPU v3-Pod-Kerne pro Projekt und Zone

TPU v2-Kontingente

Es gibt separate TPU v2-Kontingente für TPUs mit einem einzelnen Host (Kern) und TPUs mit mehreren Hosts (Pod).

Kontingente auf Abruf:

• TPU v2-Kerne auf Abruf pro Projekt und Region
• TPU v2 auf Abruf pro Projekt und Zone
• TPU v2-Pod-Kerne auf Abruf pro Projekt und Region
• TPU v2 auf Abruf – Pod-Kerne pro Projekt und Zone

On-Demand-Kontingente:

• TPU v2-Kerne pro Projekt und Region
• TPU v2-Kerne pro Projekt und Zone
• TPU v2-Pod-Kerne pro Projekt und Region
• TPU v2-Pod-Kerne pro Projekt und Zone

Weitere Informationen zu TPU-Chips und TensorCores finden Sie unter TPU-Systemarchitektur.

Zusätzliches Kontingent ansehen und anfordern

Das Ihrem Projekt zugewiesene Kontingent Google Cloud finden Sie in der Google Cloud Console auf der Seite Kontingente. Wenn Sie ein zusätzliches Cloud TPU-Kontingent benötigen, können Sie es auf der Seite „Kontingente“ anfordern. Weitere Informationen finden Sie unter Höheres Kontingentlimit anfordern.

Wenn ein Google Cloud-Dienst die Standardkontingentwerte für Ressourcen und APIs erhöht, werden diese Änderungen schrittweise umgesetzt. Dies kann zu laufenden Roll-outs in verschiedenen Regionen oder Ressourcen führen. Während des Roll-outs spiegelt der Kontingentwert, der in der Google Cloud Console oder der Cloud Quotas API angezeigt wird, nicht den neuen, erhöhten Kontingentwert wider, bis der Roll-out abgeschlossen ist. Weitere Informationen finden Sie unter Laufende Rollouts aufrufen.