TPU Spot-VMs verwalten
Mit Spot-VMs wird ungenutzte Kapazität zu stark reduzierten Preisen verfügbar. Spot-VMs können jederzeit vorzeitig beendet (heruntergefahren) werden. Im Gegensatz zu TPUs auf Abruf gibt es jedoch kein Limit für die Laufzeitdauer. Sie können TPU Spot-VMs nicht neu starten und müssen sie nach dem vorzeitigen Beenden neu erstellen. Allgemeine Informationen zu Spot-VMs finden Sie in der Compute Engine-Dokumentation zu Spot-VMs.
TPU-Spot-VMs erstellen
Sie können TPU Spot-VMs mit Ressourcen in der Warteschlange erstellen. Dadurch wird Ihre Anfrage zum Erstellen einer Warteschlange hinzugefügt und Sie erhalten Kapazität, sobald diese verfügbar ist. Es hat sich bewährt, TPUs als Ressourcen in der Warteschlange zu erstellen. Weitere Informationen finden Sie im Nutzerhandbuch für Ressourcen in der Warteschlange.
Erstellen Sie TPU Spot-VMs als Ressourcen in der Warteschlange. Fügen Sie dazu dem Befehl zum Erstellen von Ressourcen das Flag --spot
hinzu:
gcloud
gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \ --node-id=NODE_ID \ --zone=europe-west4-a \ --accelerator-type=v3-8 \ --runtime-version=tpu-vm-tf-2.16.1-pod-pjrt \ --spot
curl
curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ tpu: { node_spec: { parent: "projects/PROJECT_ID/locations/europe-west4-a", node_id: "NODE_ID", node: { accelerator_type: "v3-8", runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt" } } }, spot: {} }'
Sie können auch TPU Spot-VMs erstellen, ohne Ressourcen in der Warteschlange zu verwenden. Dazu fügen Sie dem Befehl „create“ das Flag --spot
hinzu:
gcloud
gcloud compute tpus tpu-vm create TPU_NAME \ --zone=europe-west4-a \ --accelerator-type=v3-8 \ --version=tpu-vm-tf-2.16.1-pod-pjrt \ --spot
curl
curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ accelerator_type: "v3-8", runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt", network_config: {enable_external_ips: true}, scheduling_config: {spot: true} }'
Prüfen, ob eine TPU-VM eine Spot-VM ist
Verwenden Sie den Befehl „describe“, um zu prüfen, ob Ihre TPU-VM eine Spot-VM ist:
gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a
Wenn die TPU-VM eine Spot-VM ist, enthält die Ausgabe das Feld spot
, das auf true
gesetzt ist, in etwa so:
...
schedulingConfig:
spot: true
...
Preise und Kontingente
Die Preise für TPU Spot-VMs sind deutlich niedriger als für On-Demand- und reservierte TPUs. Weitere Informationen zu Preisen finden Sie unter Cloud TPU-Preise.
Sie benötigen ein Kontingent auf Abruf, um TPU Spot-VMs verwenden zu können. Weitere Informationen finden Sie unter Kontingente.