TPU Spot-VMs verwalten
Mit Spot-VMs können Sie nicht genutzte Kapazitäten zu stark vergünstigten Preisen nutzen. Spot-VMs können jederzeit präemptiv beendet (beendet) werden, jedoch im Gegensatz zu präemptiven VMs TPUs, gibt es keine Begrenzung für die Laufzeitdauer. Sie können TPU-Spot-VMs nicht neu starten und müssen sie nach der Vorabankündigung neu erstellen. Weitere Informationen zu Spot-VMs finden Sie in der Compute Engine-Dokumentation zu Spot-VMs.
TPU-Spot-VMs erstellen
Sie können TPU Spot-VMs mithilfe von Ressourcen in der Warteschlange erstellen. Dabei werden Ihre eine Anfrage an eine Warteschlange zu erstellen, sodass Sie Kapazität erhalten, verfügbar. Es ist eine Best Practice, TPUs als Ressourcen in der Warteschlange zu erstellen. Weitere Informationen Weitere Informationen finden Sie im Nutzerhandbuch für Ressourcen in der Warteschlange.
Wenn Sie TPU-Spot-VMs als Ressourcen in der Warteschlange erstellen möchten, fügen Sie dem Befehl zum Erstellen von Ressourcen in der Warteschlange das Flag --spot
hinzu:
gcloud
gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \ --node-id=NODE_ID \ --zone=europe-west4-a \ --accelerator-type=v3-8 \ --runtime-version=tpu-vm-tf-2.17.0-pod-pjrt \ --spot
curl
curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ tpu: { node_spec: { parent: "projects/PROJECT_ID/locations/europe-west4-a", node_id: "NODE_ID", node: { accelerator_type: "v3-8", runtime_version: "tpu-vm-tf-2.17.0-pod-pjrt" } } }, spot: {} }'
Sie können auch TPU Spot-VMs erstellen, ohne Ressourcen in der Warteschlange zu verwenden, indem Sie
und fügen dem Befehl „create“ das Flag --spot
hinzu:
gcloud
gcloud compute tpus tpu-vm create TPU_NAME \ --zone=europe-west4-a \ --accelerator-type=v3-8 \ --version=tpu-vm-tf-2.17.0-pod-pjrt \ --spot
curl
curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ accelerator_type: "v3-8", runtime_version: "tpu-vm-tf-2.17.0-pod-pjrt", network_config: {enable_external_ips: true}, scheduling_config: {spot: true} }'
Prüfen, ob eine TPU-VM eine Spot-VM ist
Verwenden Sie den Befehl „describe“, um zu prüfen, ob es sich bei Ihrer TPU-VM um eine Spot-VM handelt:
gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a
Wenn die TPU-VM eine Spot-VM ist, enthält die Ausgabe den Parameter
Das Feld spot
wurde auf true
festgelegt, etwa so:
...
schedulingConfig:
spot: true
...
Preise und Kontingente
Die Preise für TPU Spot-VMs sind deutlich niedriger als für On-Demand- und reservierten TPUs. Weitere Informationen zu Preisen finden Sie unter Cloud TPU Preise.
Sie benötigen ein Kontingent auf Abruf, um TPU-Spot-VMs verwenden zu können. Weitere Informationen Siehe Kontingente.