TPU-Spot-VMs verwalten

Spot-VMs machen ungenutzte Kapazität zu stark rabattierten Preisen verfügbar. Spot-VMs können jederzeit vorzeitig beendet (abgeschaltet) werden. Im Gegensatz zu TPUs auf Abruf gibt es jedoch kein Limit für die Laufzeitdauer. Sie können TPU-Spot-VMs nicht neu starten und müssen sie nach dem vorzeitigen Beenden neu erstellen. Weitere Informationen zu Spot-VMs im Allgemeinen finden Sie in der Compute Engine-Dokumentation zu Spot-VMs.

TPU-Spot-VMs erstellen

Sie können TPU-Spot-VMs mit Ressourcen in der Warteschlange erstellen. Dadurch wird Ihre Erstellungsanfrage einer Warteschlange hinzugefügt und Sie können Kapazität erhalten, sobald sie verfügbar ist. Es empfiehlt sich, TPUs als Ressourcen in der Warteschlange zu erstellen. Weitere Informationen finden Sie im Nutzerhandbuch für Ressourcen in der Warteschlange.

Erstellen Sie TPU-Spot-VMs als Ressourcen in der Warteschlange. Fügen Sie dazu dem Befehl zum Erstellen von Ressourcen in der Warteschlange das Flag --spot hinzu:

gcloud

gcloud alpha compute tpus queued-resources create QUEUED_RESOURCE_ID \
  --node-id=NODE_ID \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --runtime-version=tpu-vm-tf-2.16.1-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    tpu: {
      node_spec: {
        parent: "projects/PROJECT_ID/locations/europe-west4-a",
        node_id: "NODE_ID",
        node: {
          accelerator_type: "v3-8",
          runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt"
        }
      }
    },
    spot: {}
  }'

Sie können TPU-Spot-VMs auch erstellen, ohne Ressourcen in der Warteschlange zu verwenden. Dazu fügen Sie dem Befehl „create“ das Flag --spot hinzu:

gcloud

gcloud compute tpus tpu-vm create TPU_NAME \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.16.1-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    accelerator_type: "v3-8",
    runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt",
    network_config: {enable_external_ips: true},
    scheduling_config: {spot: true}
  }'

Prüfen, ob eine TPU-VM eine Spot-VM ist

Mit dem Befehl „describe“ können Sie prüfen, ob Ihre TPU-VM eine Spot-VM ist:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Wenn die TPU-VM eine Spot-VM ist, enthält die Ausgabe das Feld spot, das auf true gesetzt ist, etwa so:

...
schedulingConfig:
  spot: true
...

Preise und Kontingente

Die Preise für TPU-Spot-VMs sind deutlich niedriger als für On-Demand- und reservierte TPUs. Weitere Informationen zu Preisen finden Sie unter Cloud TPU-Preise.

Sie benötigen ein Kontingent auf Abruf, um TPU-Spot-VMs verwenden zu können. Weitere Informationen finden Sie unter Kontingente.