TPU Spot-VMs verwalten

Mit Spot-VMs wird ungenutzte Kapazität zu stark reduzierten Preisen verfügbar. Spot-VMs können jederzeit vorzeitig beendet (heruntergefahren) werden. Im Gegensatz zu TPUs auf Abruf gibt es jedoch kein Limit für die Laufzeitdauer. Sie können TPU Spot-VMs nicht neu starten und müssen sie nach dem vorzeitigen Beenden neu erstellen. Allgemeine Informationen zu Spot-VMs finden Sie in der Compute Engine-Dokumentation zu Spot-VMs.

TPU-Spot-VMs erstellen

Sie können TPU Spot-VMs mit Ressourcen in der Warteschlange erstellen. Dadurch wird Ihre Anfrage zum Erstellen einer Warteschlange hinzugefügt und Sie erhalten Kapazität, sobald diese verfügbar ist. Es hat sich bewährt, TPUs als Ressourcen in der Warteschlange zu erstellen. Weitere Informationen finden Sie im Nutzerhandbuch für Ressourcen in der Warteschlange.

Erstellen Sie TPU Spot-VMs als Ressourcen in der Warteschlange. Fügen Sie dazu dem Befehl zum Erstellen von Ressourcen das Flag --spot hinzu:

gcloud

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
  --node-id=NODE_ID \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --runtime-version=tpu-vm-tf-2.16.1-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    tpu: {
      node_spec: {
        parent: "projects/PROJECT_ID/locations/europe-west4-a",
        node_id: "NODE_ID",
        node: {
          accelerator_type: "v3-8",
          runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt"
        }
      }
    },
    spot: {}
  }'

Sie können auch TPU Spot-VMs erstellen, ohne Ressourcen in der Warteschlange zu verwenden. Dazu fügen Sie dem Befehl „create“ das Flag --spot hinzu:

gcloud

gcloud compute tpus tpu-vm create TPU_NAME \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.16.1-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    accelerator_type: "v3-8",
    runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt",
    network_config: {enable_external_ips: true},
    scheduling_config: {spot: true}
  }'

Prüfen, ob eine TPU-VM eine Spot-VM ist

Verwenden Sie den Befehl „describe“, um zu prüfen, ob Ihre TPU-VM eine Spot-VM ist:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Wenn die TPU-VM eine Spot-VM ist, enthält die Ausgabe das Feld spot, das auf true gesetzt ist, in etwa so:

...
schedulingConfig:
  spot: true
...

Preise und Kontingente

Die Preise für TPU Spot-VMs sind deutlich niedriger als für On-Demand- und reservierte TPUs. Weitere Informationen zu Preisen finden Sie unter Cloud TPU-Preise.

Sie benötigen ein Kontingent auf Abruf, um TPU Spot-VMs verwenden zu können. Weitere Informationen finden Sie unter Kontingente.