TPU-Spot-VMs verwalten

Mit Spot-VMs können Sie nicht genutzte Kapazitäten zu stark vergünstigten Preisen nutzen. Spot-VMs können jederzeit vorzeitig beendet werden. Im Gegensatz zu VMs auf Abruf ist die Laufzeit jedoch nicht begrenzt. Sie können TPU-Spot-VMs nicht neu starten und müssen sie nach der Vorabankündigung neu erstellen. Weitere Informationen zu Spot-VMs finden Sie in der Compute Engine-Dokumentation zu Spot-VMs.

TPU-Spot-VMs erstellen

Sie können TPU-Spot-VMs mit in die Warteschlange gestellten Ressourcen erstellen. Ihre Erstellungsanfrage wird dann einer Warteschlange hinzugefügt und Sie erhalten Kapazität, sobald diese verfügbar ist. Es ist eine Best Practice, TPUs als Ressourcen in der Warteschlange zu erstellen. Weitere Informationen finden Sie im Nutzerhandbuch für Ressourcen in der Warteschlange.

Wenn Sie TPU-Spot-VMs als Ressourcen in der Warteschlange erstellen möchten, fügen Sie dem Befehl zum Erstellen von Ressourcen in der Warteschlange das Flag --spot hinzu:

gcloud

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
  --node-id=NODE_ID \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --runtime-version=tpu-vm-tf-2.18.0-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    tpu: {
      node_spec: {
        parent: "projects/PROJECT_ID/locations/europe-west4-a",
        node_id: "NODE_ID",
        node: {
          accelerator_type: "v3-8",
          runtime_version: "tpu-vm-tf-2.18.0-pod-pjrt"
        }
      }
    },
    spot: {}
  }'

Sie können auch TPU-Spot-VMs erstellen, ohne Ressourcen in der Warteschlange zu verwenden. Fügen Sie dazu dem Befehl „create“ das Flag --spot hinzu:

gcloud

gcloud compute tpus tpu-vm create TPU_NAME \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.18.0-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    accelerator_type: "v3-8",
    runtime_version: "tpu-vm-tf-2.18.0-pod-pjrt",
    network_config: {enable_external_ips: true},
    scheduling_config: {spot: true}
  }'

Prüfen, ob eine TPU-VM eine Spot-VM ist

Verwenden Sie den Befehl „describe“, um zu prüfen, ob es sich bei Ihrer TPU-VM um eine Spot-VM handelt:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Wenn die TPU-VM eine Spot-VM ist, enthält die Ausgabe das Feld spot, das auf true festgelegt ist, ähnlich wie hier:

...
schedulingConfig:
  spot: true
...

Preise und Kontingente

Die Preise für TPU-Spot-VMs sind deutlich niedriger als für On-Demand- und reservierte TPUs. Weitere Informationen zu den Preisen finden Sie unter Cloud TPU – Preise.

Sie benötigen ein Kontingent auf Abruf, um TPU-Spot-VMs verwenden zu können. Weitere Informationen finden Sie unter Kontingente.