Gestisci VM Spot TPU

Le VM spot rendono disponibile la capacità inutilizzata a tariffe molto scontate. Le VM spot possono essere prerilasciate (arresto) in qualsiasi momento, ma a differenza delle prerilasciabili TPU, non esiste alcun limite alla durata del runtime. Non puoi riavviare le VM TPU Spot e devi ricrearle dopo la prelazione. Per maggiori informazioni sulle VM spot in generale, consulta la documentazione di Compute Engine sulle VM spot.

Crea VM spot TPU

Puoi creare VM spot TPU utilizzando risorse in coda, aggiungendo creare richieste a una coda e ti consente di ricevere capacità quando diventa disponibili. La creazione di TPU come risorse in coda è una best practice. Per maggiori informazioni consulta la Guida dell'utente sulle risorse in coda.

Crea VM spot TPU come risorse in coda aggiungendo il flag --spot a del comando di creazione delle risorse in coda:

gcloud

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
  --node-id=NODE_ID \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --runtime-version=tpu-vm-tf-2.17.0-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    tpu: {
      node_spec: {
        parent: "projects/PROJECT_ID/locations/europe-west4-a",
        node_id: "NODE_ID",
        node: {
          accelerator_type: "v3-8",
          runtime_version: "tpu-vm-tf-2.17.0-pod-pjrt"
        }
      }
    },
    spot: {}
  }'

Puoi anche creare VM TPU Spot senza utilizzare risorse in coda aggiungendo il flag --spot al comando create:

gcloud

gcloud compute tpus tpu-vm create TPU_NAME \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.17.0-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    accelerator_type: "v3-8",
    runtime_version: "tpu-vm-tf-2.17.0-pod-pjrt",
    network_config: {enable_external_ips: true},
    scheduling_config: {spot: true}
  }'

Verificare se una VM TPU è una VM spot

Per verificare se la tua VM TPU è una VM spot, utilizza il comando describe:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Se la VM TPU è una VM spot, l'output includerà il spot campo impostato su true, in modo simile al seguente:

...
schedulingConfig:
  spot: true
...

Prezzi e quote

I prezzi delle VM TPU spot sono notevolmente inferiori a quelli delle TPU on demand e riservate. Per ulteriori informazioni sui prezzi, vedi Cloud TPU prezzi.

Hai bisogno di una quota prerilasciabile per utilizzare le VM spot TPU. Per ulteriori informazioni, consulta Quote.