Gestisci VM Spot TPU

Le VM spot rendono disponibile la capacità inutilizzata a tariffe altamente scontate. Le VM spot possono essere prerilasciate (arresto) in qualsiasi momento, ma a differenza delle prerilasciabili TPU, non esiste alcun limite alla durata del runtime. Non puoi riavviando le VM Spot TPU, ricreandole dopo il prerilascio. Per per ulteriori informazioni sulle VM spot in generale, consulta il documento documentazione sulle VM spot.

Crea VM spot TPU

Puoi creare VM spot TPU utilizzando risorse in coda, aggiungendo creare richieste a una coda e ti consente di ricevere capacità quando diventa disponibili. La creazione di TPU come risorse in coda è una best practice. Per ulteriori informazioni consulta la Guida dell'utente sulle risorse in coda.

Crea VM spot TPU come risorse in coda aggiungendo il flag --spot a del comando di creazione delle risorse in coda:

gcloud

gcloud alpha compute tpus queued-resources create QUEUED_RESOURCE_ID \
  --node-id=NODE_ID \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --runtime-version=tpu-vm-tf-2.16.1-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    tpu: {
      node_spec: {
        parent: "projects/PROJECT_ID/locations/europe-west4-a",
        node_id: "NODE_ID",
        node: {
          accelerator_type: "v3-8",
          runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt"
        }
      }
    },
    spot: {}
  }'

Puoi anche creare VM spot TPU senza utilizzare risorse in coda aggiungendo il flag --spot al comando create:

gcloud

gcloud compute tpus tpu-vm create TPU_NAME \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.16.1-pod-pjrt \
  --spot

curl

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    accelerator_type: "v3-8",
    runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt",
    network_config: {enable_external_ips: true},
    scheduling_config: {spot: true}
  }'

Verificare se una VM TPU è una VM spot

Per verificare se la tua VM TPU è una VM spot, utilizza il comando describe:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Se la VM TPU è una VM spot, l'output includerà Campo spot impostato su true, simile al seguente:

...
schedulingConfig:
  spot: true
...

Prezzi e quote

I prezzi delle VM Spot TPU sono notevolmente inferiori rispetto a quelli delle VM on demand TPU riservate. Per ulteriori informazioni sui prezzi, vedi Cloud TPU pricing.

Hai bisogno di una quota prerilasciabile per usare le VM spot TPU. Per ulteriori informazioni, consulta Quote.