Gestisci VM Spot TPU
Le VM spot rendono disponibile la capacità inutilizzata a tariffe altamente scontate. Le VM spot possono essere prerilasciate (arresto) in qualsiasi momento, ma a differenza delle prerilasciabili TPU, non esiste alcun limite alla durata del runtime. Non puoi riavviando le VM Spot TPU, ricreandole dopo il prerilascio. Per per ulteriori informazioni sulle VM spot in generale, consulta il documento documentazione sulle VM spot.
Crea VM spot TPU
Puoi creare VM spot TPU utilizzando risorse in coda, aggiungendo creare richieste a una coda e ti consente di ricevere capacità quando diventa disponibili. La creazione di TPU come risorse in coda è una best practice. Per ulteriori informazioni consulta la Guida dell'utente sulle risorse in coda.
Crea VM spot TPU come risorse in coda aggiungendo il flag --spot
a
del comando di creazione delle risorse in coda:
gcloud
gcloud alpha compute tpus queued-resources create QUEUED_RESOURCE_ID \ --node-id=NODE_ID \ --zone=europe-west4-a \ --accelerator-type=v3-8 \ --runtime-version=tpu-vm-tf-2.16.1-pod-pjrt \ --spot
curl
curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ tpu: { node_spec: { parent: "projects/PROJECT_ID/locations/europe-west4-a", node_id: "NODE_ID", node: { accelerator_type: "v3-8", runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt" } } }, spot: {} }'
Puoi anche creare VM spot TPU senza utilizzare risorse in coda
aggiungendo il flag --spot
al comando create:
gcloud
gcloud compute tpus tpu-vm create TPU_NAME \ --zone=europe-west4-a \ --accelerator-type=v3-8 \ --version=tpu-vm-tf-2.16.1-pod-pjrt \ --spot
curl
curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ accelerator_type: "v3-8", runtime_version: "tpu-vm-tf-2.16.1-pod-pjrt", network_config: {enable_external_ips: true}, scheduling_config: {spot: true} }'
Verificare se una VM TPU è una VM spot
Per verificare se la tua VM TPU è una VM spot, utilizza il comando describe:
gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a
Se la VM TPU è una VM spot, l'output includerà
Campo spot
impostato su true
, simile al seguente:
...
schedulingConfig:
spot: true
...
Prezzi e quote
I prezzi delle VM Spot TPU sono notevolmente inferiori rispetto a quelli delle VM on demand TPU riservate. Per ulteriori informazioni sui prezzi, vedi Cloud TPU pricing.
Hai bisogno di una quota prerilasciabile per usare le VM spot TPU. Per ulteriori informazioni, consulta Quote.