Gestire le VM TPU spot

Le VM spot rendono disponibile la capacità inutilizzata a tariffe molto scontate. Le VM spot possono essere prelevate (chiuse) in qualsiasi momento, ma a differenza delle TPU prerilasciabili, non esiste un limite alla durata del tempo di esecuzione. Non puoi riavviare le VM spot TPU e devi ricrearle dopo la preemption. Per maggiori informazioni sulle VM spot in generale, consulta la documentazione di Compute Engine sulle VM spot.

Crea VM TPU spot

Puoi creare VM TPU spot utilizzando risorse in coda, il che aggiunge la richiesta di creazione a una coda e ti consente di ricevere la capacità quando diventa disponibile. La creazione di TPU come risorse in coda è una best practice. Per ulteriori informazioni, consulta la Guida dell'utente per le risorse in coda.

Il seguente esempio mostra come creare VM TPU Spot utilizzando le risorse in coda:

gcloud

Aggiungi il flag --spot al comando gcloud compute tpus queued-resources:

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --node-id=NODE_ID \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --runtime-version=tpu-vm-tf-2.18.0-pod-pjrt \
    --spot

curl

Aggiungi spot: {} al corpo della richiesta:

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        tpu: {
        node_spec: {
            parent: "projects/PROJECT_ID/locations/europe-west4-a",
            node_id: "NODE_ID",
            node: {
            accelerator_type: "v3-8",
            runtime_version: "tpu-vm-tf-2.18.0-pod-pjrt"
            }
        }
        },
        spot: {}
    }'

Console

  1. Nella console Google Cloud, vai alla pagina TPU:

    Vai alle TPU

  2. Fai clic su Crea TPU.

  3. Nel campo Nome, inserisci un nome per la TPU.

  4. Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.

  5. Nella casella Tipo TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione TPU, consulta Versioni TPU.

  6. Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione software TPU specifica la versione del runtime TPU da installare. Per ulteriori informazioni, consulta le immagini VM TPU.

  7. Fai clic sul pulsante di attivazione/disattivazione Attiva l'inserimento in coda.

  8. Nel campo Nome della risorsa in coda, inserisci un nome per la richiesta di risorsa in coda.

  9. Espandi la sezione Gestione.

  10. Seleziona la casella di controllo Crea una VM spot TPU.

  11. Fai clic su Crea.

Puoi anche creare VM spot TPU senza utilizzare risorse in coda:

gcloud

Aggiungi il flag --spot al comando gcloud compute tpus tpu-vm:

gcloud compute tpus tpu-vm create TPU_NAME \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=tpu-vm-tf-2.18.0-pod-pjrt \
    --spot

curl

Aggiungi scheduling_config: {spot: true} al corpo della richiesta:

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        accelerator_type: "v3-8",
        runtime_version: "tpu-vm-tf-2.18.0-pod-pjrt",
        network_config: {enable_external_ips: true},
        scheduling_config: {spot: true}
    }'

Console

  1. Nella console Google Cloud, vai alla pagina TPU:

    Vai alle TPU

  2. Fai clic su Crea TPU.

  3. Nel campo Nome, inserisci un nome per la TPU.

  4. Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.

  5. Nella casella Tipo TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione TPU, consulta Versioni TPU.

  6. Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione software TPU specifica la versione del runtime TPU da installare. Per ulteriori informazioni, consulta le immagini VM TPU.

  7. Espandi la sezione Gestione.

  8. Seleziona la casella di controllo Crea una VM spot TPU.

  9. Fai clic su Crea.

Verificare se una VM TPU è una VM spot

gcloud

Per verificare se la tua VM TPU è una VM spot, utilizza il comando describe:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Se la VM TPU è una VM spot, l'output includerà il spot campo impostato su true, in modo simile al seguente:

...
schedulingConfig:
spot: true
...

Console

  1. Nella console Google Cloud, vai alla pagina TPU:

    Vai alle TPU

  2. Fai clic sul nome della tua Cloud TPU.

    Se la VM TPU è una VM spot, il livello sarà VM spot.

Prezzi e quote

I prezzi delle VM spot TPU sono notevolmente inferiori a quelli delle TPU on demand e riservate. Per ulteriori informazioni sui prezzi, consulta la pagina Prezzi di Cloud TPU.

Per utilizzare le VM spot TPU, devi disporre di una quota preassegnata. Per ulteriori informazioni, consulta Quote.