Gestire le risorse in coda
Le risorse in coda ti consentono di richiedere risorse Cloud TPU mettendole in coda. Quando richiedi le risorse in coda, la richiesta viene aggiunta a una coda gestita dal servizio Cloud TPU. Quando la risorsa richiesta diventa disponibile, viene assegnata al tuo Google Cloud progetto per il tuo uso esclusivo immediato. Rimarrà assegnata al tuo progetto, a meno che non la elimini o non venga anticipata. Solo le VM TPU spot e le TPU prerilasciabili sono idonee per il prerilascio.
Puoi specificare un'ora di inizio e di fine facoltativa in una richiesta di risorse in coda. L'ora di inizio specifica l'ora più antica in cui soddisfare la richiesta. Se una richiesta non è stata soddisfatta entro l'ora di fine specificata, scade. La richiesta rimane in coda dopo la scadenza.
Le richieste di risorse in coda possono trovarsi in uno dei seguenti stati:
WAITING_FOR_RESOURCES- La richiesta ha superato la convalida iniziale ed è stata aggiunta alla coda. Rimane in questo stato finché non sono disponibili risorse libere sufficienti per iniziare il provisioning della richiesta o non scade l'intervallo di allocazione. Quando la domanda è elevata, non è possibile eseguire il provisioning immediato di tutte le richieste. Se hai bisogno di una disponibilità più affidabile delle TPU, ti consigliamo di acquistare una prenotazione.
PROVISIONING- La richiesta è stata selezionata dalla coda e le relative risorse sono in fase di allocazione.
ACTIVE- La richiesta è stata allocata. Quando le richieste di risorse in coda sono nello stato
ACTIVE, puoi gestire le VM TPU come descritto in Gestire le TPU. FAILED- Non è stato possibile completare la richiesta perché si è verificato un problema con la richiesta o perché le risorse richieste non erano disponibili nell'intervallo di allocazione. La richiesta rimane in coda finché non viene eliminata esplicitamente.
SUSPENDING- Le risorse associate alla richiesta vengono eliminate.
SUSPENDED- Le risorse specificate nella richiesta sono state eliminate. Quando una richiesta è nello stato
SUSPENDED, non è più idonea per un'ulteriore allocazione.
Prerequisiti
Prima di eseguire i comandi in questa guida, devi installare Google Cloud CLI, creare un Google Cloud progetto e abilitare l'API Cloud TPU. Per le istruzioni, consulta Configurare l'ambiente Cloud TPU.
Richiedere una risorsa in coda on demand
Le risorse on demand non verranno prelevate, ma la quota on demand non garantisce che ci siano risorse Cloud TPU sufficienti per soddisfare la tua richiesta. Per ulteriori informazioni sulle risorse on demand, consulta Tipi di quote.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.18.0-pjrt
Descrizioni dei parametri dei comandi
queued-resource-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID assegnato dall'utente della TPU che viene creato quando viene allocata la richiesta di risorse in coda.
project- Il Google Cloud tuo progetto.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-8', 'runtime_version': 'tpu-vm-tf-2.18.0-pjrt', } } } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei parametri dei comandi
queued-resource-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID assegnato dall'utente della TPU che viene creato quando viene allocata la richiesta di risorse in coda.
project- Il Google Cloud tuo progetto.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic su Crea TPU.
Nel campo Nome, inserisci un nome per la TPU.
Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.
Nella casella Tipo TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione TPU, consulta Versioni TPU.
Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione software TPU specifica la versione del runtime TPU da installare. Per ulteriori informazioni, consulta le immagini VM TPU.
Fai clic sul pulsante di attivazione/disattivazione Attiva l'inserimento in coda.
Nel campo Nome della risorsa in coda, inserisci un nome per la richiesta di risorsa in coda.
Fai clic su Crea per creare la richiesta di risorse in coda.
Dimensioni dei sezioni predefinite per le risorse in coda on demand
Quando utilizzi la quota on demand, devi richiedere una dimensione del segmento inferiore al limite predefinito per il tipo di acceleratore in uso. Le richieste che superano i limiti predefiniti vengono rifiutate dal sistema.
La tabella seguente mostra i tipi di TPU e i relativi limiti predefiniti associati.
| Tipo di acceleratore | Limite predefinito (in numero di TensorCore) |
| v2 | 128 |
| v3 | 128 |
| v4 | 384 |
| v5 | 32 |
Se hai bisogno di dimensioni dei segmenti più grandi, contatta l'assistenza Cloud TPU per ulteriori informazioni.
Richiedere una risorsa in coda utilizzando una prenotazione
Puoi richiedere una risorsa in coda utilizzando una prenotazione. Per acquistare una prenotazione, contatta il Google Cloud team dedicato al tuo account.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.18.0-pjrt \ --reserved
Descrizioni dei parametri dei comandi
queued-resource-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID assegnato dall'utente della TPU che viene creato quando viene allocata la richiesta di risorse in coda.
project- Il Google Cloud tuo progetto.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
reserved- Utilizza questo flag quando richiedi risorse in coda nell'ambito di una prenotazione Cloud TPU.
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-8', 'runtime_version': 'tpu-vm-tf-2.18.0-pjrt', } } }, 'guaranteed': { 'reserved': true, } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei parametri dei comandi
queued-resource-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID assegnato dall'utente della TPU che viene creato quando viene allocata la richiesta di risorse in coda.
project- Il Google Cloud tuo progetto.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
reserved- Utilizza questo flag quando richiedi risorse in coda nell'ambito di una prenotazione Cloud TPU.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic su Crea TPU.
Nel campo Nome, inserisci un nome per la TPU.
Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.
Nella casella Tipo TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione TPU, consulta Versioni TPU.
Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione software TPU specifica la versione del runtime TPU da installare. Per ulteriori informazioni, consulta le immagini VM TPU.
Fai clic sul pulsante di attivazione/disattivazione Attiva l'inserimento in coda.
Nel campo Nome della risorsa in coda, inserisci un nome per la richiesta di risorsa in coda.
Espandi la sezione Gestione.
Seleziona la casella di controllo Utilizza prenotazione esistente.
Fai clic su Crea per creare la richiesta di risorse in coda.
Richiedere una risorsa in coda di VM spot TPU
Una VM spot è una risorsa che può essere prerilasciata e assegnata a un altro carico di lavoro in qualsiasi momento. Le risorse VM spot costano meno e potresti accedere alle risorse prima rispetto a una richiesta di VM non spot. Per ulteriori informazioni sulle VM spot TPU, consulta Gestire le VM spot TPU.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.18.0-pjrt \ --spot
Descrizioni dei parametri dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
spot- Un flag booleano che specifica che la risorsa in coda è una VM Spot.
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-8', 'runtime_version': 'tpu-vm-tf-2.18.0-pjrt' } } }, 'spot': {} }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei parametri dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
spot- Un flag booleano che specifica che la risorsa in coda è una VM Spot.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic su Crea TPU.
Nel campo Nome, inserisci un nome per la TPU.
Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.
Nella casella Tipo TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione TPU, consulta Versioni TPU.
Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione software TPU specifica la versione del runtime TPU da installare. Per ulteriori informazioni, consulta le immagini VM TPU.
Fai clic sul pulsante di attivazione/disattivazione Attiva l'inserimento in coda.
Nel campo Nome della risorsa in coda, inserisci un nome per la richiesta di risorsa in coda.
Espandi la sezione Gestione.
Seleziona la casella di controllo Crea una VM spot TPU.
Fai clic su Crea.
Richiedere l'allocazione di una risorsa in coda prima o dopo un'ora specificata
Puoi specificare un'ora di inizio o una ora di fine facoltative in una richiesta di risorse in coda. L'ora di inizio o la durata di inizio specificano l'ora più antica in cui soddisfare la richiesta. L'ora di fine o la durata di fine specificano per quanto tempo la richiesta rimane valida. Se una richiesta non viene soddisfatta entro l'ora di fine specificata o entro la durata specificata, la richiesta scade. Una volta scaduta, la richiesta rimane in coda, ma non è più idonea per l'allocazione.
Puoi anche specificare un intervallo di allocazione specificando un'ora di inizio o una durata e un'ora di fine o una durata.
Per un elenco dei formati di timestamp e durata supportati, consulta Data e ora.
Richiedi l'evasione di una risorsa in coda dopo un orario specificato
In una richiesta di risorse in coda, puoi specificare un orario o una durata dopo la quale deve essere allocata una risorsa.
gcloud
Il seguente comando richiede una TPU v4-4096 da allocare dopo le 09:00 del 14 dicembre 2022.
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-4096 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-after-time 2022-12-14T09:00:00Z
Descrizioni dei parametri dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
valid-after-time- L'ora dopo la quale deve essere allocata la risorsa. Per ulteriori informazioni sui formati della durata, consulta l'argomento Datatime della CLI di Google Cloud.
curl
Il seguente comando richiede una TPU v4-4096 da allocare dopo le 09:00 del 14 dicembre 2022.
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-4096', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'valid_after_time': { 'seconds': 2022-12-14T09:00:00Z } } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei parametri dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
valid-after-time- L'ora dopo la quale deve essere allocata la risorsa. Per ulteriori informazioni sui formati della durata, consulta l'argomento Datatime della CLI di Google Cloud.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic su Crea TPU.
Nel campo Nome, inserisci un nome per la TPU.
Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.
Nella casella Tipo TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione TPU, consulta Versioni TPU.
Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione software TPU specifica la versione del runtime TPU da installare. Per ulteriori informazioni, consulta le immagini VM TPU.
Fai clic sul pulsante di attivazione/disattivazione Attiva l'inserimento in coda.
Nel campo Nome della risorsa in coda, inserisci un nome per la richiesta di risorsa in coda.
Nel campo Inizia richiesta il, inserisci l'ora dopo la quale deve essere allocata la risorsa.
Fai clic su Crea per creare la richiesta di risorse in coda.
L'esempio seguente richiede l'allocazione di un token v4-32 dopo sei ore.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-32 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-after-duration 6h
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-32', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'valid_after_duration': { 'seconds': 21600 } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei parametri dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
valid-after-duration- La durata prima della quale non deve essere eseguito il provisioning della TPU. Per ulteriori informazioni sui formati della durata, consulta l'argomento datetime di Google Cloud CLI
Richiedi una risorsa in coda che scade dopo un'ora specificata
In una richiesta di risorse in coda, puoi specificare per quanto tempo la richiesta rimane valida. Se la richiesta non viene soddisfatta entro l'ora o la durata specificata, scade.
gcloud
Il comando seguente richiede una TPU v4-4096. Se la richiesta non viene soddisfatta entro il 14 dicembre 2022 alle ore 09:00, scade.
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-4096 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-until-time 2022-12-14T09:00:00Z
Descrizioni dei parametri dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
valid-until-time- L'ora dopo la quale la richiesta viene annullata. Per ulteriori informazioni sui formati della durata, consulta l'argomento datetime della CLI Google Cloud.
curl
Il comando seguente richiede una TPU v4-4096. Se la richiesta non viene soddisfatta entro il 14 dicembre 2022 alle ore 09:00, scade.
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-4096', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'valid_until_time': { 'seconds': 1655197200 } } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei parametri dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
valid-until-time- L'ora dopo la quale la richiesta viene annullata. Per ulteriori informazioni sui formati della durata, consulta l'argomento datetime della CLI Google Cloud.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic su Crea TPU.
Nel campo Nome, inserisci un nome per la TPU.
Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.
Nella casella Tipo TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione TPU, consulta Versioni TPU.
Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione software TPU specifica la versione del runtime TPU da installare. Per ulteriori informazioni, consulta Immagini VM TPU.
Fai clic sul pulsante di attivazione/disattivazione Attiva l'inserimento in coda.
Nel campo Nome della risorsa in coda, inserisci un nome per la richiesta di risorsa in coda.
Nel campo Annulla richiesta su, inserisci la data e l'ora di scadenza della richiesta di risorse in coda se non viene soddisfatta.
Fai clic su Crea per creare la richiesta di risorse in coda.
L'esempio seguente richiede una versione 4-32. La richiesta scade se non viene compilata in sei ore.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-32 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-until-duration 6h
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-32', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'valid_until_duration': { 'seconds': 21600 } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei parametri dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
valid-until-duration- La durata di validità della richiesta. Per saperne di più sui formati della durata, consulta l'argomento datetime di Google Cloud CLI
Richiedere l'allocazione di una risorsa in coda in un intervallo specificato
Puoi specificare un intervallo di allocazione specificando sia la data e l'ora di inizio sia la data e l'ora di fine.
gcloud
Il seguente comando richiede una versione v4-32 tra 5 ore e 30 minuti dall'ora corrente, da creare entro le 09:00 del 14 dicembre 2022.
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-32 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-after-duration 5h30m \ --valid-until-time 2022-12-14T09:00:00Z
Descrizioni dei flag dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
valid-until-timw- L'ora dopo la quale la richiesta viene annullata. Per ulteriori informazioni sui formati della durata, consulta l'argomento datetime della CLI Google Cloud.
valid-until-duration- La durata di validità della richiesta. Per ulteriori informazioni sui formati della durata, consulta l'argomento datetime della CLI Google Cloud.
curl
Il seguente comando richiede una versione v4-32 tra 5 ore e 30 minuti dall'ora corrente, da creare entro le 09:00 del 14 dicembre 2022.
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-32', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'validInterval': { 'startTime': '2022-12-10T14:30:00Z', 'endTime': '2022-12-14T09:00:00Z' } }, }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei flag dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
valid-until-timw- L'ora dopo la quale la richiesta viene annullata. Per ulteriori informazioni sui formati della durata, consulta l'argomento datetime della CLI Google Cloud.
valid-until-duration- La durata di validità della richiesta. Per ulteriori informazioni sui formati della durata, consulta l'argomento datetime della CLI Google Cloud.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic su Crea TPU.
Nel campo Nome, inserisci un nome per la TPU.
Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.
Nella casella Tipo TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione TPU, consulta Versioni TPU.
Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione software TPU specifica la versione del runtime TPU da installare. Per ulteriori informazioni, consulta Immagini VM TPU.
Fai clic sul pulsante di attivazione/disattivazione Attiva l'inserimento in coda.
Nel campo Nome della risorsa in coda, inserisci un nome per la richiesta di risorsa in coda.
Nel campo Inizia richiesta il, inserisci l'ora dopo la quale deve essere allocata la risorsa.
Nel campo Annulla richiesta su, inserisci la data e l'ora di scadenza della richiesta di risorse in coda se non viene soddisfatta.
Fai clic su Crea per creare la richiesta di risorse in coda.
Richiedere una risorsa in coda con uno script di avvio
Puoi specificare uno script da eseguire su una risorsa in coda dopo il provisioning.
gcloud
Quando utilizzi il comando gcloud, puoi utilizzare il flag --metadata o --metadata-from-file per specificare rispettivamente un comando dello script o un file contenente il codice dello script. L'esempio seguente crea una richiesta di risorsa in coda che eseguirà lo script startup-script.sh.
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.12.0 \ --metadata-from-file='startup-script=startup-script.sh'
Descrizioni dei flag dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
validInterval- L'ora entro la quale la richiesta è valida, dopodiché viene annullata. Per ulteriori informazioni sui formati della durata, consulta l'argomento datetime della CLI Google Cloud.
metadata-from-file- Specifica un file contenente metadati. Se non specifichi un percorso completo del file dei metadati, il comando presume che si trovi nella directory corrente. In questo esempio, il file contiene uno script di avvio che viene eseguito quando viene eseguito il provisioning della risorsa in coda.
metadata- Specifica i metadati per la richiesta. In questo esempio, i metadati sono un comando dello script di avvio eseguito quando viene eseguito il provisioning della risorsa in coda.
curl
Quando utilizzi curl, devi includere il codice dello script nei contenuti JSON.
L'esempio seguente include uno script in linea nel corpo JSON.
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ tpu: { node_spec: { parent: 'projects/your-project-number/locations/us-central2-b', node_id: 'your-node-id', node: { accelerator_type: 'v2-8', runtime_version: 'tpu-vm-tf-2.18.0-pjrt', metadata: { "startup-script": "#! /bin/bash\npwd > /tmp/out.txt\nwhoami >> /tmp/out.txt" } } } }, 'queueing_policy': { 'validInterval': { 'startTime': '2022-12-10T14:30:00Z', 'endTime': '2022-12-14T09:00:00Z' } }, }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei flag dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID definito dall'utente della TPU creata in risposta alla richiesta.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
validInterval- L'ora entro la quale la richiesta è valida, dopodiché viene annullata. Per ulteriori informazioni sui formati della durata, consulta l'argomento datetime della CLI Google Cloud.
metadata-from-file- Specifica un file contenente metadati. Se non specifichi un percorso completo del file dei metadati, il comando presume che si trovi nella directory corrente. In questo esempio, il file contiene uno script di avvio che viene eseguito quando viene eseguito il provisioning della risorsa in coda.
metadata- Specifica i metadati per la richiesta. In questo esempio, i metadati sono un comando dello script di avvio eseguito quando viene eseguito il provisioning della risorsa in coda.
Richiedere una risorsa in coda con una rete e una subnet specificate
In una richiesta di risorse in coda, puoi specificare una rete e una subnet a cui collegare la TPU.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.18.0-pjrt \ --network network-name \ --subnetwork subnetwork-name
Descrizioni dei parametri dei comandi
queued-resource-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID assegnato dall'utente della TPU che viene creato quando viene allocata la richiesta di risorse in coda.
project- Il Google Cloud tuo progetto.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
reserved- Utilizza questo flag quando richiedi risorse in coda nell'ambito di una prenotazione Cloud TPU.
network- Una rete a cui la risorsa in coda farà parte.
subnetwork- Una subnet di cui farà parte la risorsa in coda.
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-8', 'runtime_version': 'tpu-vm-tf-2.18.0-pjrt', 'network_config': { 'network': 'network-name', 'subnetwork': 'subnetwork-name', 'enable_external_ips': true } } }, 'guaranteed': { 'reserved': true, } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrizioni dei parametri dei comandi
queued-resource-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
node-id- L'ID assegnato dall'utente della TPU che viene creato quando viene allocata la richiesta di risorse in coda.
project- Il Google Cloud tuo progetto.
zone- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
runtime-version- La versione del software Cloud TPU.
reserved- Utilizza questo flag quando richiedi risorse in coda nell'ambito di una prenotazione Cloud TPU.
network- Una rete a cui la risorsa in coda farà parte.
subnetwork- Una subnet di cui farà parte la risorsa in coda.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic su Crea TPU.
Nel campo Nome, inserisci un nome per la TPU.
Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.
Nella casella Tipo TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione TPU, consulta Versioni TPU.
Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione software TPU specifica la versione del runtime TPU da installare. Per ulteriori informazioni, consulta Immagini VM TPU.
Fai clic sul pulsante di attivazione/disattivazione Attiva l'inserimento in coda.
Nel campo Nome della risorsa in coda, inserisci un nome per la richiesta di risorsa in coda.
Espandi la sezione Rete.
Nei campi Rete e Subnet, seleziona la rete e la subnet che vuoi utilizzare.
Fai clic su Crea per creare la richiesta di risorse in coda.
Eliminare una richiesta di risorsa in coda
Puoi eliminare una richiesta di risorse in coda e la TPU associata alla richiesta eliminando la richiesta di risorse in coda:
gcloud
Passa il flag --force al comando queued-resource delete:
gcloud compute tpus queued-resources delete your-queued-resource-id \ --project my-project \ --zone us-central2-b \ --force \ --async
Descrizioni dei flag dei comandi
your-queued-resource-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona della Cloud TPU da eliminare.
force- Elimina sia la VM TPU sia la richiesta di risorsa in coda.
curl
Utilizza il parametro di query force=true nella richiesta curl:
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/my-project/locations/us-central2-b/queuedResources/your-queued-resource-id?force=true
Descrizioni dei flag dei comandi
your-queued-resource-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona della Cloud TPU da eliminare.
force- Elimina sia la VM TPU sia la richiesta di risorsa in coda.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic sulla scheda Risorse in coda.
Seleziona la casella di controllo accanto alla richiesta di risorse in coda.
Fai clic su Elimina.
Se elimini direttamente la TPU, devi eliminare anche la risorsa in coda, come mostrato nell'esempio seguente. Quando elimini la TPU, la richiesta di risorsa in coda passa allo stato SUSPENDED, dopodiché può essere eliminata.
gcloud
Elimina la TPU:
$ gcloud compute tpus tpu-vm delete your-node-id \ --project=your-project \ --zone=zone \ --quiet
Descrizioni dei flag dei comandi
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona della Cloud TPU da eliminare.
your-node-id- Il nome della TPU che vuoi eliminare.
Quando elimini la TPU, la risorsa in coda associata passa allo stato SUSPENDING e poi allo stato SUSPENDED. Quando la risorsa in coda è nello stato SUSPENDED, puoi eliminarla:
gcloud compute tpus queued-resources delete your-queued-resource-id \ --project your-project-id \ --zone us-central2-b
Descrizioni dei flag dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona della Cloud TPU da eliminare.
curl
Elimina la TPU:
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/your-project/locations/us-central2-b/nodes?node_id=your-node-id
Descrizioni dei flag dei comandi
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona della Cloud TPU da eliminare.
your-node-id- Il nome della TPU che vuoi eliminare.
Quando elimini la TPU, la risorsa in coda associata passa allo stato SUSPENDING e poi allo stato SUSPENDED. Quando la risorsa in coda è nello stato SUSPENDED, puoi eliminarla:
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central2-b/queuedResources/your-queued-resource-id
Descrizioni dei flag dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona della Cloud TPU da eliminare.
Console
Elimina la TPU:
Nella console Google Cloud, vai alla pagina TPU:
Seleziona la casella di controllo accanto alla TPU.
Fai clic su Elimina.
Quando elimini la TPU, la risorsa in coda associata passa allo stato In sospensione e poi allo stato Sospesa. Quando la risorsa in coda è nello stato Sospesa, puoi eliminarla:
- Fai clic sulla scheda Risorse in coda.
- Seleziona la casella di controllo accanto alla richiesta di risorse in coda.
- Fai clic su Elimina.
Recuperare informazioni sullo stato e sulla diagnostica di una richiesta di risorse in coda
Recupera lo stato e le informazioni di diagnostica di una richiesta di risorse in coda:
gcloud
gcloud compute tpus queued-resources describe queued-resource-request-id \ --project your-project-id \ --zone us-central2-b
Descrizioni dei flag dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
curl
curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central2-b/queuedResources/your-queued-resource-id
Descrizioni dei flag dei comandi
queued-resource-request-id- L'ID assegnato dall'utente della richiesta di risorsa in coda.
project- L'ID del progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic sulla scheda Risorse in coda.
Fai clic sul nome della richiesta di risorsa in coda.
Dopo aver eseguito il provisioning della TPU, puoi anche visualizzare i dettagli della richiesta di risorsa in coda andando alla pagina TPU, individuando la TPU e facendo clic sul nome della richiesta di risorsa in coda corrispondente.
Se la richiesta non va a buon fine, l'output conterrà informazioni sugli errori. Per una richiesta in attesa di risorse, l'output è simile al seguente:
gcloud
name: projects/your-project-id/locations/us-central2-b/queuedResources/your-queued-resource-id state: state: WAITING_FOR_RESOURCES tpu: nodeSpec: - node: acceleratorType: v4-8 bootDisk: {} networkConfig: enableExternalIps: true queuedResource: projects/your-project-number/locations/us-central2-b/queuedResources/your-queued-resource-id runtimeVersion: tpu-vm-tf-2.10.0 schedulingConfig: {} serviceAccount: {} shieldedInstanceConfig: {} useTpuVm: true nodeId: your-node-id parent: projects/your-project-number/locations/us-central2-b
Console
Il campo Stato risorsa in coda mostra In attesa di risorse.
Elenca le richieste di risorse in coda nel tuo progetto
Elenca le richieste di risorse in coda nel tuo progetto:
gcloud
gcloud compute tpus queued-resources list --project your-project-id \ --zone us-central2-b
Descrizioni dei flag dei comandi
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
curl
curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central2-b/queuedResources
Descrizioni dei flag dei comandi
project- Il Google Cloud progetto in cui è allocata la risorsa in coda.
zone- La zona in cui prevedi di creare la Cloud TPU.
Console
Nella console Google Cloud, vai alla pagina TPU:
Fai clic sulla scheda Risorse in coda.