Gerenciar recursos na fila
Os recursos enfileirados permitem que você solicite recursos do Cloud TPU de maneira enfileirada. Ao solicitar recursos enfileirados, a solicitação é adicionada a uma fila mantida pelo serviço do Cloud TPU. Quando o recurso solicitado fica disponível, ele é atribuído ao seu projeto do Google Cloud para uso exclusivo imediato. Ele vai permanecer atribuído ao seu projeto, a menos que você o exclua ou ele seja substituído. Somente VMs do TPU Spot e TPUs preemptivas estão qualificadas para preempção.
É possível especificar um horário de início e término opcional em uma solicitação de recurso em fila. O horário de início especifica o horário mais cedo em que a solicitação será atendida. Se uma solicitação não for atendida até o horário de término especificado, ela vai expirar. A solicitação permanece na fila após a expiração.
As solicitações de recursos em fila podem estar em um dos seguintes estados:
WAITING_FOR_RESOURCES- A solicitação passou pela validação inicial e foi adicionada à fila. Ele permanece nesse estado até que haja recursos livres suficientes para começar a provisionar sua solicitação ou o intervalo de alocação expirar. Quando a demanda é alta, nem todas as solicitações podem ser provisionadas imediatamente. Se você precisar de uma disponibilidade mais confiável de TPUs, considere comprar uma reserva.
PROVISIONING- A solicitação foi selecionada da fila e os recursos dela estão sendo alocados.
ACTIVE- A solicitação foi alocada. Quando as solicitações de recursos enfileiradas estiverem no estado
ACTIVE, você poderá gerenciar as VMs da TPU conforme descrito em Gerenciar TPUs. FAILED- A solicitação não foi concluída porque há um problema com a solicitação ou os recursos solicitados não estavam disponíveis no intervalo de alocação. A solicitação permanece na fila até ser excluída explicitamente.
SUSPENDING- Os recursos associados à solicitação estão sendo excluídos.
SUSPENDED- Os recursos especificados na solicitação foram excluídos. Quando uma solicitação
está no estado
SUSPENDED, ela não está mais qualificada para outra alocação.
Pré-requisitos
Antes de executar os comandos neste guia, instale a Google Cloud CLI, crie um projeto do Google Cloud e ative a API Cloud TPU. Para instruções, consulte Configurar o ambiente do Cloud TPU.
Solicitar um recurso na fila on demand
Os recursos sob demanda não serão substituídos, mas a cota sob demanda não garante que haverá recursos suficientes do Cloud TPU disponíveis para atender à sua solicitação. Para mais informações sobre recursos sob demanda, consulte Tipos de cota.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.18.0-pjrt
Descrições dos parâmetros de comando
queued-resource-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.
project- Seu projeto do Google Cloud.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-8', 'runtime_version': 'tpu-vm-tf-2.18.0-pjrt', } } } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições dos parâmetros de comando
queued-resource-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.
project- Seu projeto do Google Cloud.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
Console
No console do Google Cloud, acesse a página TPUs:
Clique em Criar TPU.
No campo Nome, insira um nome para a TPU.
Na caixa Zona, selecione a zona em que você quer criar a TPU.
Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
Na caixa Versão do software da TPU, selecione uma versão do software. Ao criar uma VM do Cloud TPU, a versão do software da TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Imagens de VM de TPU.
Clique no botão Ativar fila.
No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.
Clique em Criar para criar a solicitação de recurso em fila.
Tamanhos de fatia padrão para recursos em fila sob demanda
Ao usar a cota sob demanda, é necessário solicitar um tamanho de fatia menor que o limite padrão do tipo de acelerador que você está usando. As solicitações que excedem os limites padrão são recusadas pelo sistema.
A tabela a seguir mostra os tipos de TPU e os limites padrão associados a eles.
| Tipo de acelerador | Limite padrão (em número de TensorCores) |
| v2 | 128 |
| v3 | 128 |
| v4 | 384 |
| v5 | 32 |
Se você precisar de tamanhos de fatia maiores, entre em contato com o suporte do Cloud TPU para mais informações.
Solicitar um recurso na fila usando uma reserva
É possível solicitar um recurso enfileirado usando uma reserva. Para comprar uma reserva, entre em contato com a equipe de conta do Google Cloud.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.18.0-pjrt \ --reserved
Descrições dos parâmetros de comando
queued-resource-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.
project- Seu projeto do Google Cloud.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
reserved- Use essa flag ao solicitar recursos enfileirados como parte de uma reserva do Cloud TPU.
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-8', 'runtime_version': 'tpu-vm-tf-2.18.0-pjrt', } } }, 'guaranteed': { 'reserved': true, } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições dos parâmetros de comando
queued-resource-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.
project- Seu projeto do Google Cloud.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
reserved- Use essa flag ao solicitar recursos enfileirados como parte de uma reserva do Cloud TPU.
Console
No console do Google Cloud, acesse a página TPUs:
Clique em Criar TPU.
No campo Nome, insira um nome para a TPU.
Na caixa Zona, selecione a zona em que você quer criar a TPU.
Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
Na caixa Versão do software da TPU, selecione uma versão do software. Ao criar uma VM do Cloud TPU, a versão do software da TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Imagens de VM de TPU.
Clique no botão Ativar fila.
No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.
Expanda a seção Gerenciamento.
Marque a caixa de seleção Usar reserva atual.
Clique em Criar para criar a solicitação de recurso em fila.
Solicitar um recurso de VM do Spot da TPU na fila
Uma VM spot é um recurso que pode ser interrompido e atribuído a outra carga de trabalho a qualquer momento. Os recursos de VM spot custam menos, e você pode ter acesso aos recursos mais rapidamente em comparação com uma solicitação de VM que não é do Spot. Para mais informações sobre as VMs spot do TPU, consulte Gerenciar VMs spot do TPU.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.18.0-pjrt \ --spot
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-8', 'runtime_version': 'tpu-vm-tf-2.18.0-pjrt' } } }, 'spot': {} }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições dos parâmetros de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O ID do projeto em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
spot- Uma flag booleana que especifica que o recurso na fila é uma VM spot.
Solicitar que um recurso em fila seja alocado antes ou depois de um horário especificado
É possível especificar um horário de início ou de término opcional em uma solicitação de recurso em fila. O horário de início ou a duração de início especifica o horário mais cedo em que a solicitação pode ser atendida. O horário ou a duração de término especifica por quanto tempo a solicitação permanece válida. Se uma solicitação não for atendida até o horário de término especificado ou dentro da duração especificada, ela vai expirar. Depois que a solicitação expira, ela permanece na fila, mas não está mais qualificada para alocação.
Também é possível especificar um intervalo de alocação especificando um horário de início ou duração e um horário de término ou duração.
Para conferir uma lista de formatos de carimbo de data/hora e duração aceitos, consulte Data e hora.
Solicitar que um recurso na fila seja atendido após um período especificado
Em uma solicitação de recurso em fila, é possível especificar um tempo ou duração após o qual um recurso será alocado.
gcloud
O comando a seguir solicita uma TPU v4-4096 para ser alocada após as 9h do dia 14 de dezembro de 2022.
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-4096 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-after-time 2022-12-14T09:00:00Z
Descrições dos parâmetros de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
valid-after-time- O tempo após o qual o recurso precisa ser alocado. Para mais informações sobre formatos de duração, consulte Data e hora do tópico da Google Cloud CLI.
curl
O comando a seguir solicita uma TPU v4-4096 para ser alocada após as 9h do dia 14 de dezembro de 2022.
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-4096', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'valid_after_time': { 'seconds': 2022-12-14T09:00:00Z } } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições dos parâmetros de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
valid-after-time- O tempo após o qual o recurso precisa ser alocado. Para mais informações sobre formatos de duração, consulte Data e hora do tópico da Google Cloud CLI.
Console
No console do Google Cloud, acesse a página TPUs:
Clique em Criar TPU.
No campo Nome, insira um nome para a TPU.
Na caixa Zona, selecione a zona em que você quer criar a TPU.
Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
Na caixa Versão do software da TPU, selecione uma versão do software. Ao criar uma VM do Cloud TPU, a versão do software da TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Imagens de VM de TPU.
Clique no botão Ativar fila.
No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.
No campo Iniciar solicitação em, insira o horário após o qual o recurso será alocado.
Clique em Criar para criar a solicitação de recurso em fila.
O exemplo a seguir solicita que uma v4-32 seja alocada após seis horas.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-32 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-after-duration 6h
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-32', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'valid_after_duration': { 'seconds': 21600 } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições dos parâmetros de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
valid-after-duration- A duração antes da qual a TPU não pode ser provisionada. Para mais informações sobre formatos de duração, consulte Datatime do tópico da Google Cloud CLI
Solicitar um recurso em fila que expira após um período especificado
Em uma solicitação de recurso enfileirada, é possível especificar por quanto tempo ela permanece válida. Se a solicitação não for atendida no tempo ou na duração especificados, ela vai expirar.
gcloud
O comando a seguir solicita uma TPU v4-4096. Se a solicitação não for atendida até 14 de dezembro de 2022, às 9h, ela vai expirar.
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-4096 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-until-time 2022-12-14T09:00:00Z
Descrições dos parâmetros de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O ID do projeto em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
valid-until-time- O tempo após o qual a solicitação é cancelada. Para mais informações sobre formatos de duração, consulte Datatime do tópico da Google Cloud CLI.
curl
O comando a seguir solicita uma TPU v4-4096. Se a solicitação não for atendida até 14 de dezembro de 2022, às 9h, ela vai expirar.
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-4096', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'valid_until_time': { 'seconds': 1655197200 } } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições dos parâmetros de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O ID do projeto em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
valid-until-time- O tempo após o qual a solicitação é cancelada. Para mais informações sobre formatos de duração, consulte Datatime do tópico da Google Cloud CLI.
Console
No console do Google Cloud, acesse a página TPUs:
Clique em Criar TPU.
No campo Nome, insira um nome para a TPU.
Na caixa Zona, selecione a zona em que você quer criar a TPU.
Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
Na caixa Versão do software da TPU, selecione uma versão do software. Ao criar uma VM do Cloud TPU, a versão do software da TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Imagens de VM de TPU.
Clique no botão Ativar fila.
No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.
No campo Cancelar solicitação em, insira o horário em que a solicitação de recurso em fila precisa expirar se não for atendida.
Clique em Criar para criar a solicitação de recurso em fila.
O exemplo a seguir solicita uma v4-32. A solicitação vai expirar se não for preenchida em seis horas.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-32 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-until-duration 6h
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-32', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'valid_until_duration': { 'seconds': 21600 } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições dos parâmetros de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
valid-until-duration- O período em que a solicitação é válida. Para mais informações sobre formatos de duração, consulte o tópico Data e hora da Google Cloud CLI
Solicitar que um recurso em fila seja alocado em um intervalo especificado
É possível especificar um intervalo de alocação definindo o horário de início ou a duração e o horário de término ou a duração.
gcloud
O comando a seguir solicita uma v4-32 em 5 horas e 30 minutos a partir do horário atual para ser criada até 14 de dezembro de 2022, às 9h.
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project-id \ --zone us-central2-b \ --accelerator-type v4-32 \ --runtime-version tpu-vm-tf-2.18.0-pod-pjrt \ --valid-after-duration 5h30m \ --valid-until-time 2022-12-14T09:00:00Z
Descrições de sinalizações de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O ID do projeto em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
valid-until-timw- O tempo após o qual a solicitação é cancelada. Para mais informações sobre formatos de duração, consulte Datatime do tópico da Google Cloud CLI.
valid-until-duration- O período em que a solicitação é válida. Para mais informações sobre formatos de duração, consulte Datatime do tópico da Google Cloud CLI.
curl
O comando a seguir solicita uma v4-32 em 5 horas e 30 minutos a partir do horário atual para ser criada até 14 de dezembro de 2022, às 9h.
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-32', 'runtime_version': 'tpu-vm-tf-2.18.0-pod-pjrt', } } }, 'queueing_policy': { 'validInterval': { 'startTime': '2022-12-10T14:30:00Z', 'endTime': '2022-12-14T09:00:00Z' } }, }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições de sinalizações de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O ID do projeto em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
valid-until-timw- O tempo após o qual a solicitação é cancelada. Para mais informações sobre formatos de duração, consulte Datatime do tópico da Google Cloud CLI.
valid-until-duration- O período em que a solicitação é válida. Para mais informações sobre formatos de duração, consulte Datatime do tópico da Google Cloud CLI.
Console
No console do Google Cloud, acesse a página TPUs:
Clique em Criar TPU.
No campo Nome, insira um nome para a TPU.
Na caixa Zona, selecione a zona em que você quer criar a TPU.
Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
Na caixa Versão do software da TPU, selecione uma versão do software. Ao criar uma VM do Cloud TPU, a versão do software da TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Imagens de VM de TPU.
Clique no botão Ativar fila.
No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.
No campo Iniciar solicitação em, insira o horário após o qual o recurso será alocado.
No campo Cancelar solicitação em, insira o horário em que a solicitação de recurso em fila precisa expirar se não for atendida.
Clique em Criar para criar a solicitação de recurso em fila.
Solicitar um recurso na fila com um script de inicialização
É possível especificar um script para ser executado em um recurso em fila depois que ele for provisionado.
gcloud
Ao usar o comando gcloud, é possível usar a flag --metadata
ou --metadata-from-file para especificar um comando de script ou um arquivo
que contenha o código do script, respectivamente. O exemplo a seguir cria uma
solicitação de recurso em fila que vai executar o script startup-script.sh.
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.12.0 \ --metadata-from-file='startup-script=startup-script.sh'
Descrições de sinalizações de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O ID do projeto em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
validInterval- O tempo em que a solicitação é válida e depois é cancelada. Para mais informações sobre formatos de duração, consulte Datatime do tópico da Google Cloud CLI.
metadata-from-file- Especifica um arquivo que contém metadados. Se você não especificar um caminho totalmente qualificado para o arquivo de metadados, o comando vai presumir que ele está localizado no diretório atual. Neste exemplo, o arquivo contém um script de inicialização que é executado quando o recurso em fila é provisionado.
metadata- Especifica metadados para a solicitação. Neste exemplo, os metadados são um comando de script de inicialização executado quando o recurso em fila é provisionado.
curl
Ao usar curl, é necessário incluir o código do script no conteúdo JSON.
O exemplo a seguir inclui um script inline no corpo JSON.
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ tpu: { node_spec: { parent: 'projects/your-project-number/locations/us-central2-b', node_id: 'your-node-id', node: { accelerator_type: 'v2-8', runtime_version: 'tpu-vm-tf-2.18.0-pjrt', metadata: { "startup-script": "#! /bin/bash\npwd > /tmp/out.txt\nwhoami >> /tmp/out.txt" } } } }, 'queueing_policy': { 'validInterval': { 'startTime': '2022-12-10T14:30:00Z', 'endTime': '2022-12-14T09:00:00Z' } }, }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições de sinalizações de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID definido pelo usuário da TPU criada em resposta à solicitação.
project- O ID do projeto em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
validInterval- O tempo em que a solicitação é válida e depois é cancelada. Para mais informações sobre formatos de duração, consulte Datatime do tópico da Google Cloud CLI.
metadata-from-file- Especifica um arquivo que contém metadados. Se você não especificar um caminho totalmente qualificado para o arquivo de metadados, o comando vai presumir que ele está localizado no diretório atual. Neste exemplo, o arquivo contém um script de inicialização que é executado quando o recurso em fila é provisionado.
metadata- Especifica metadados para a solicitação. Neste exemplo, os metadados são um comando de script de inicialização executado quando o recurso em fila é provisionado.
Solicitar um recurso em fila com uma rede e sub-rede especificadas
Em uma solicitação de recurso enfileirada, é possível especificar uma rede e uma sub-rede às quais você quer conectar a TPU.
gcloud
gcloud compute tpus queued-resources create your-queued-resource-id \ --node-id your-node-id \ --project your-project \ --zone us-central2-b \ --accelerator-type v4-8 \ --runtime-version tpu-vm-tf-2.18.0-pjrt \ --network network-name \ --subnetwork subnetwork-name
Descrições dos parâmetros de comando
queued-resource-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.
project- Seu projeto do Google Cloud.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
reserved- Use essa flag ao solicitar recursos enfileirados como parte de uma reserva do Cloud TPU.
network- Uma rede da qual o recurso na fila vai fazer parte.
subnetwork- Uma sub-rede da qual o recurso na fila vai fazer parte.
curl
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d "{ 'tpu': { 'node_spec': { 'parent': 'projects/your-project-number/locations/us-central2-b', 'node_id': 'your-node-id', 'node': { 'accelerator_type': 'v4-8', 'runtime_version': 'tpu-vm-tf-2.18.0-pjrt', 'network_config': { 'network': 'network-name', 'subnetwork': 'subnetwork-name', 'enable_external_ips': true } } }, 'guaranteed': { 'reserved': true, } }" \ https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id
Descrições dos parâmetros de comando
queued-resource-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
node-id- O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.
project- Seu projeto do Google Cloud.
zone- A zona em que você planeja criar a Cloud TPU.
accelerator-type- O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
runtime-version- A versão do software da Cloud TPU.
reserved- Use essa flag ao solicitar recursos enfileirados como parte de uma reserva do Cloud TPU.
network- Uma rede da qual o recurso na fila vai fazer parte.
subnetwork- Uma sub-rede da qual o recurso na fila vai fazer parte.
Console
No console do Google Cloud, acesse a página TPUs:
Clique em Criar TPU.
No campo Nome, insira um nome para a TPU.
Na caixa Zona, selecione a zona em que você quer criar a TPU.
Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho da Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.
Na caixa Versão do software da TPU, selecione uma versão do software. Ao criar uma VM do Cloud TPU, a versão do software da TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Imagens de VM de TPU.
Clique no botão Ativar fila.
No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.
Abra a seção Rede.
Nos campos Rede e Sub-rede, selecione a rede e a sub-rede que você quer usar.
Clique em Criar para criar a solicitação de recurso em fila.
Excluir uma solicitação de recurso na fila
É possível excluir uma solicitação de recurso na fila e a TPU associada a ela excluindo a solicitação de recurso na fila:
gcloud
Transmita a flag --force para o comando queued-resource delete:
gcloud compute tpus queued-resources delete your-queued-resource-id \ --project my-project \ --zone us-central2-b \ --force \ --async
Descrições de sinalizações de comando
your-queued-resource-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona do Cloud TPU a ser excluído.
force- Exclua a VM da TPU e a solicitação de recurso na fila.
curl
Use o parâmetro de consulta force=true na sua solicitação curl:
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/my-project/locations/us-central2-b/queuedResources/your-queued-resource-id?force=true
Descrições de sinalizações de comando
your-queued-resource-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona do Cloud TPU a ser excluído.
force- Exclua a VM da TPU e a solicitação de recurso na fila.
Console
No console do Google Cloud, acesse a página TPUs:
Clique na guia Recursos em fila.
Marque a caixa de seleção ao lado da solicitação de recurso na fila.
Clique em Excluir.
Se você excluir a TPU diretamente, também precisará excluir o recurso na fila, conforme
mostrado no exemplo a seguir. Quando você exclui a TPU, a solicitação de recurso
na fila é transferida para o estado SUSPENDED. Depois disso, a solicitação de recurso
na fila pode ser excluída.
gcloud
Exclua a TPU:
$ gcloud compute tpus tpu-vm delete your-node-id \ --project=your-project \ --zone=zone \ --quiet
Descrições de sinalizações de comando
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona do Cloud TPU a ser excluído.
your-node-id- O nome do TPU que você quer excluir.
Quando você exclui uma TPU, o recurso na fila associado entra no estado SUSPENDING e depois no estado SUSPENDED. Quando o recurso
na fila estiver no estado SUSPENDED, ele poderá ser excluído:
gcloud compute tpus queued-resources delete your-queued-resource-id \ --project your-project-id \ --zone us-central2-b
Descrições de sinalizações de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona do Cloud TPU a ser excluído.
curl
Exclua a TPU:
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/your-project/locations/us-central2-b/nodes?node_id=your-node-id
Descrições de sinalizações de comando
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona do Cloud TPU a ser excluído.
your-node-id- O nome do TPU que você quer excluir.
Quando você exclui uma TPU, o recurso na fila associado entra no estado SUSPENDING e depois no estado SUSPENDED. Quando o recurso
na fila estiver no estado SUSPENDED, ele poderá ser excluído:
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central2-b/queuedResources/your-queued-resource-id
Descrições de sinalizações de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona do Cloud TPU a ser excluído.
Console
Exclua a TPU:
No console do Google Cloud, acesse a página TPUs:
Marque a caixa de seleção ao lado do TPU.
Clique em Excluir.
Quando você exclui uma TPU, o recurso na fila associado entra no estado Suspending e depois no estado Suspended. Quando o recurso na fila estiver no estado Suspenso, ele poderá ser excluído:
- Clique na guia Recursos em fila.
- Marque a caixa de seleção ao lado da solicitação de recurso na fila.
- Clique em Excluir.
Extrair informações de estado e diagnóstico sobre uma solicitação de recurso na fila
Extraia o estado e as informações de diagnóstico sobre uma solicitação de recurso na fila:
gcloud
gcloud compute tpus queued-resources describe queued-resource-request-id \ --project your-project-id \ --zone us-central2-b
Descrições de sinalizações de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
project- O ID do projeto em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
curl
curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central2-b/queuedResources/your-queued-resource-id
Descrições de sinalizações de comando
queued-resource-request-id- O ID atribuído pelo usuário à solicitação de recurso em fila.
project- O ID do projeto em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
Console
No console do Google Cloud, acesse a página TPUs:
Clique na guia Recursos em fila.
Clique no nome da solicitação de recurso na fila.
Depois que o TPU for provisionado, você também poderá conferir detalhes sobre a solicitação de recurso enfileirada acessando a página TPUs, encontrando seu TPU e clicando no nome da solicitação de recurso enfileirada correspondente.
Se a solicitação falhar, a saída vai conter informações de erro. Para uma solicitação que está aguardando recursos, a saída será semelhante a esta:
gcloud
name: projects/your-project-id/locations/us-central2-b/queuedResources/your-queued-resource-id state: state: WAITING_FOR_RESOURCES tpu: nodeSpec: - node: acceleratorType: v4-8 bootDisk: {} networkConfig: enableExternalIps: true queuedResource: projects/your-project-number/locations/us-central2-b/queuedResources/your-queued-resource-id runtimeVersion: tpu-vm-tf-2.10.0 schedulingConfig: {} serviceAccount: {} shieldedInstanceConfig: {} useTpuVm: true nodeId: your-node-id parent: projects/your-project-number/locations/us-central2-b
Console
O campo Status do recurso na fila mostra Aguardando recursos.
Listar solicitações de recursos em fila no seu projeto
Liste as solicitações de recursos em fila no seu projeto:
gcloud
gcloud compute tpus queued-resources list --project your-project-id \ --zone us-central2-b
Descrições de sinalizações de comando
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
curl
curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central2-b/queuedResources
Descrições de sinalizações de comando
project- O projeto do Google Cloud em que o recurso em fila é alocado.
zone- A zona em que você planeja criar a Cloud TPU.
Console
No console do Google Cloud, acesse a página TPUs:
Clique na guia Recursos em fila.