Criar e usar VMs do Spot

Nesta página, explicamos como criar e gerenciar VMs do Spot, incluindo:

como criar, iniciar e identificar VMs do Spot;
como detectar, processar e testar a preempção das VMs do Spot;
práticas recomendadas para VMs do Spot;

As VMs do Spot são instâncias de máquina virtual (VM, na sigla em inglês) com o modelo de provisionamento do Spot. As VMs do Spot estão disponíveis com um desconto de 60-91% em comparação com o preço das VMs padrão. No entanto, o Compute Engine pode liberar os recursos antecipando as VMs spot a qualquer momento. As VMs do Spot são recomendadas apenas para aplicativos tolerantes a falhas que resistam à preempção da VM. Verifique se o aplicativo consegue processar a preempção antes de decidir criar VMs do Spot.

Antes de começar

Leia a documentação sobre VMs do Spot:

Analise as limitações e os preços das VMs do Spot.
Para evitar que as VMs do Spot consumam suas cotas para CPUs, GPUs e discos das VMs padrão, solicite a cota preemptiva para as VMs do Spot.

Configure a autenticação, caso ainda não tenha feito isso. A autenticação é o processo de verificação da sua identidade para acesso a serviços e APIs do Google Cloud. Para executar códigos ou amostras de um ambiente de desenvolvimento local, autentique-se no Compute Engine da seguinte maneira.

Select the tab for how you plan to use the samples on this page:
Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.
gcloud
1. Install the Google Cloud CLI, then initialize it by running the following command:
  gcloud init
  Note: If you installed the gcloud CLI previously, make sure you have the latest version by running gcloud components update.
2. Set a default region and zone.

Criar uma VM do Spot

Crie uma VM do Spot usando o console do Cloud, a CLI gcloud ou a API Compute Engine. Uma VM do Spot é qualquer VM configurada para usar o modelo de provisionamento do Spot:

Modelo de provisionamento de VM definido como Spot no console do Cloud
--provisioning-model=SPOT na CLI gcloud
"provisioningModel": "SPOT" na API Compute Engine

Console

No console do Google Cloud, acesse a página Criar uma instância.

Acesse "Criar uma instância"
Em seguida, faça o seguinte:
1. Na seção Políticas de disponibilidade, selecione Spot na lista Modelo de provisionamento de VM. Essa configuração desativa as opções de reinicialização automática e manutenção de host para a VM e ativa a opção de ação de encerramento.
2. Opcional: na lista No encerramento da VM, selecione o que acontecerá quando o Compute Engine encerrar a VM:
  - Para interromper a VM durante a preempção, selecione Parar (padrão).
  - Para excluir a VM durante a preempção, selecione Excluir.
Opcional: especifique outras opções de VM. Para mais informações, consulte Como criar e iniciar uma instância de VM.
Para criar e iniciar a VM, clique em Criar.

gcloud

Para criar uma VM a partir da CLI gcloud, use o comando gcloud compute instances create. Para criar VMs do Spot, é preciso incluir a sinalização --provisioning-model=SPOT. Opcionalmente, também é possível especificar uma ação de encerramento para VMs do Spot ao também incluir a sinalização --instance-termination-action.

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

Substitua:

VM_NAME: nome da nova VM.
TERMINATION_ACTION: opcional: especifique qual ação realizar quando o Compute Engine forçar a interrupção da VM STOP (comportamento padrão) ou DELETE.

Para mais informações sobre as opções que você pode especificar ao criar uma VM, consulte Como criar e iniciar uma instância de VM. Por exemplo, para criar VMs do Spot com um tipo de máquina e uma imagem especificados, use este comando:

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    [--image=IMAGE | --image-family=IMAGE_FAMILY] \
    --image-project=IMAGE_PROJECT \
    --machine-type=MACHINE_TYPE \
    --instance-termination-action=TERMINATION_ACTION

Substitua:

VM_NAME: nome da nova VM.
IMAGE: especifique uma destas opções:
- IMAGE: uma versão específica de uma imagem pública ou da família de imagens. Por exemplo, uma imagem específica é --image=debian-10-buster-v20200309.
- Uma família de imagens. Isso cria a VM a partir da imagem do SO mais recente e não obsoleta. Por exemplo, se você especificar --image-family=debian-10, o Compute Engine criará uma VM a partir da versão mais recente da imagem do SO na família de imagens Debian 10.
IMAGE_PROJECT: o projeto que contém a imagem. Por exemplo, se você especificar debian-10 como a família de imagens, especifique debian-cloud como o projeto da imagem;
MACHINE_TYPE: o tipo de máquina predefinido ou personalizado da nova VM;
TERMINATION_ACTION: opcional: especifique qual ação realizar quando o Compute Engine forçar a interrupção da VM STOP (comportamento padrão) ou DELETE.

Para ver uma lista dos tipos de máquinas disponíveis em uma zona, use o comando gcloud compute machine-types list com a sinalização --zones.

Terraform

É possível usar um recurso do Terraform para criar uma instância do Spot usando o bloco de programação

compute/spot_instance_basic/main.tf

Acessar no GitHub Feedback


resource "google_compute_instance" "spot_vm_instance" {
  name         = "spot-instance-name"
  machine_type = "f1-micro"
  zone         = "us-central1-c"

  boot_disk {
    initialize_params {
      image = "debian-cloud/debian-11"
    }
  }

  scheduling {
    preemptible                 = true
    automatic_restart           = false
    provisioning_model          = "SPOT"
    instance_termination_action = "STOP"
  }

  network_interface {
    # A default network is created for all GCP projects
    network = "default"
    access_config {
    }
  }
}

REST

Para criar uma VM a partir da API Compute Engine, use o método instances.insert. Especifique um tipo de máquina e um nome para a VM. Também é possível especificar uma imagem para o disco de inicialização.

Para criar VMs do Spot, é necessário incluir o campo "provisioningModel": spot. Opcionalmente, também é possível especificar uma ação de encerramento para VMs do Spot ao também incluir o campo "instanceTerminationAction".

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
 "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
 "name": "VM_NAME",
 "disks": [
   {
     "initializeParams": {
       "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE"
     },
     "boot": true
   }
 ]
 "scheduling":
 {
     "provisioningModel": "SPOT",
     "instanceTerminationAction": "TERMINATION_ACTION"
 },
 ...
}

Substitua:

PROJECT_ID: o ID do projeto em que a VM será criada;
ZONE: a zona em que a VM será criada. A zona também precisa ser compatível com o tipo de máquina a ser usado na nova VM;
MACHINE_TYPE: o tipo de máquina predefinido ou personalizado da nova VM;
VM_NAME: o nome da nova VM;
IMAGE_PROJECT: o projeto que contém a imagem. Por exemplo, se você especificar debian-10 como a família de imagens, especifique debian-cloud como o projeto da imagem;
IMAGE: especifique uma destas opções:
- Uma versão específica de uma imagem pública. Por exemplo, uma imagem específica é "sourceImage": "projects/debian-cloud/global/images/debian-10-buster-v20200309", em que debian-cloud é o IMAGE_PROJECT.
- Uma família de imagens. Isso cria a VM a partir da imagem do SO mais recente e não obsoleta. Por exemplo, se você especificar "sourceImage": "projects/debian-cloud/global/images/family/debian-10" em que debian-cloud é o IMAGE_PROJECT, o Compute Engine criará uma VM a partir da versão mais recente da imagem do SO no Debian: 10 famílias de imagens.
TERMINATION_ACTION: opcional: especifique qual ação realizar quando o Compute Engine forçar a interrupção da VM STOP (comportamento padrão) ou DELETE.

Para mais informações sobre as opções que você pode especificar ao criar uma VM, consulte Como criar e iniciar uma instância de VM.

Para criar várias VMs do Spot com as mesmas propriedades, é possível criar um modelo de instância e usar o modelo para criar um grupo gerenciado de instâncias (MIG). Para mais informações, consulte Práticas recomendadas.

Iniciar VMs do Spot

Assim como outras VMs, as VMs do Spot começam na criação. Da mesma forma, se as VMs do Spot forem interrompidas, será possível reiniciá-las para retomar o estado RUNNING. É possível interromper e reiniciar VMs do Spot interrompidas quantas quiser, desde que haja capacidade. Para mais informações, consulte Ciclo de vida da instância da VM.

Se o Compute Engine interromper uma ou mais VMs do Spot em um grupo gerenciado de gerenciadas (MIG, na sigla em inglês) de escalonamento automático ou um cluster do Google Kubernetes Engine (GKE), o grupo reiniciará as VMs quando os recursos ficarem disponíveis novamente.

Identificar o modelo de provisionamento e a ação de encerramento de uma VM

Identifique o modelo de provisionamento de uma VM para ver se ela é uma VM padrão, uma VM do Spot ou uma VM preemptiva. Em uma VM do Spot, também é possível identificar a ação de encerramento. É possível identificar o modelo de provisionamento e a ação de encerramento de uma VM usando o console do Google Cloud, a CLI gcloud ou a API Compute Engine.

Console

Acesse a página Instâncias da VM.

Acessar a página "Instâncias de VM"
Clique no Nome da VM que você quer identificar. A página Detalhes da instância de VM será aberta.
Acesse a seção Gerenciamento na parte inferior da página. Na subseção Políticas de disponibilidade, verifique as seguintes opções:
- Se o Modelo de provisionamento da VM estiver definido como Spot, a VM será uma VM do Spot.
  - No encerramento da VM indica qual ação será realizada quando o Compute Engine forçar a interrupção da VM, seja Parar ou Excluir a VM.
- Caso contrário, se o Modelo de provisionamento da VM estiver definido como Padrão ou —:
  - Se a opção Capacidade de preempção estiver definida como Ativada, a VM será uma VM preemptiva.
  - Caso contrário, a VM será uma VM padrão.

gcloud

Para descrever uma VM na CLI gcloud, use o comando gcloud compute instances describe:

gcloud compute instances describe VM_NAME

em que VM_NAME é o nome da VM que você quer verificar.

Na saída, verifique o campo scheduling para identificar a VM:

Se a saída inclui o campo provisioningModel definido como SPOT, semelhante a este, a VM é uma VM do Spot.
```
...
scheduling:
...
provisioningModel: SPOT
instanceTerminationAction: TERMINATION_ACTION
...
```
em que TERMINATION_ACTION indica qual ação será executada quando o Compute Engine forçar a interrupção da VM, seja parar (STOP) ou excluir (DELETE) a VM. Se o campo instanceTerminationAction estiver ausente, o valor padrão será STOP.
Caso contrário, se a saída inclui o campo provisioningModel definido como standard ou se a saída omite o campo provisioningModel:
- Se a saída inclui o campo preemptible definido como true, a VM é uma VM preemptiva.
- Caso contrário, a VM será uma VM padrão.

REST

Para descrever uma VM a partir da API Compute Engine, use o método instances.get:

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

Substitua:

PROJECT_ID: o ID do projeto em que a VM está;
ZONE: a zona em que está localizada a VM.
VM_NAME: o nome da VM que você quer verificar.

Na saída, verifique o campo scheduling para identificar a VM:

Se a saída inclui o campo provisioningModel definido como SPOT, semelhante a este, a VM é uma VM do Spot.
```
{
  ...
  "scheduling":
  {
     ...
     "provisioningModel": "SPOT",
     "instanceTerminationAction": "TERMINATION_ACTION"
     ...
  },
  ...
}
```
em que TERMINATION_ACTION indica qual ação será executada quando o Compute Engine forçar a interrupção da VM, seja parar (STOP) ou excluir (DELETE) a VM. Se o campo instanceTerminationAction estiver ausente, o valor padrão será STOP.
Caso contrário, se a saída inclui o campo provisioningModel definido como standard ou se a saída omite o campo provisioningModel:
- Se a saída inclui o campo preemptible definido como true, a VM é uma VM preemptiva.
- Caso contrário, a VM será uma VM padrão.

Processar a preempção com um script de desligamento

Quando as VMs do Spot são interrompidas pelo Compute Engine, é possível usar um script de encerramento para executar ações de limpeza antes de cada VM ser interrompida. Por exemplo, é possível interromper normalmente um processo em execução e copiar um arquivo de checkpoint para o Cloud Storage.

Veja a seguir um exemplo de script de encerramento que pode ser adicionado para executar VMs do Spot ou ao criar novas VMs do Spot. Esse script é executado quando a instância começa a ser encerrada e antes que o comando kill normal do sistema operacional interrompa todos os processos restantes. Após o encerramento normal do programa desejado, o script fará o upload paralelo de um arquivo de checkpoint para um bucket do Cloud Storage.

#!/bin/bash

MY_PROGRAM="PROGRAM_NAME" # For example, "apache2" or "nginx"
MY_USER="LOCAL_USER"
CHECKPOINT="/home/$MY_USER/checkpoint.out"
GSUTIL_OPTS="-m -o GSUtil:parallel_composite_upload_threshold=32M"
BUCKET_NAME="BUCKET_NAME" # For example, "my-checkpoint-files" (without gs://)

echo "Shutting down!  Seeing if ${MY_PROGRAM} is running."

# Find the newest copy of $MY_PROGRAM
PID="$(pgrep -n "$MY_PROGRAM")"

if [[ "$?" -ne 0 ]]; then
  echo "${MY_PROGRAM} not running, shutting down immediately."
  exit 0
fi

echo "Sending SIGINT to $PID"
kill -2 "$PID"

# Portable waitpid equivalent
while kill -0 "$PID"; do
   sleep 1
done

echo "$PID is done, copying ${CHECKPOINT} to gs://${BUCKET_NAME} as ${MY_USER}"

su "${MY_USER}" -c "gsutil $GSUTIL_OPTS cp $CHECKPOINT gs://${BUCKET_NAME}/"

echo "Done uploading, shutting down."

Para esse script, presume-se que:

A instância foi criada com pelo menos acesso de leitura/gravação ao Cloud Storage. Para instruções sobre como criar uma VM com os escopos apropriados, consulte a documentação de autenticação.
você tenha um bucket do Cloud Storage e permissão para gravar nele.

Para adicionar esse script a uma VM, configure-o para trabalhar com um aplicativo na VM e adicione-o aos metadados da VM.

Copie ou faça o download do script de encerramento:
- Copie o script de encerramento anterior após substituir:
  - PROGRAM_NAME é o nome do processo ou programa que você quer encerrar; Por exemplo, apache2 ou nginx.
  - LOCAL_USER é o nome de usuário que você usou para fazer login na máquina virtual;
  - BUCKET_NAME é o nome do bucket do Cloud Storage em que você quer salvar o arquivo de checkpoint do programa. Nesse caso, o nome do bucket não começa com gs://.
- Faça o download do script de encerramento na estação de trabalho local e substitua as seguintes variáveis no arquivo:
  - [PROGRAM_NAME] é o nome do processo ou programa que você quer encerrar. Por exemplo, apache2 ou nginx.
  - [LOCAL_USER] é o nome de usuário que você usou para fazer login na máquina virtual.
  - [BUCKET_NAME] é o nome do bucket do Cloud Storage em que você quer salvar o arquivo de checkpoint do programa. Observe que o nome do bucket não começa com gs:// nesse caso.
Adicione o script de encerramento a uma nova VM ou a uma VM atual.

Detectar a preempção das VMs do Spot

Determine se as VMs do Spot foram interrompidas pelo Compute Engine usando o console do Google Cloud, a CLI gcloud ou a API Compute Engine.

Console

É possível verificar se uma VM foi interrompida verificando os registros de atividades do sistema.

No console do Google Cloud, acesse a página Registros.

Ir para os registros
Selecione o projeto e clique em Continuar.
Adicione compute.instances.preempted ao campo filtrar por rótulo ou pesquisa de texto.
Outra opção é inserir um nome de VM se você quiser ver as operações de preempção de uma determinada VM.
Pressione Enter para aplicar os filtros especificados. O console do Google Cloud atualiza a lista de registros para exibir somente as operações em que uma VM foi preemptiva.
Selecione uma operação na lista para ver detalhes sobre a instância que passou por interrupção forçada.

gcloud

Use o comando gcloud compute operations list com um parâmetro de filtro para receber uma lista de eventos de preempção no projeto.

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted"

Também é possível usar outros parâmetros de filtro para ampliar o escopo dos resultados. Por exemplo, para ver eventos de preempção apenas de instâncias dentro de um grupo gerenciado de instâncias, use o seguinte comando:

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted AND targetLink:instances/BASE_INSTANCE_NAME"

em que BASE_INSTANCE_NAME é o nome de base especificado como prefixo para os nomes de todas as VMs nesse grupo gerenciado de instâncias.

A saída será assim:

NAME                  TYPE                         TARGET                                        HTTP_STATUS STATUS TIMESTAMP
systemevent-xxxxxxxx  compute.instances.preempted  us-central1-f/instances/example-instance-xxx  200         DONE   2015-04-02T12:12:10.881-07:00

Um tipo de operação compute.instances.preempted indica que a instância da VM foi interrompida. É possível usar o comando gcloud compute operations describe para mais informações sobre uma determinada operação de preempção.

gcloud compute operations describe SYSTEM_EVENT \
    --zone=ZONE

Substitua:

SYSTEM_EVENT: o evento do sistema na saída do comando gcloud compute operations list. Por exemplo, systemevent-xxxxxxxx.
ZONE: a zona do evento do sistema, por exemplo, us-central1-f.

O resultado será assim:

...
operationType: compute.instances.preempted
progress: 100
selfLink: https://compute.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/operations/systemevent-xxxxxxxx
startTime: '2015-04-02T12:12:10.881-07:00'
status: DONE
statusMessage: Instance was preempted.
...

REST

Para ver uma lista das operações recentes do sistema para um projeto e uma zona específicos, use o método zoneOperations.get.

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/operations

Substitua:

PROJECT_ID: um ID do projeto;
ZONE: uma zona.

Para que a resposta mostre apenas operações de preempção, adicione um filtro à solicitação de API:

operationType="compute.instances.preempted"

Como alternativa, para ver as operações de preempção de uma VM específica, adicione um parâmetro targetLink ao filtro:

operationType="compute.instances.preempted" AND
targetLink="https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

Substitua o seguinte: + PROJECT_ID: o ID do projeto. + ZONE: a zona. + VM_NAME: o nome de uma VM específica nessa zona e projeto.

A resposta contém uma lista das operações recentes. Por exemplo, uma preempção é semelhante a:

{
  "kind": "compute#operation",
  "id": "15041793718812375371",
  "name": "systemevent-xxxxxxxx",
  "zone": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f",
  "operationType": "compute.instances.preempted",
  "targetLink": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/instances/example-instance",
  "targetId": "12820389800990687210",
  "status": "DONE",
  "statusMessage": "Instance was preempted.",
  ...
}

Outra opção é determinar se uma VM passou por interrupção forçada dentro da própria VM. Isso é útil quando você quer lidar com um encerramento decorrente de uma preempção do Compute Engine de maneira diferente de um encerramento normal em um script de encerramento. Para fazer isso, basta verificar o valor preempted do servidor de metadados nos metadados padrão da VM.

Por exemplo, use curl na VM para receber o valor de preempted:

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted" -H "Metadata-Flavor: Google"
TRUE

Se esse valor for TRUE, significa que a VM passou por interrupção forçada pelo Compute Engine. Caso contrário, será FALSE.

Para usar isso fora de um script de encerramento, anexe ?wait_for_change=true ao URL. Será executada uma solicitação HTTP GET pendente que só retorna quando os metadados são alterados e a VM foi interrompida.

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted?wait_for_change=true" -H "Metadata-Flavor: Google"
TRUE

Como testar as configurações de preempção

Para forçar a interrupção, é possível executar eventos de manutenção simulados nas instâncias. Use esse recurso para testar como seus aplicativos processam VMs do Spot. Leia Simular um evento de manutenção do host para aprender a testar eventos de manutenção nas instâncias.

Também é possível interromper a instância de VM para simular a preempção da VM. Isso pode ser usado em vez de simular um evento de manutenção e para evitar limites de cota.

Práticas recomendadas

Veja algumas práticas recomendadas para ajudar você a aproveitar ao máximo as VMs do Spot.

Use modelos de instância. Em vez de criar VMs do Spot uma de cada vez, é possível usar modelos de instância para criar várias VMs do Spot com as mesmas propriedades. Os modelos de instância são necessários para usar MIGs. Outra alternativa possível é criar várias VMs do Spot usando a API de instância em massa.
Use MIGs para distribuir regionalmente e recriar automaticamente as VMs do Spot. Use MIGs para tornar as cargas de trabalho das VMs do Spot mais flexíveis e resilientes. Por exemplo, use MIGs regionais para distribuir VMs em várias zonas, o que ajuda a mitigar erros de disponibilidade de recursos. Além disso, use a recuperação automática para recriar automaticamente as VMs do Spot após a interrupção forçada.
Escolha menores tipos de máquina. Os recursos de VMs do Spot saem da capacidade extra e de backup do Google Cloud. A capacidade de VMs do Spot geralmente é mais fácil para menores tipos de máquinas, o que significa tipos de máquina com menos recursos, como vCPUs e memória. É possível conseguir mais capacidade para VMs do Spot selecionando um menor tipo de máquina personalizado, mas a capacidade é ainda mais provável para menores tipos de máquina predefinidos. Por exemplo, em comparação com a capacidade do tipo de máquina predefinido n2-standard-32, a capacidade para o tipo de máquina personalizado n2-custom-24-96 é mais provável, mas a capacidade para o tipo de máquina predefinido n2-standard-16 é ainda mais provável.
Executar clusters grandes de VMs do Spot durante os horários de pico. A carga nos data centers do Google Cloud varia de acordo com o local e a hora do dia, mas costuma ser mais baixa nas noites e fins de semana. Assim, noites e fins de semana são os melhores momentos para executar grandes clusters de VMs do Spot.
Desenvolver os aplicativos para serem tolerantes a falhas e preempção. É importante se preparar para mudanças nos padrões de preempção em diferentes momentos. Por exemplo, se uma zona sofrer uma interrupção parcial, uma grande quantidade de VMs do Spot poderão ser interrompidas à força para liberar espaço para VMs padrão que precisam ser movidas como parte da recuperação. Nesse pequeno intervalo de tempo, a taxa de preempção será muito diferente de qualquer outro dia. Se seu aplicativo considera que as preempções sempre ocorrem em pequenos grupos, pode ser que você não esteja preparado para um evento desse tipo.
Tentar criar novamente VMs do Spot que foram interrompidas. Se as VMs do Spot tiverem sido interrompidas, tente criar novas VMs do Spot uma ou duas vezes antes de voltar às VMs padrão. Dependendo dos seus requisitos, é recomendável combinar VMs padrão e do Spot nos clusters para garantir que o trabalho ocorra em um ritmo adequado.
Usar scripts de encerramento. Gerencie avisos de interrupção e de preempção com um script de encerramento que salva o progresso de um job. Dessa forma, é possível continuar de onde você parou em vez de começar do zero.

A seguir

Conecte-se à instância da VM.
Saiba mais sobre scripts de encerramento.
Saiba como limitar o ambiente de execução de uma VM.
Saiba mais sobre modelos de instância.
Saiba mais sobre MIGs.