Creare e utilizzare VM Spot

Questa pagina spiega come creare e gestire le VM spot, tra cui:

  • Come creare, avviare e identificare le VM Spot
  • Come rilevare, gestire e testare la preemption delle VM spot
  • Best practice per le VM spot

Le VM spot sono istanze di macchine virtuali (VM) con il modello di provisioning spot. Le VM Spot sono disponibili con uno sconto fino al 60-91% rispetto al prezzo delle VM standard. Tuttavia, Compute Engine potrebbe recuperare le risorse prerilasciando le VM spot in qualsiasi momento. Le VM spot sono consigliate solo per le applicazioni a tolleranza di errore che possono resistere al prerilascio delle VM. Prima di decidere di creare VM Spot, assicurati che la tua applicazione possa gestire la preemption.

Prima di iniziare

  • Leggi la documentazione concettuale relativa alle VM spot:
    • Esamina le limitazioni e i prezzi delle VM spot.
    • Per evitare che le VM Spot consumino le quote per CPU, GPU e dischi delle VM standard, ti consigliamo di richiedere una quota preassegnata per le VM Spot.
  • Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione è la procedura mediante la quale la tua identità viene verificata per l'accesso alle API e ai servizi Google Cloud. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    1. Install the Google Cloud CLI, then initialize it by running the following command: 

      gcloud init
    2. Set a default region and zone.

      3. Terraform

      Per utilizzare gli esempi di Terraform in questa pagina in un ambiente di sviluppo locale, installa e inizializza gcloud CLI, quindi configura le Credenziali predefinite dell'applicazione con le tue credenziali utente.

      1. Install the Google Cloud CLI.

      2. To initialize the gcloud CLI, run the following command: 

        gcloud init

      3. If you're using a local shell, then create local authentication credentials for your user account: 

        gcloud auth application-default login

        You don't need to do this if you're using Cloud Shell.

      Per ulteriori informazioni, consulta Set up authentication for a local development environment.

      REST

      Per utilizzare gli esempi dell'API REST in questa pagina in un ambiente di sviluppo locale, utilizza le credenziali fornite a gcloud CLI.

        Install the Google Cloud CLI, then initialize it by running the following command: 

        gcloud init

      Per ulteriori informazioni, consulta Eseguire l'autenticazione per l'utilizzo di REST nella documentazione sull'autenticazione di Google Cloud.

Crea una VM Spot

Crea una VM spot utilizzando la console Google Cloud, gcloud CLI o l'API Compute Engine. Una VM spot è qualsiasi VM configurata per utilizzare il modello di provisioning spot:

  • Modello di provisioning delle VM impostato su Spot nella console Google Cloud
  • --provisioning-model=SPOT nell'interfaccia alla gcloud CLI
  • "provisioningModel": "SPOT" nell'API Compute Engine

Console

  1. Nella console Google Cloud, vai alla pagina Crea un'istanza.

    Vai a Crea un'istanza

  2. Poi:

    1. Nella sezione Criteri di disponibilità, seleziona Spot dall'elenco Modello di provisioning delle VM. Questa impostazione disattiva le opzioni di riavvio automatico e manutenzione dell'host per la VM e attiva l'opzione di azione di terminazione.
    2. (Facoltativo) Nell'elenco Al termine della VM, seleziona cosa succede quando Compute Engine esegue la preemption della VM:
      • Per arrestare la VM durante la preemption, seleziona Interrompi (predefinito).
      • Per eliminare la VM durante la prelazione, seleziona Elimina.

  3. (Facoltativo) Specifica altre opzioni della VM. Per ulteriori informazioni, consulta Creazione e avvio di un'istanza VM.

  4. Per creare e avviare la VM, fai clic su Crea.

gcloud

Per creare una VM dall'interfaccia alla gcloud CLI, utilizza il comando gcloud compute instances create. Per creare VM Spot, devi includere il flag --provisioning-model=SPOT. Se vuoi, puoi anche specificare un'azione di terminazione per le VM Spot includendo anche il flag --instance-termination-action.

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

Sostituisci quanto segue:

  • VM_NAME: name della nuova VM.
  • TERMINATION_ACTION: facoltativo. Specifica l'azione da intraprendere quando Compute Engine esegue la preemption della VM, STOP (comportamento predefinito) o DELETE.

Per ulteriori informazioni sulle opzioni che puoi specificare durante la creazione di una VM, consulta Creazione e avvio di un'istanza VM. Ad esempio, per creare VM spot con un tipo di macchina e un'immagine specificati, utilizza il seguente comando:

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    [--image=IMAGE | --image-family=IMAGE_FAMILY] \
    --image-project=IMAGE_PROJECT \
    --machine-type=MACHINE_TYPE \
    --instance-termination-action=TERMINATION_ACTION

Sostituisci quanto segue:

  • VM_NAME: name della nuova VM.
  • IMAGE: specifica una delle seguenti opzioni:
    • IMAGE: una versione specifica di un'immagine pubblica o della famiglia di immagini. Ad esempio, un'immagine specifica è --image=debian-10-buster-v20200309.
    • Una famiglia di immagini. In questo modo viene creata la VM dall'immagine del sistema operativo più recente e non ritirata. Ad esempio, se specifichi --image-family=debian-10, Compute Engine crea una VM dalla versione più recente dell'immagine del sistema operativo nella famiglia di immagini Debian 10.
  • IMAGE_PROJECT: il progetto contenente l'immagine. Ad esempio, se specifichi debian-10 come famiglia di immagini, specifica debian-cloud come progetto di immagini.
  • MACHINE_TYPE: il tipo di macchina predefinito o personalizzato per la nuova VM.

  • TERMINATION_ACTION: facoltativo. Specifica l'azione da intraprendere quando Compute Engine esegue la preemption della VM, STOP (comportamento predefinito) o DELETE.

    Per ottenere un elenco dei tipi di macchine disponibili in una zona, utilizza il comando gcloud compute machine-types list con il flag --zones.

Terraform

Puoi utilizzare una risorsa Terraform per creare un'istanza spot utilizzando il blocco di pianificazione


resource "google_compute_instance" "spot_vm_instance" {
  name         = "spot-instance-name"
  machine_type = "f1-micro"
  zone         = "us-central1-c"

  boot_disk {
    initialize_params {
      image = "debian-cloud/debian-11"
    }
  }

  scheduling {
    preemptible                 = true
    automatic_restart           = false
    provisioning_model          = "SPOT"
    instance_termination_action = "STOP"
  }

  network_interface {
    # A default network is created for all GCP projects
    network = "default"
    access_config {
    }
  }
}

REST

Per creare una VM dall'API Compute Engine, utilizza il metodo instances.insert. Devi specificare un tipo di macchina e un nome per la VM. Se vuoi, puoi anche specificare un'immagine per il disco di avvio.

Per creare VM spot, devi includere il campo "provisioningModel": spot. Se vuoi, puoi anche specificare un'azione di terminazione per le VM spot includendo anche il campo "instanceTerminationAction".

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
 "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
 "name": "VM_NAME",
 "disks": [
   {
     "initializeParams": {
       "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE"
     },
     "boot": true
   }
 ]
 "scheduling":
 {
     "provisioningModel": "SPOT",
     "instanceTerminationAction": "TERMINATION_ACTION"
 },
 ...
}

Sostituisci quanto segue:

  • PROJECT_ID: il project id del progetto in cui creare la VM.
  • ZONE: la zona in cui creare la VM. La zona deve supportare anche il tipo di macchina da utilizzare per la nuova VM.
  • MACHINE_TYPE: il tipo di macchina predefinito o personalizzato per la nuova VM.
  • VM_NAME: il nome della nuova VM.
  • IMAGE_PROJECT: il progetto contenente l'immagine. Ad esempio, se specifichi family/debian-10 come famiglia di immagini, specifica debian-cloud come progetto di immagini.
  • IMAGE: specifica una delle seguenti opzioni:
    • Una versione specifica di un'immagine pubblica. Ad esempio, un'immagine specifica è "sourceImage": "projects/debian-cloud/global/images/debian-10-buster-v20200309" dove debian-cloud è il IMAGE_PROJECT.
    • Una famiglia di immagini. In questo modo viene creata la VM dall'immagine del sistema operativo più recente e non ritirata. Ad esempio, se specifichi "sourceImage": "projects/debian-cloud/global/images/family/debian-10" dove debian-cloud è il IMAGE_PROJECT, Compute Engine crea una VM dalla versione più recente dell'immagine del sistema operativo nella famiglia di immagini Debian 10.
  • TERMINATION_ACTION: facoltativo. Specifica l'azione da intraprendere quando Compute Engine esegue la preemption della VM, STOP (comportamento predefinito) o DELETE.

Per ulteriori informazioni sulle opzioni che puoi specificare durante la creazione di una VM, consulta Creazione e avvio di un'istanza VM.

Vai 


import (
	"context"
	"fmt"
	"io"

	compute "cloud.google.com/go/compute/apiv1"
	"cloud.google.com/go/compute/apiv1/computepb"
	"google.golang.org/protobuf/proto"
)

// createSpotInstance creates a new Spot VM instance with Debian 10 operating system.
func createSpotInstance(w io.Writer, projectID, zone, instanceName string) error {
	// projectID := "your_project_id"
	// zone := "europe-central2-b"
	// instanceName := "your_instance_name"

	ctx := context.Background()
	imagesClient, err := compute.NewImagesRESTClient(ctx)
	if err != nil {
		return fmt.Errorf("NewImagesRESTClient: %w", err)
	}
	defer imagesClient.Close()

	instancesClient, err := compute.NewInstancesRESTClient(ctx)
	if err != nil {
		return fmt.Errorf("NewInstancesRESTClient: %w", err)
	}
	defer instancesClient.Close()

	req := &computepb.GetFromFamilyImageRequest{
		Project: "debian-cloud",
		Family:  "debian-11",
	}

	image, err := imagesClient.GetFromFamily(ctx, req)
	if err != nil {
		return fmt.Errorf("getImageFromFamily: %w", err)
	}

	diskType := fmt.Sprintf("zones/%s/diskTypes/pd-standard", zone)
	disks := []*computepb.AttachedDisk{
		{
			AutoDelete: proto.Bool(true),
			Boot:       proto.Bool(true),
			InitializeParams: &computepb.AttachedDiskInitializeParams{
				DiskSizeGb:  proto.Int64(10),
				DiskType:    proto.String(diskType),
				SourceImage: proto.String(image.GetSelfLink()),
			},
			Type: proto.String(computepb.AttachedDisk_PERSISTENT.String()),
		},
	}

	req2 := &computepb.InsertInstanceRequest{
		Project: projectID,
		Zone:    zone,
		InstanceResource: &computepb.Instance{
			Name:        proto.String(instanceName),
			Disks:       disks,
			MachineType: proto.String(fmt.Sprintf("zones/%s/machineTypes/%s", zone, "n1-standard-1")),
			NetworkInterfaces: []*computepb.NetworkInterface{
				{
					Name: proto.String("global/networks/default"),
				},
			},
			Scheduling: &computepb.Scheduling{
				ProvisioningModel: proto.String(computepb.Scheduling_SPOT.String()),
			},
		},
	}
	op, err := instancesClient.Insert(ctx, req2)
	if err != nil {
		return fmt.Errorf("insert: %w", err)
	}

	if err = op.Wait(ctx); err != nil {
		return fmt.Errorf("unable to wait for the operation: %w", err)
	}

	instance, err := instancesClient.Get(ctx, &computepb.GetInstanceRequest{
		Project:  projectID,
		Zone:     zone,
		Instance: instanceName,
	})

	if err != nil {
		return fmt.Errorf("createInstance: %w", err)
	}

	fmt.Fprintf(w, "Instance created: %v\n", instance)
	return nil
}

Java 


import com.google.cloud.compute.v1.AccessConfig;
import com.google.cloud.compute.v1.AccessConfig.Type;
import com.google.cloud.compute.v1.Address.NetworkTier;
import com.google.cloud.compute.v1.AttachedDisk;
import com.google.cloud.compute.v1.AttachedDiskInitializeParams;
import com.google.cloud.compute.v1.ImagesClient;
import com.google.cloud.compute.v1.InsertInstanceRequest;
import com.google.cloud.compute.v1.Instance;
import com.google.cloud.compute.v1.InstancesClient;
import com.google.cloud.compute.v1.NetworkInterface;
import com.google.cloud.compute.v1.Scheduling;
import com.google.cloud.compute.v1.Scheduling.ProvisioningModel;
import java.io.IOException;
import java.util.UUID;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateSpotVm {
  public static void main(String[] args)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to use.
    String projectId = "your-project-id";
    // Name of the virtual machine to check.
    String instanceName = "your-instance-name";
    // Name of the zone you want to use. For example: "us-west3-b"
    String zone = "your-zone";

    createSpotInstance(projectId, instanceName, zone);
  }

  // Create a new Spot VM instance with Debian 11 operating system.
  public static Instance createSpotInstance(String projectId, String instanceName, String zone)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    String image;
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (ImagesClient imagesClient = ImagesClient.create()) {
      image = imagesClient.getFromFamily("debian-cloud", "debian-11").getSelfLink();
    }
    AttachedDisk attachedDisk = buildAttachedDisk(image, zone);
    String machineTypes = String.format("zones/%s/machineTypes/%s", zone, "n1-standard-1");

    // Send an instance creation request to the Compute Engine API and wait for it to complete.
    Instance instance =
            createInstance(projectId, zone, instanceName, attachedDisk, true, machineTypes, false);

    System.out.printf("Spot instance '%s' has been created successfully", instance.getName());

    return instance;
  }

  // disks: a list of compute_v1.AttachedDisk objects describing the disks
  //     you want to attach to your new instance.
  // machine_type: machine type of the VM being created. This value uses the
  //     following format: "zones/{zone}/machineTypes/{type_name}".
  //     For example: "zones/europe-west3-c/machineTypes/f1-micro"
  // external_access: boolean flag indicating if the instance should have an external IPv4
  //     address assigned.
  // spot: boolean value indicating if the new instance should be a Spot VM or not.
  private static Instance createInstance(String projectId, String zone, String instanceName,
                                         AttachedDisk disk, boolean isSpot, String machineType,
                                         boolean externalAccess)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (InstancesClient client = InstancesClient.create()) {
      Instance instanceResource =
              buildInstanceResource(instanceName, disk, machineType, externalAccess, isSpot);

      InsertInstanceRequest build = InsertInstanceRequest.newBuilder()
              .setProject(projectId)
              .setRequestId(UUID.randomUUID().toString())
              .setZone(zone)
              .setInstanceResource(instanceResource)
              .build();
      client.insertCallable().futureCall(build).get(60, TimeUnit.SECONDS);

      return client.get(projectId, zone, instanceName);
    }
  }

  private static Instance buildInstanceResource(String instanceName, AttachedDisk disk,
                                                String machineType, boolean externalAccess,
                                                boolean isSpot) {
    NetworkInterface networkInterface =
            networkInterface(externalAccess);
    Instance.Builder builder = Instance.newBuilder()
            .setName(instanceName)
            .addDisks(disk)
            .setMachineType(machineType)
            .addNetworkInterfaces(networkInterface);

    if (isSpot) {
      // Set the Spot VM setting
      Scheduling.Builder scheduling = builder.getScheduling()
              .toBuilder()
              .setProvisioningModel(ProvisioningModel.SPOT.name())
              .setInstanceTerminationAction("STOP");
      builder.setScheduling(scheduling);
    }

    return builder.build();
  }

  private static NetworkInterface networkInterface(boolean externalAccess) {
    NetworkInterface.Builder build = NetworkInterface.newBuilder()
            .setNetwork("global/networks/default");

    if (externalAccess) {
      AccessConfig.Builder accessConfig = AccessConfig.newBuilder()
              .setType(Type.ONE_TO_ONE_NAT.name())
              .setName("External NAT")
              .setNetworkTier(NetworkTier.PREMIUM.name());
      build.addAccessConfigs(accessConfig.build());
    }

    return build.build();
  }

  private static AttachedDisk buildAttachedDisk(String sourceImage, String zone) {
    AttachedDiskInitializeParams initializeParams = AttachedDiskInitializeParams.newBuilder()
            .setSourceImage(sourceImage)
            .setDiskSizeGb(10)
            .setDiskType(String.format("zones/%s/diskTypes/pd-standard", zone))
            .build();
    return AttachedDisk.newBuilder()
            .setInitializeParams(initializeParams)
            // Remember to set auto_delete to True if you want the disk to be deleted
            // when you delete your VM instance.
            .setAutoDelete(true)
            .setBoot(true)
            .build();
  }
}

Python 

from __future__ import annotations

import re
import sys
from typing import Any
import warnings

from google.api_core.extended_operation import ExtendedOperation
from google.cloud import compute_v1


def get_image_from_family(project: str, family: str) -> compute_v1.Image:
    """
    Retrieve the newest image that is part of a given family in a project.

    Args:
        project: project ID or project number of the Cloud project you want to get image from.
        family: name of the image family you want to get image from.

    Returns:
        An Image object.
    """
    image_client = compute_v1.ImagesClient()
    # List of public operating system (OS) images: https://cloud.google.com/compute/docs/images/os-details
    newest_image = image_client.get_from_family(project=project, family=family)
    return newest_image


def disk_from_image(
    disk_type: str,
    disk_size_gb: int,
    boot: bool,
    source_image: str,
    auto_delete: bool = True,
) -> compute_v1.AttachedDisk:
    """
    Create an AttachedDisk object to be used in VM instance creation. Uses an image as the
    source for the new disk.

    Args:
         disk_type: the type of disk you want to create. This value uses the following format:
            "zones/{zone}/diskTypes/(pd-standard|pd-ssd|pd-balanced|pd-extreme)".
            For example: "zones/us-west3-b/diskTypes/pd-ssd"
        disk_size_gb: size of the new disk in gigabytes
        boot: boolean flag indicating whether this disk should be used as a boot disk of an instance
        source_image: source image to use when creating this disk. You must have read access to this disk. This can be one
            of the publicly available images or an image from one of your projects.
            This value uses the following format: "projects/{project_name}/global/images/{image_name}"
        auto_delete: boolean flag indicating whether this disk should be deleted with the VM that uses it

    Returns:
        AttachedDisk object configured to be created using the specified image.
    """
    boot_disk = compute_v1.AttachedDisk()
    initialize_params = compute_v1.AttachedDiskInitializeParams()
    initialize_params.source_image = source_image
    initialize_params.disk_size_gb = disk_size_gb
    initialize_params.disk_type = disk_type
    boot_disk.initialize_params = initialize_params
    # Remember to set auto_delete to True if you want the disk to be deleted when you delete
    # your VM instance.
    boot_disk.auto_delete = auto_delete
    boot_disk.boot = boot
    return boot_disk


def wait_for_extended_operation(
    operation: ExtendedOperation, verbose_name: str = "operation", timeout: int = 300
) -> Any:
    """
    Waits for the extended (long-running) operation to complete.

    If the operation is successful, it will return its result.
    If the operation ends with an error, an exception will be raised.
    If there were any warnings during the execution of the operation
    they will be printed to sys.stderr.

    Args:
        operation: a long-running operation you want to wait on.
        verbose_name: (optional) a more verbose name of the operation,
            used only during error and warning reporting.
        timeout: how long (in seconds) to wait for operation to finish.
            If None, wait indefinitely.

    Returns:
        Whatever the operation.result() returns.

    Raises:
        This method will raise the exception received from `operation.exception()`
        or RuntimeError if there is no exception set, but there is an `error_code`
        set for the `operation`.

        In case of an operation taking longer than `timeout` seconds to complete,
        a `concurrent.futures.TimeoutError` will be raised.
    """
    result = operation.result(timeout=timeout)

    if operation.error_code:
        print(
            f"Error during {verbose_name}: [Code: {operation.error_code}]: {operation.error_message}",
            file=sys.stderr,
            flush=True,
        )
        print(f"Operation ID: {operation.name}", file=sys.stderr, flush=True)
        raise operation.exception() or RuntimeError(operation.error_message)

    if operation.warnings:
        print(f"Warnings during {verbose_name}:\n", file=sys.stderr, flush=True)
        for warning in operation.warnings:
            print(f" - {warning.code}: {warning.message}", file=sys.stderr, flush=True)

    return result


def create_instance(
    project_id: str,
    zone: str,
    instance_name: str,
    disks: list[compute_v1.AttachedDisk],
    machine_type: str = "n1-standard-1",
    network_link: str = "global/networks/default",
    subnetwork_link: str = None,
    internal_ip: str = None,
    external_access: bool = False,
    external_ipv4: str = None,
    accelerators: list[compute_v1.AcceleratorConfig] = None,
    preemptible: bool = False,
    spot: bool = False,
    instance_termination_action: str = "STOP",
    custom_hostname: str = None,
    delete_protection: bool = False,
) -> compute_v1.Instance:
    """
    Send an instance creation request to the Compute Engine API and wait for it to complete.

    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        zone: name of the zone to create the instance in. For example: "us-west3-b"
        instance_name: name of the new virtual machine (VM) instance.
        disks: a list of compute_v1.AttachedDisk objects describing the disks
            you want to attach to your new instance.
        machine_type: machine type of the VM being created. This value uses the
            following format: "zones/{zone}/machineTypes/{type_name}".
            For example: "zones/europe-west3-c/machineTypes/f1-micro"
        network_link: name of the network you want the new instance to use.
            For example: "global/networks/default" represents the network
            named "default", which is created automatically for each project.
        subnetwork_link: name of the subnetwork you want the new instance to use.
            This value uses the following format:
            "regions/{region}/subnetworks/{subnetwork_name}"
        internal_ip: internal IP address you want to assign to the new instance.
            By default, a free address from the pool of available internal IP addresses of
            used subnet will be used.
        external_access: boolean flag indicating if the instance should have an external IPv4
            address assigned.
        external_ipv4: external IPv4 address to be assigned to this instance. If you specify
            an external IP address, it must live in the same region as the zone of the instance.
            This setting requires `external_access` to be set to True to work.
        accelerators: a list of AcceleratorConfig objects describing the accelerators that will
            be attached to the new instance.
        preemptible: boolean value indicating if the new instance should be preemptible
            or not. Preemptible VMs have been deprecated and you should now use Spot VMs.
        spot: boolean value indicating if the new instance should be a Spot VM or not.
        instance_termination_action: What action should be taken once a Spot VM is terminated.
            Possible values: "STOP", "DELETE"
        custom_hostname: Custom hostname of the new VM instance.
            Custom hostnames must conform to RFC 1035 requirements for valid hostnames.
        delete_protection: boolean value indicating if the new virtual machine should be
            protected against deletion or not.
    Returns:
        Instance object.
    """
    instance_client = compute_v1.InstancesClient()

    # Use the network interface provided in the network_link argument.
    network_interface = compute_v1.NetworkInterface()
    network_interface.network = network_link
    if subnetwork_link:
        network_interface.subnetwork = subnetwork_link

    if internal_ip:
        network_interface.network_i_p = internal_ip

    if external_access:
        access = compute_v1.AccessConfig()
        access.type_ = compute_v1.AccessConfig.Type.ONE_TO_ONE_NAT.name
        access.name = "External NAT"
        access.network_tier = access.NetworkTier.PREMIUM.name
        if external_ipv4:
            access.nat_i_p = external_ipv4
        network_interface.access_configs = [access]

    # Collect information into the Instance object.
    instance = compute_v1.Instance()
    instance.network_interfaces = [network_interface]
    instance.name = instance_name
    instance.disks = disks
    if re.match(r"^zones/[a-z\d\-]+/machineTypes/[a-z\d\-]+$", machine_type):
        instance.machine_type = machine_type
    else:
        instance.machine_type = f"zones/{zone}/machineTypes/{machine_type}"

    instance.scheduling = compute_v1.Scheduling()
    if accelerators:
        instance.guest_accelerators = accelerators
        instance.scheduling.on_host_maintenance = (
            compute_v1.Scheduling.OnHostMaintenance.TERMINATE.name
        )

    if preemptible:
        # Set the preemptible setting
        warnings.warn(
            "Preemptible VMs are being replaced by Spot VMs.", DeprecationWarning
        )
        instance.scheduling = compute_v1.Scheduling()
        instance.scheduling.preemptible = True

    if spot:
        # Set the Spot VM setting
        instance.scheduling.provisioning_model = (
            compute_v1.Scheduling.ProvisioningModel.SPOT.name
        )
        instance.scheduling.instance_termination_action = instance_termination_action

    if custom_hostname is not None:
        # Set the custom hostname for the instance
        instance.hostname = custom_hostname

    if delete_protection:
        # Set the delete protection bit
        instance.deletion_protection = True

    # Prepare the request to insert an instance.
    request = compute_v1.InsertInstanceRequest()
    request.zone = zone
    request.project = project_id
    request.instance_resource = instance

    # Wait for the create operation to complete.
    print(f"Creating the {instance_name} instance in {zone}...")

    operation = instance_client.insert(request=request)

    wait_for_extended_operation(operation, "instance creation")

    print(f"Instance {instance_name} created.")
    return instance_client.get(project=project_id, zone=zone, instance=instance_name)


def create_spot_instance(
    project_id: str, zone: str, instance_name: str
) -> compute_v1.Instance:
    """
    Create a new Spot VM instance with Debian 10 operating system.

    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        zone: name of the zone to create the instance in. For example: "us-west3-b"
        instance_name: name of the new virtual machine (VM) instance.

    Returns:
        Instance object.
    """
    newest_debian = get_image_from_family(project="debian-cloud", family="debian-11")
    disk_type = f"zones/{zone}/diskTypes/pd-standard"
    disks = [disk_from_image(disk_type, 10, True, newest_debian.self_link)]
    instance = create_instance(project_id, zone, instance_name, disks, spot=True)
    return instance

Per creare più VM Spot con le stesse proprietà, puoi creare un modello di istanza, e utilizzare il modello per creare un gruppo di istanze gestite (MIG). Per saperne di più, consulta le best practice.

Avvia le VM spot

Come le altre VM, le VM spot vengono avviate al momento della creazione. Analogamente, se le VM spot sono arrestate, puoi riavviare le VM per riprendere lo stato RUNNING. Puoi arrestare e riavviare le VM spot preempted tutte le volte che vuoi, a condizione che sia disponibile la capacità. Per ulteriori informazioni, consulta Ciclo di vita delle istanze VM.

Se Compute Engine arresta una o più VM spot in un gruppo di istanze gestite con scalabilità automatica o in un cluster Google Kubernetes Engine (GKE), il gruppo riavvia le VM quando le risorse diventano di nuovo disponibili.

Identificare il modello di provisioning e l'azione di terminazione di una VM

Identifica il modello di provisioning di una VM per capire se si tratta di una VM standard, di una VM spot o di una VM prerilasciabile. Per una VM spot, puoi anche identificare l'azione di terminazione. Puoi identificare il modello di provisioning e l'azione di interruzione di una VM utilizzando la console Google Cloud, gcloud CLI o l'API Compute Engine.

Console

  1. Vai alla pagina Istanze VM.

    Vai alla pagina Istanze VM

  2. Fai clic sul nome della VM che vuoi identificare. Viene visualizzata la pagina Dettagli dell'istanza VM.

  3. Vai alla sezione Gestione nella parte inferiore della pagina. Nella sezione Criteri di disponibilità, seleziona le seguenti opzioni:

    • Se il modello di provisioning delle VM è impostato su Spot, la VM è una VM spot.
      • Al termine della VM indica l'azione da intraprendere quando Compute Engine prerilascia la VM: Arresta o Elimina.
    • In caso contrario, se il modello di provisioning delle VM è impostato su Standard o —:
      • Se l'opzione Prerilasciabilità è impostata su On, la VM è prerilasciabile.
      • In caso contrario, la VM è una VM standard.

gcloud

Per descrivere una VM dallgcloud CLI, utilizza il comando gcloud compute instances describe:

gcloud compute instances describe VM_NAME

dove VM_NAME è il nome della VM che vuoi controllare.

Nell'output, controlla il campo scheduling per identificare la VM:

  • Se l'output include il campo provisioningModel impostato su SPOT, simile al seguente, la VM è una VM Spot.

    ...
scheduling:
...
provisioningModel: SPOT
instanceTerminationAction: TERMINATION_ACTION
...

    dove TERMINATION_ACTION indica l'azione da intraprendere quando Compute Engine prerilascia la VM, ovvero arresta (STOP) o elimina (DELETE) la VM. Se il campo instanceTerminationAction non è presente, il valore predefinito è STOP.

  • In caso contrario, se l'output include il campo provisioningModel impostato su standard o se l'output omette il campo provisioningModel:

    • Se l'output include il campo preemptible impostato su true, la VM è una VM prerilasciabile.
    • In caso contrario, la VM è una VM standard.

REST

Per descrivere una VM dall'API Compute Engine, utilizza il metodo instances.get:

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

Sostituisci quanto segue:

  • PROJECT_ID: il project id del progetto in cui si trova la VM.
  • ZONE: la zona in cui si trova la VM.
  • VM_NAME: il nome della VM che vuoi controllare.

Nell'output, controlla il campo scheduling per identificare la VM:

  • Se l'output include il campo provisioningModel impostato su SPOT, simile al seguente, la VM è una VM Spot.

    {
  ...
  "scheduling":
  {
     ...
     "provisioningModel": "SPOT",
     "instanceTerminationAction": "TERMINATION_ACTION"
     ...
  },
  ...
}

    dove TERMINATION_ACTION indica l'azione da intraprendere quando Compute Engine prerilascia la VM, ovvero arresta (STOP) o elimina (DELETE) la VM. Se il campo instanceTerminationAction non è presente, il valore predefinito è STOP.

  • In caso contrario, se l'output include il campo provisioningModel impostato su standard o se l'output omette il campo provisioningModel:

    • Se l'output include il campo preemptible impostato su true, la VM è una VM prerilasciabile.
    • In caso contrario, la VM è una VM standard.

Vai 


import (
	"context"
	"fmt"
	"io"

	compute "cloud.google.com/go/compute/apiv1"
	"cloud.google.com/go/compute/apiv1/computepb"
)

// isSpotVM checks if a given instance is a Spot VM or not.
func isSpotVM(w io.Writer, projectID, zone, instanceName string) (bool, error) {
	// projectID := "your_project_id"
	// zone := "europe-central2-b"
	// instanceName := "your_instance_name"
	ctx := context.Background()
	client, err := compute.NewInstancesRESTClient(ctx)
	if err != nil {
		return false, fmt.Errorf("NewInstancesRESTClient: %w", err)
	}
	defer client.Close()

	req := &computepb.GetInstanceRequest{
		Project:  projectID,
		Zone:     zone,
		Instance: instanceName,
	}

	instance, err := client.Get(ctx, req)
	if err != nil {
		return false, fmt.Errorf("GetInstance: %w", err)
	}

	isSpot := instance.GetScheduling().GetProvisioningModel() == computepb.Scheduling_SPOT.String()

	var isSpotMessage string
	if !isSpot {
		isSpotMessage = " not"
	}
	fmt.Fprintf(w, "Instance %s is%s spot\n", instanceName, isSpotMessage)

	return instance.GetScheduling().GetProvisioningModel() == computepb.Scheduling_SPOT.String(), nil
}

Java 


import com.google.cloud.compute.v1.Instance;
import com.google.cloud.compute.v1.InstancesClient;
import com.google.cloud.compute.v1.Scheduling;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeoutException;

public class CheckIsSpotVm {
  public static void main(String[] args)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to use.
    String projectId = "your-project-id";
    // Name of the virtual machine to check.
    String instanceName = "your-route-name";
    // Name of the zone you want to use. For example: "us-west3-b"
    String zone = "your-zone";

    boolean isSpotVm = isSpotVm(projectId, instanceName, zone);
    System.out.printf("Is %s spot VM instance - %s", instanceName, isSpotVm);
  }

  // Check if a given instance is Spot VM or not.
  public static boolean isSpotVm(String projectId, String instanceName, String zone)
          throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (InstancesClient client = InstancesClient.create()) {
      Instance instance = client.get(projectId, zone, instanceName);

      return instance.getScheduling().getProvisioningModel()
              .equals(Scheduling.ProvisioningModel.SPOT.name());
    }
  }
}

Python 

from google.cloud import compute_v1


def is_spot_vm(project_id: str, zone: str, instance_name: str) -> bool:
    """
    Check if a given instance is Spot VM or not.
    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        zone: name of the zone you want to use. For example: "us-west3-b"
        instance_name: name of the virtual machine to check.
    Returns:
        The Spot VM status of the instance.
    """
    instance_client = compute_v1.InstancesClient()
    instance = instance_client.get(
        project=project_id, zone=zone, instance=instance_name
    )
    return (
        instance.scheduling.provisioning_model
        == compute_v1.Scheduling.ProvisioningModel.SPOT.name
    )

Gestire la preemption con uno script di chiusura

Quando Compute Engine preleva una VM spot, puoi utilizzare uno script di arresto per provare a eseguire azioni di pulizia prima che la VM venga prelevata. Ad esempio, puoi arrestare gradualmente un processo in esecuzione e copiare un file di checkpoint in Cloud Storage. In particolare, la durata massima del periodo di arresto è inferiore per una notifica di prerilascio rispetto a un arresto avviato dall'utente. Per ulteriori informazioni sul periodo di spegnimento per una notifica di prelazione, consulta la sezione Procedura di prelazione nella documentazione concettuale delle VM spot.

Di seguito è riportato un esempio di script di arresto che puoi aggiungere a una VM spot in esecuzione o durante la creazione di una nuova VM spot. Questo script viene eseguito quando la VM inizia a arrestarsi, prima che il normale comando kill del sistema operativo interrompa tutte le altre procedure. Dopo aver interrotto correttamente il programma desiderato, lo script esegue un caricamento parallelo di un file di checkpoint in un bucket Cloud Storage.

#!/bin/bash

MY_PROGRAM="PROGRAM_NAME" # For example, "apache2" or "nginx"
MY_USER="LOCAL_USER"
CHECKPOINT="/home/$MY_USER/checkpoint.out"
BUCKET_NAME="BUCKET_NAME" # For example, "my-checkpoint-files" (without gs://)

echo "Shutting down!  Seeing if ${MY_PROGRAM} is running."

# Find the newest copy of $MY_PROGRAM
PID="$(pgrep -n "$MY_PROGRAM")"

if [[ "$?" -ne 0 ]]; then
  echo "${MY_PROGRAM} not running, shutting down immediately."
  exit 0
fi

echo "Sending SIGINT to $PID"
kill -2 "$PID"

# Portable waitpid equivalent
while kill -0 "$PID"; do
   sleep 1
done

echo "$PID is done, copying ${CHECKPOINT} to gs://${BUCKET_NAME} as ${MY_USER}"

su "${MY_USER}" -c "gcloud storage cp $CHECKPOINT gs://${BUCKET_NAME}/"

echo "Done uploading, shutting down."

Questo script presuppone quanto segue:

  • La VM è stata creata con almeno accesso in lettura/scrittura a Cloud Storage. Per istruzioni su come creare una VM con gli ambiti appropriati, consulta la documentazione sull'autenticazione.

  • Hai un bucket Cloud Storage esistente e l'autorizzazione per scrivere al suo interno.

Per aggiungere questo script a una VM, configuralo in modo che funzioni con un'applicazione sulla VM e aggiungilo ai metadati della VM.

  1. Copia o scarica lo script di chiusura:

    • Copia lo script di arresto precedente dopo aver sostituito quanto segue:

      • PROGRAM_NAME è il nome del processo o del programma che vuoi arrestare. Ad esempio, apache2 o nginx.
      • LOCAL_USER è il nome utente con cui hai eseguito l'accesso alla macchina virtuale.
      • BUCKET_NAME è il nome del bucket Cloud Storage in cui vuoi salvare il file checkpoint del programma. Tieni presente che in questo caso il nome del bucket non inizia con gs://.

    • Scarica lo script di arresto sulla tua workstation locale, quindi sostituisci le seguenti variabili nel file:

      • [PROGRAM_NAME] è il nome del processo o del programma che vuoi arrestare. Ad esempio, apache2 o nginx.
      • [LOCAL_USER] è il nome utente con cui hai eseguito l'accesso alla macchina virtuale.
      • [BUCKET_NAME] è il nome del bucket Cloud Storage in cui vuoi salvare il file checkpoint del programma. Tieni presente che in questo caso il nome del bucket non inizia con gs://.

  2. Aggiungi lo script di arresto a una nuova VM o a una VM esistente.

Rilevare la preemption delle VM spot

Determina se le VM spot sono state prelevate da Compute Engine utilizzando la console Google Cloud, gcloud CLI o l'API Compute Engine.

Console

Puoi controllare se una VM è stata precettata controllando i log delle attività di sistema.

  1. Nella console Google Cloud, vai alla pagina Log.

    Vai a Log

  2. Seleziona il progetto e fai clic su Continua.

  3. Aggiungi compute.instances.preempted al campo Filtra per etichetta o ricerca di testo.

  4. Se vuoi visualizzare le operazioni di prelazione per una VM specifica, puoi anche inserire un nome VM.

  5. Premi Invio per applicare i filtri specificati. La console Google Cloud aggiorna l'elenco dei log in modo da mostrare solo le operazioni in cui una VM è stata anticipata.

  6. Seleziona un'operazione nell'elenco per visualizzare i dettagli della VM che è stata precettata.

gcloud

Utilizza il comando gcloud compute operations list con un parametro filter per ottenere un elenco di eventi di prelazione nel progetto.

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted"

Se vuoi, puoi utilizzare parametri di filtro aggiuntivi per restringere ulteriormente il campo di applicazione dei risultati. Ad esempio, per visualizzare gli eventi di prelazione solo per le istanze all'interno di un gruppo di istanze gestite, utilizza il seguente comando:

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted AND targetLink:instances/BASE_INSTANCE_NAME"

dove BASE_INSTANCE_NAME è il nome di base specificato come prefisso per i nomi di tutte le VM in questo gruppo di istanze gestite.

L'output è simile al seguente:

NAME                  TYPE                         TARGET                                        HTTP_STATUS STATUS TIMESTAMP
systemevent-xxxxxxxx  compute.instances.preempted  us-central1-f/instances/example-instance-xxx  200         DONE   2015-04-02T12:12:10.881-07:00

Un tipo di operazione compute.instances.preempted indica che l'istanza VM è stata prelevata. Puoi utilizzare il comando gcloud compute operations describe per ottenere ulteriori informazioni su un'operazione di prelazione specifica.

gcloud compute operations describe SYSTEM_EVENT \
    --zone=ZONE

Sostituisci quanto segue:

  • SYSTEM_EVENT: l'evento di sistema dall'output del comando gcloud compute operations list, ad esempio systemevent-xxxxxxxx.
  • ZONE: la zona dell'evento di sistema, ad esempio us-central1-f.

L'output è simile al seguente:

...
operationType: compute.instances.preempted
progress: 100
selfLink: https://compute.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/operations/systemevent-xxxxxxxx
startTime: '2015-04-02T12:12:10.881-07:00'
status: DONE
statusMessage: Instance was preempted.
...

REST

Per ottenere un elenco delle operazioni di sistema recenti per un progetto e una zona specifici, utilizza il metodo zoneOperations.get.

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/operations

Sostituisci quanto segue:

Se vuoi limitare l'ambito della risposta in modo da mostrare solo le operazioni di prelazione, puoi aggiungere un filtro alla richiesta API:

operationType="compute.instances.preempted"

In alternativa, per visualizzare le operazioni di prelazione per una VM specifica, aggiungi un parametro targetLink al filtro:

operationType="compute.instances.preempted" AND
targetLink="https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

Sostituisci quanto segue: + PROJECT_ID: il ID progetto. + ZONE: la zona. + VM_NAME: il nome di una VM specifica in questa zona e in questo progetto.

La risposta contiene un elenco di operazioni recenti. Ad esempio, un prelievo ha il seguente aspetto:

{
  "kind": "compute#operation",
  "id": "15041793718812375371",
  "name": "systemevent-xxxxxxxx",
  "zone": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f",
  "operationType": "compute.instances.preempted",
  "targetLink": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/instances/example-instance",
  "targetId": "12820389800990687210",
  "status": "DONE",
  "statusMessage": "Instance was preempted.",
  ...
}

In alternativa, puoi determinare se una VM è stata prelevata dall'interno della VM stessa. Questo è utile se vuoi gestire un arresto anomalo a causa di un prelievo di Compute Engine in modo diverso da un normale arresto anomalo in uno script di arresto anomalo. Per farlo, controlla nel server metadati il valore preempted nei metadati predefiniti della VM.

Ad esempio, utilizza curl all'interno della VM per ottenere il valore di preempted:

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted" -H "Metadata-Flavor: Google"
TRUE

Se questo valore è TRUE, la VM è stata prerilasciata da Compute Engine, altrimenti è FALSE.

Se vuoi utilizzarlo al di fuori di uno script di arresto, puoi aggiungere ?wait_for_change=true all'URL. Viene eseguita una richiesta GET HTTP inutilizzata che viene restituita solo quando i metadati sono stati modificati e la VM è stata preemptata.

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted?wait_for_change=true" -H "Metadata-Flavor: Google"
TRUE

Come testare le impostazioni di prelazione

Puoi eseguire eventi di manutenzione simulati sulle VM per forzarne il prelievo. Utilizza questa funzionalità per testare il modo in cui le tue app gestiscono le VM spot. Leggi Simulare un evento di manutenzione dell'host per scoprire come testare gli eventi di manutenzione sulle tue istanze.

Puoi anche simulare una preemption della VM arrestando l'istanza VM, che può essere utilizzata al posto della simulazione di un evento di manutenzione ed evita i limiti di quota.

Best practice

Di seguito sono riportate alcune best practice per aiutarti a ottenere il massimo dalle VM spot.

  • Utilizza i modelli di istanza. Anziché creare le VM spot una alla volta, puoi utilizzare i modelli di istanza per creare più VM spot con le stesse proprietà. I modelli di istanza sono obbligatori per l'utilizzo dei gruppi di istanze gestite. In alternativa, puoi anche creare più VM spot utilizzando l'API di istanze collettive.

  • Utilizza i gruppi di istanze gestite per distribuire e ricreare automaticamente le VM spot a livello di regione. Utilizza i gruppi di istanze gestite per rendere i carichi di lavoro sulle VM spot più flessibili e resilienti. Ad esempio, utilizza i gruppi di istanze gestite a livello di area geografica per distribuire le VM in più zone, il che contribuisce ad attenuare gli errori di disponibilità delle risorse. Inoltre, utilizza la riparazione automatica per ricreare automaticamente le VM spot dopo che sono state prerilasciate.

  • Scegli tipi di macchine più piccoli. Le risorse per le VM spot provengono dalla capacità in eccesso e di backup di Google Cloud. La capacità per le VM spot è spesso più facile da ottenere per i tipi di macchina più piccoli, ovvero tipi di macchina con meno risorse come vCPU e memoria. Potresti trovare più capacità per le VM spot selezionando un tipo di macchina personalizzata più piccolo, ma la capacità è ancora più probabile per i tipi di macchina predefiniti più piccoli. Ad esempio, rispetto alla capacità del tipo di macchina predefinito n2-standard-32, la capacità del tipo di macchina personalizzata n2-custom-24-96 è più probabile, ma la capacità del tipo di macchina predefinita n2-standard-16 è ancora più probabile.

  • Esegui grandi cluster di VM spot durante i periodi di bassa domanda. Il carico sui data center di Google Cloud varia in base alla località e all'ora del giorno, ma in genere è minimo nelle ore notturne e nei fine settimana. Di conseguenza, le notti e i fine settimana sono i momenti migliori per eseguire grandi cluster di VM spot.

  • Progetta le tue applicazioni in modo che siano tolleranti agli errori e al prerilascio. È importante essere preparati al fatto che i pattern di prelazione cambiano in momenti diversi. Ad esempio, se una zona subisce un'interruzione parziale, è possibile prerilasciare un numero elevato di VM spot per fare spazio alle VM standard che devono essere spostate nell'ambito del recupero. In questo breve lasso di tempo, il tasso di prelazione sarà molto diverso rispetto a qualsiasi altro giorno. Se la tua applicazione presuppone che le prelazioni vengano sempre eseguite in piccoli gruppi, potresti non essere preparato a un evento di questo tipo.

  • Riprova a creare le VM spot che sono state prelevate. Se le VM spot sono state prelevate, prova a crearne di nuove una o due volte prima di tornare alle VM standard. A seconda dei tuoi requisiti, potrebbe essere una buona idea combinare VM standard e VM Spot nei tuoi cluster per assicurarti che il lavoro proceda a un ritmo adeguato.

  • Utilizza gli script di arresto. Gestisci le notifiche di arresto e prelazione con uno script di arresto che può salvare l'avanzamento di un job in modo da riprendere da dove avevi interrotto, anziché ricominciare da capo.

Passaggi successivi