TPU-Spot-VMs verwalten

Mit Spot-VMs können Sie nicht genutzte Kapazitäten zu stark vergünstigten Preisen nutzen. Spot-VMs können jederzeit vorzeitig beendet werden. Im Gegensatz zu VMs auf Abruf ist die Laufzeit jedoch nicht begrenzt. Sie können TPU-Spot-VMs nicht neu starten und müssen sie nach der Vorabankündigung neu erstellen. Weitere Informationen zu Spot-VMs finden Sie in der Compute Engine-Dokumentation zu Spot-VMs.

TPU-Spot-VMs erstellen

Sie können TPU-Spot-VMs mit in die Warteschlange gestellten Ressourcen erstellen. Ihre Erstellungsanfrage wird dann einer Warteschlange hinzugefügt und Sie erhalten Kapazität, sobald diese verfügbar ist. Es ist eine Best Practice, TPUs als in die Warteschlange gestellte Ressourcen zu erstellen. Weitere Informationen finden Sie im Nutzerhandbuch für Ressourcen in der Warteschlange.

Im folgenden Beispiel wird gezeigt, wie Sie TPU-Spot-VMs mit Ressourcen in der Warteschlange erstellen:

gcloud

Fügen Sie dem Befehl gcloud compute tpus queued-resources das Flag --spot hinzu:

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --node-id=NODE_ID \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --runtime-version=tpu-vm-tf-2.18.0-pod-pjrt \
    --spot

curl

Fügen Sie spot: {} in den Anfragetext ein:

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        tpu: {
        node_spec: {
            parent: "projects/PROJECT_ID/locations/europe-west4-a",
            node_id: "NODE_ID",
            node: {
            accelerator_type: "v3-8",
            runtime_version: "tpu-vm-tf-2.18.0-pod-pjrt"
            }
        }
        },
        spot: {}
    }'

Console

  1. Rufen Sie in der Google Cloud Console die Seite TPUs auf:

    TPUs aufrufen

  2. Klicken Sie auf TPU erstellen.

  3. Geben Sie im Feld Name einen Namen für die TPU ein.

  4. Wählen Sie im Feld Zone die Zone aus, in der die TPU erstellt werden soll.

  5. Wählen Sie im Feld TPU-Typ einen Beschleunigertyp aus. Mit dem Beschleunigertyp geben Sie die Version und Größe der Cloud TPU an, die Sie erstellen möchten. Weitere Informationen zu den unterstützten Beschleunigertypen für jede TPU-Version finden Sie unter TPU-Versionen.

  6. Wählen Sie im Feld TPU-Softwareversion eine Softwareversion aus. Beim Erstellen einer Cloud TPU-VM gibt die TPU-Softwareversion die Version der zu installierenden TPU-Laufzeit an. Weitere Informationen finden Sie unter TPU-VM-Images.

  7. Klicken Sie auf den Schalter Warteschlange aktivieren.

  8. Geben Sie im Feld Name der anstehenden Ressource einen Namen für die anstehende Ressourcenanfrage ein.

  9. Maximieren Sie den Bereich Verwaltung.

  10. Klicken Sie das Kästchen Daraus eine TPU-Spot-VM machen an.

  11. Klicken Sie auf Erstellen.

Sie können auch TPU-Spot-VMs erstellen, ohne Ressourcen in die Warteschlange zu stellen:

gcloud

Fügen Sie dem Befehl gcloud compute tpus tpu-vm das Flag --spot hinzu:

gcloud compute tpus tpu-vm create TPU_NAME \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=tpu-vm-tf-2.18.0-pod-pjrt \
    --spot

curl

Fügen Sie scheduling_config: {spot: true} in den Anfragetext ein:

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        accelerator_type: "v3-8",
        runtime_version: "tpu-vm-tf-2.18.0-pod-pjrt",
        network_config: {enable_external_ips: true},
        scheduling_config: {spot: true}
    }'

Console

  1. Rufen Sie in der Google Cloud Console die Seite TPUs auf:

    TPUs aufrufen

  2. Klicken Sie auf TPU erstellen.

  3. Geben Sie im Feld Name einen Namen für die TPU ein.

  4. Wählen Sie im Feld Zone die Zone aus, in der die TPU erstellt werden soll.

  5. Wählen Sie im Feld TPU-Typ einen Beschleunigertyp aus. Mit dem Beschleunigertyp geben Sie die Version und Größe der Cloud TPU an, die Sie erstellen möchten. Weitere Informationen zu den unterstützten Beschleunigertypen für jede TPU-Version finden Sie unter TPU-Versionen.

  6. Wählen Sie im Feld TPU-Softwareversion eine Softwareversion aus. Beim Erstellen einer Cloud TPU-VM gibt die TPU-Softwareversion die Version der zu installierenden TPU-Laufzeit an. Weitere Informationen finden Sie unter TPU-VM-Images.

  7. Maximieren Sie den Bereich Verwaltung.

  8. Klicken Sie das Kästchen Daraus eine TPU-Spot-VM machen an.

  9. Klicken Sie auf Erstellen.

Prüfen, ob eine TPU-VM eine Spot-VM ist

gcloud

Verwenden Sie den Befehl „describe“, um zu prüfen, ob es sich bei Ihrer TPU-VM um eine Spot-VM handelt:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Wenn die TPU-VM eine Spot-VM ist, enthält die Ausgabe das Feld spot, das auf true festgelegt ist, ähnlich wie hier:

...
schedulingConfig:
spot: true
...

Console

  1. Rufen Sie in der Google Cloud Console die Seite TPUs auf:

    TPUs aufrufen

  2. Klicken Sie auf den Namen Ihrer Cloud TPU.

    Wenn die TPU-VM eine Spot-VM ist, lautet die Stufe Spot-VM.

Preise und Kontingente

Die Preise für TPU-Spot-VMs sind deutlich niedriger als für On-Demand- und reservierte TPUs. Weitere Informationen zu den Preisen finden Sie unter Cloud TPU – Preise.

Sie benötigen ein Kontingent auf Abruf, um TPU-Spot-VMs verwenden zu können. Weitere Informationen finden Sie unter Kontingente.