Mengelola VM Spot TPU

Spot VM menyediakan kapasitas yang tidak digunakan dengan tarif yang sangat diskon. Spot VM dapat dihentikan (dimatikan) kapan saja, tetapi tidak seperti TPU preemptible, tidak ada batasan durasi runtime. Anda tidak dapat memulai ulang VM Spot TPU, dan Anda harus membuatnya ulang setelah preemption. Untuk mengetahui informasi selengkapnya tentang Spot VM secara umum, lihat dokumentasi Compute Engine tentang Spot VM.

Membuat Spot VM TPU

Anda dapat membuat TPU Spot VM menggunakan resource yang diantrekan, yang menambahkan permintaan pembuatan ke antrean dan memungkinkan Anda menerima kapasitas setelah tersedia. Membuat TPU sebagai resource yang diantrekan adalah praktik terbaik. Untuk informasi selengkapnya, lihat Panduan pengguna resource dalam antrean.

Contoh berikut menunjukkan cara membuat VM Spot TPU menggunakan resource yang diantrekan:

gcloud

Tambahkan flag --spot ke perintah gcloud compute tpus queued-resources:

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --node-id=NODE_ID \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --runtime-version=tpu-vm-tf-2.18.0-pod-pjrt \
    --spot

curl

Tambahkan spot: {} ke isi permintaan:

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        tpu: {
        node_spec: {
            parent: "projects/PROJECT_ID/locations/europe-west4-a",
            node_id: "NODE_ID",
            node: {
            accelerator_type: "v3-8",
            runtime_version: "tpu-vm-tf-2.18.0-pod-pjrt"
            }
        }
        },
        spot: {}
    }'

Konsol

  1. Di konsol Google Cloud , buka halaman TPU:

    Buka TPU

  2. Klik Buat TPU.

  3. Di kolom Nama, masukkan nama untuk TPU Anda.

  4. Di kotak Zone, pilih zona tempat Anda ingin membuat TPU.

  5. Di kotak TPU type, pilih jenis akselerator. Jenis akselerator menentukan versi dan ukuran Cloud TPU yang ingin Anda buat. Untuk mengetahui informasi selengkapnya tentang jenis akselerator yang didukung untuk setiap versi TPU, lihat versi TPU.

  6. Di kotak Versi software TPU, pilih versi software. Saat membuat VM Cloud TPU, versi software TPU menentukan versi runtime TPU yang akan diinstal. Untuk mengetahui informasi selengkapnya, lihat Image VM TPU.

  7. Klik tombol Aktifkan antrean.

  8. Di kolom Queued resource name, masukkan nama untuk permintaan resource yang diantrekan.

  9. Luaskan bagian Management.

  10. Centang kotak Make this a TPU Spot VM.

  11. Klik Create.

Anda juga dapat membuat Spot VM TPU tanpa menggunakan resource yang diantrekan:

gcloud

Tambahkan flag --spot ke perintah gcloud compute tpus tpu-vm:

gcloud compute tpus tpu-vm create TPU_NAME \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=tpu-vm-tf-2.18.0-pod-pjrt \
    --spot

curl

Tambahkan scheduling_config: {spot: true} ke isi permintaan:

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        accelerator_type: "v3-8",
        runtime_version: "tpu-vm-tf-2.18.0-pod-pjrt",
        network_config: {enable_external_ips: true},
        scheduling_config: {spot: true}
    }'

Konsol

  1. Di konsol Google Cloud , buka halaman TPU:

    Buka TPU

  2. Klik Buat TPU.

  3. Di kolom Nama, masukkan nama untuk TPU Anda.

  4. Di kotak Zone, pilih zona tempat Anda ingin membuat TPU.

  5. Di kotak TPU type, pilih jenis akselerator. Jenis akselerator menentukan versi dan ukuran Cloud TPU yang ingin Anda buat. Untuk mengetahui informasi selengkapnya tentang jenis akselerator yang didukung untuk setiap versi TPU, lihat versi TPU.

  6. Di kotak Versi software TPU, pilih versi software. Saat membuat VM Cloud TPU, versi software TPU menentukan versi runtime TPU yang akan diinstal. Untuk mengetahui informasi selengkapnya, lihat Image VM TPU.

  7. Luaskan bagian Management.

  8. Centang kotak Make this a TPU Spot VM.

  9. Klik Create.

Memeriksa apakah VM TPU adalah Spot VM

gcloud

Untuk mengonfirmasi apakah VM TPU Anda adalah Spot VM, gunakan perintah deskripsi:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Jika VM TPU adalah Spot VM, output akan menyertakan kolom spot yang ditetapkan ke true, mirip dengan berikut ini:

...
schedulingConfig:
spot: true
...

Konsol

  1. Di konsol Google Cloud , buka halaman TPU:

    Buka TPU

  2. Klik nama Cloud TPU Anda.

    Jika VM TPU adalah Spot VM, Tingkat akan menjadi Spot VM.

Harga dan kuota

Harga untuk Spot VM TPU jauh lebih rendah daripada untuk TPU on-demand dan yang direservasi. Untuk mengetahui informasi selengkapnya tentang harga, lihat harga Cloud TPU.

Anda memerlukan kuota preemptible untuk menggunakan TPU Spot VM. Untuk mengetahui informasi selengkapnya, lihat Kuota.