Meminta VM TPU dengan mulai fleksibel

VM TPU dengan mulai fleksibel, yang didukung oleh Dynamic Workload Scheduler, memberikan cara yang fleksibel dan hemat biaya untuk mengakses resource TPU bagi workload AI. VM mulai fleksibel memungkinkan Anda menyediakan TPU secara dinamis sesuai kebutuhan, hingga 7 hari, tanpa reservasi jangka panjang atau pengelolaan kuota yang rumit. Dengan VM TPU Flex-start, Anda mengirimkan permintaan penyediaan TPU yang tetap ada hingga kapasitas tersedia. Setelah tersedia, VM TPU akan berjalan selama durasi yang Anda tentukan dalam permintaan Anda.

VM TPU Flex-start cocok untuk eksperimen cepat, pengujian skala kecil, penyediaan TPU dinamis untuk workload inferensi, penyesuaian model, dan menjalankan workload yang membutuhkan waktu kurang dari 7 hari. Untuk mengetahui informasi selengkapnya tentang opsi pemakaian TPU lainnya, lihat Opsi pemakaian Cloud TPU.

Anda dapat menghapus resource TPU kapan saja untuk menghentikan penagihan. Untuk mengetahui informasi selengkapnya tentang harga TPU, lihat Harga Cloud TPU.

Batasan

VM TPU Flex-start memiliki batasan berikut:

  • Anda dapat meminta VM TPU Flex-start selama durasi hingga 7 hari.
  • Anda dapat meminta versi dan zona Cloud TPU berikut:
  • Anda harus menggunakan API resource dalam antrean untuk menggunakan VM TPU Flex-start.

Sebelum memulai

Sebelum meminta VM TPU Flex-start, Anda harus:

  • Menginstal Google Cloud CLI.
  • Buat Google Cloud project
  • Aktifkan Cloud TPU API

Untuk mengetahui informasi selengkapnya, lihat Menyiapkan lingkungan Cloud TPU.

Anda juga harus memastikan bahwa Anda memiliki kuota preemptible yang cukup untuk menggunakan VM dengan fitur mulai fleksibel TPU. Jika Anda memerlukan lebih banyak core TPU daripada jumlah yang diberikan oleh kuota default, Anda harus meminta alokasi kuota yang lebih tinggi. Untuk mengetahui informasi selengkapnya tentang nilai default dan cara meminta kuota tambahan, lihat kuota Cloud TPU.

Meminta VM TPU dengan mulai fleksibel

VM dengan fitur mulai fleksibel TPU menggunakan API resource dalam antrean untuk meminta resource TPU secara berurutan. Saat resource yang diminta tersedia, resource tersebut akan ditetapkan ke project Google Cloud Anda untuk penggunaan eksklusif Anda secara langsung. Setelah durasi eksekusi yang diminta, VM TPU akan dihapus dan resource yang diantrekan akan berpindah ke status SUSPENDED. Untuk mengetahui informasi selengkapnya tentang resource dalam antrean, lihat Mengelola resource dalam antrean.

Untuk meminta VM dengan mulai fleksibel TPU, gunakan perintah gcloud alpha compute tpus queued-resources create dengan flag --provisioning-model yang ditetapkan ke flex-start dan flag --max-run-duration yang ditetapkan ke durasi yang Anda inginkan untuk menjalankan TPU.

gcloud alpha compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --zone=ZONE \
    --accelerator-type=ACCELERATOR_TYPE \
    --runtime-version=RUNTIME_VERSION \
    --node-id=NODE_ID \
    --provisioning-model=flex-start \
    --max-run-duration=RUN_DURATION

Ganti placeholder berikut:

  • QUEUED_RESOURCE_ID: ID yang ditetapkan pengguna untuk permintaan resource yang diantrekan.
  • ZONE: Zona tempat membuat TPU VM.
  • ACCELERATOR_TYPE: Menentukan versi dan ukuran Cloud TPU yang akan dibuat. Untuk mengetahui informasi selengkapnya tentang jenis akselerator yang didukung untuk setiap versi TPU, lihat Versi TPU.
  • RUNTIME_VERSION: Versi software Cloud TPU.
  • NODE_ID: ID yang ditetapkan pengguna untuk TPU yang dibuat saat permintaan resource dalam antrean dialokasikan.
  • RUN_DURATION: Durasi TPU harus berjalan. Format durasi sebagai jumlah hari, jam, menit, dan detik, diikuti dengan d, h, m, dan s. Misalnya, tentukan 72h untuk durasi 72 jam, atau tentukan 1d2h3m4s untuk durasi 1 hari, 2 jam, 3 menit, dan 4 detik. Durasi maksimumnya adalah 7 hari.

Anda dapat menyesuaikan lebih lanjut permintaan resource dalam antrean untuk dijalankan pada waktu tertentu dengan flag tambahan:

  • --valid-after-duration: Durasi sebelum TPU tidak boleh disediakan.
  • --valid-after-time: Waktu sebelum TPU tidak boleh disediakan.
  • --valid-until-duration: Durasi validitas permintaan. Jika permintaan belum dipenuhi dalam durasi ini, permintaan akan berakhir dan berpindah ke status FAILED.
  • --valid-until-time: Waktu permintaan berlaku. Jika permintaan belum dipenuhi hingga saat ini, permintaan akan berakhir dan berpindah ke status FAILED.

Untuk mengetahui informasi selengkapnya tentang flag opsional, lihat dokumentasi gcloud alpha compute tpus queued-resources create.

Mendapatkan status permintaan untuk VM TPU Flex-start

Untuk memantau status permintaan Anda untuk VM TPU Flex-start, gunakan API resource dalam antrean untuk mendapatkan status permintaan resource dalam antrean menggunakan perintah gcloud alpha compute tpus queued-resources describe:

gcloud alpha compute tpus queued-resources describe QUEUED_RESOURCE_ID \
    --zone ZONE

Resource dalam antrean dapat berada dalam salah satu status berikut:

  • WAITING_FOR_RESOURCES: Permintaan telah lulus validasi awal dan telah ditambahkan ke antrean.
  • PROVISIONING: Permintaan telah dipilih dari antrean, dan VM TPU sedang dibuat.
  • ACTIVE: Permintaan telah dipenuhi, dan VM TPU sudah siap.
  • FAILED: Permintaan tidak dapat diselesaikan. Gunakan perintah describe untuk detail selengkapnya.
  • SUSPENDING: Resource yang terkait dengan permintaan sedang dihapus.
  • SUSPENDED: Resource yang terkait dengan permintaan telah dihapus.

Untuk mengetahui informasi selengkapnya, lihat Mengambil informasi status dan diagnostik tentang permintaan resource yang diantrekan.

Memantau waktu proses VM TPU Flex-start

Anda dapat memantau waktu berjalan VM dengan mulai fleksibel TPU dengan memeriksa stempel waktu penghentian TPU:

  1. Dapatkan detail permintaan resource yang diantrekan.

  2. Pilih salah satu opsi berikut, bergantung pada apakah TPU Anda telah dibuat:

    • Jika resource dalam antrean sedang menunggu resource: Pada output, lihat kolom maxRunDuration. Kolom ini menentukan berapa lama TPU akan berjalan setelah dibuat.

    • Jika TPU yang terkait dengan resource dalam antrean telah dibuat: Dalam output, lihat kolom terminationTimestamp yang tercantum untuk setiap node dalam resource dalam antrean. Kolom ini menentukan kapan TPU akan dihentikan.

Menghapus resource yang diantrekan

Anda dapat menghapus permintaan resource dalam antrean dan TPU yang terkait dengan permintaan tersebut dengan menghapus permintaan resource dalam antrean dan meneruskan tanda --force ke perintah queued-resources delete:

gcloud alpha compute tpus queued-resources delete QUEUED_RESOURCE_ID \
    --force

Jika Anda menghapus TPU secara langsung menggunakan perintah gcloud compute tpus tpu-vm delete, Anda juga perlu menghapus resource yang diantrekan, seperti yang ditunjukkan dalam contoh berikut. Saat Anda menghapus TPU, permintaan resource yang diantrekan akan bertransisi ke status SUSPENDED, setelah itu Anda dapat menghapus permintaan resource yang diantrekan.

Untuk menghapus TPU, gunakan perintah gcloud compute tpus tpu-vm delete:

gcloud compute tpus tpu-vm delete NODE_ID \
    --zone ZONE

Kemudian, untuk menghapus resource yang diantrekan, gunakan perintah gcloud alpha compute tpus queued-resources delete:

gcloud alpha compute tpus queued-resources delete QUEUED_RESOURCE_ID \
    --zone ZONE

Untuk mengetahui informasi selengkapnya, lihat Menghapus permintaan resource yang diantrekan.