Tentang GPU

Untuk mempercepat workload tertentu di Compute Engine, Anda dapat men-deploy VM yang dioptimalkan akselerator yang telah memasang GPU, atau melampirkan GPU ke VM tujuan umum N1.

Dokumen ini menjelaskan fitur dan batasan GPU yang berjalan di Compute Engine.

GPU dan seri mesin

GPU didukung untuk jenis mesin N1 tujuan umum dan seri mesin yang dioptimalkan akselerator (A3, A2, dan G2). Untuk VM yang menggunakan jenis mesin N1, Anda perlu memasang GPU ke VM selama atau setelah pembuatan VM. Untuk VM yang menggunakan jenis mesin A3, A2, atau G2, GPU akan otomatis terpasang saat Anda membuat VM. GPU tidak dapat digunakan dengan seri mesin lainnya.

Seri mesin yang dioptimalkan akselerator

Setiap jenis mesin yang dioptimalkan akselerator memiliki model GPU NVIDIA tertentu yang terpasang.

Untuk informasi selengkapnya, lihat Seri mesin yang dioptimalkan akselerator.

Seri mesin tujuan umum N1

Untuk semua jenis GPU lainnya, Anda dapat menggunakan sebagian besar jenis mesin N1 kecuali inti bersama N1 (f1-micro dan g1-small).

Untuk seri mesin ini, Anda dapat menggunakan jenis mesin yang telah ditentukan atau kustom.

GPU di Spot VM

Anda dapat menambahkan GPU ke Spot VM dengan harga spot yang lebih rendah untuk GPU tersebut. GPU yang terpasang ke Spot VM berfungsi seperti GPU normal, tetapi hanya bertahan selama masa pakai VM. Spot VM dengan GPU mengikuti proses preemption yang sama seperti semua VM Spot.

Sebaiknya minta kuota Preemptible GPU khusus untuk digunakan dengan GPU di Spot VM. Untuk mengetahui informasi lebih lanjut, baca Kuota untuk Spot VM.

Selama peristiwa pemeliharaan, Spot VM dengan GPU di-preempt secara default dan tidak dapat dimulai ulang secara otomatis. Jika Anda ingin membuat ulang VM setelah di-preempt, gunakan grup instance terkelola. Grup instance terkelola akan membuat ulang instance VM Anda jika resource vCPU, memori, dan GPU tersedia.

Jika Anda ingin diberi tahu sebelum VM di-preempt, atau ingin mengonfigurasi VM agar otomatis dimulai ulang setelah peristiwa pemeliharaan, gunakan VM standar dengan GPU. Untuk VM standar dengan GPU, Compute Engine memberikan pemberitahuan awal satu jam sebelum preemption.

Compute Engine tidak mengenakan biaya untuk GPU jika VM-nya di-preempt dalam menit pertama setelah mulai berjalan.

Untuk mempelajari cara membuat Spot VM dengan GPU terpasang, baca Membuat VM dengan GPU yang terpasang dan Membuat Spot VM.

GPU di VM dengan waktu operasi yang telah ditentukan

Resource untuk VM yang menggunakan model penyediaan standar default (VM standar) biasanya tidak dapat menggunakan kuota alokasi preemptible, yang ditujukan untuk workload sementara dan biasanya lebih tersedia. Jika project Anda tidak memiliki kuota preemptible, dan Anda tidak pernah meminta kuota preemptible, semua VM dalam project tersebut akan menggunakan kuota alokasi standar.

Namun, setelah Anda meminta kuota alokasi preemptible, VM standar yang memenuhi semua kriteria berikut hanya dapat menggunakan kuota alokasi preemptible.

Dengan menggunakan kuota alokasi preemptible untuk beban kerja tersebut, Anda akan mendapatkan manfaat waktu proses yang tidak terganggu dari VM standar dan peningkatan ketersediaan dari kuota alokasi preemptible.

Terlepas dari kuota yang digunakan, VM standar tidak memenuhi syarat untuk harga VM Spot dan tidak tunduk pada penghentian.

Untuk mengetahui informasi selengkapnya, lihat Kuota preemptible.

GPU dan Confidential VM

Anda tidak dapat memasang GPU ke instance Confidential VM. Untuk mengetahui informasi selengkapnya tentang Confidential VM, lihat Ringkasan Confidential VM.

GPU dan block storage

Saat membuat VM di platform GPU, Anda dapat menambahkan persistent block storage atau temporary block storage ke VM. Untuk menyimpan data non-sementara, gunakan penyimpanan blok persisten seperti Hyperdisk ML atau Persistent Disk karena disk tersebut tidak bergantung pada siklus proses VM. Data di penyimpanan persisten dapat dipertahankan meskipun setelah Anda menghapus VM.

Untuk penyimpanan sementara atau cache, gunakan penyimpanan blok sementara dengan menambahkan Disk SSD Lokal saat Anda membuat VM.

Block storage persisten dengan volume Persistent Disk dan Hyperdisk

Anda dapat memasang volume Persistent Disk dan Hyperdisk ML dengan VM yang mengaktifkan GPU.

Untuk beban kerja pelatihan dan penayangan machine learning, Google merekomendasikan penggunaan volume Hyperdisk ML, yang menawarkan throughput tinggi dan waktu pemuatan data yang lebih singkat. Hal ini menjadikan Hyperdisk ML sebagai opsi yang lebih hemat biaya untuk beban kerja ML karena menawarkan waktu tidak ada aktivitas GPU yang lebih rendah.

Volume Hyperdisk ML menyediakan dukungan multi-lampiran hanya baca, sehingga Anda dapat memasang disk yang sama ke beberapa VM, yang memberi setiap VM akses ke data yang sama.

Untuk informasi selengkapnya tentang jenis disk yang didukung untuk seri mesin yang mendukung GPU, lihat halaman seri mesin N1 dan yang dioptimalkan akselerator.

Disk SSD lokal

Disk SSD lokal menyediakan penyimpanan sementara yang cepat untuk caching, pemrosesan data, atau data sementara lainnya. Disk SSD lokal adalah penyimpanan cepat karena terpasang secara fisik ke server yang menghosting VM Anda. Data ini bersifat sementara karena data akan hilang jika VM dimulai ulang.

Anda tidak boleh menyimpan data dengan persyaratan persistensi yang kuat di disk SSD Lokal. Untuk menyimpan data non-sementara, gunakan penyimpanan persisten.

Jika menghentikan VM dengan GPU secara manual, Anda dapat mempertahankan data SSD Lokal, dengan batasan tertentu. Lihat Dokumentasi SSD lokal untuk mengetahui detail selengkapnya.

Untuk dukungan regional SSD Lokal dengan jenis GPU, lihat Ketersediaan SSD lokal menurut region dan zona GPU.

Pemeliharaan GPU dan host

VM dengan GPU yang terpasang selalu dihentikan saat Compute Engine melakukan peristiwa pemeliharaan pada VM. Jika VM telah memasang disk SSD Lokal, data SSD Lokal akan hilang setelah VM berhenti.

Untuk informasi tentang cara menangani peristiwa pemeliharaan, lihat Menangani peristiwa pemeliharaan host GPU.

Penentuan harga GPU

Sebagian besar VM dengan GPU yang terpasang menerima diskon untuk penggunaan berkelanjutan yang serupa dengan vCPU. Saat Anda memilih GPU untuk workstation virtual, lisensi NVIDIA RTX Virtual Workstation akan ditambahkan ke VM Anda.

Untuk mengetahui harga per jam dan bulanan untuk GPU, lihat halaman harga GPU.

Melakukan reservasi GPU dengan diskon abonemen

Untuk mencadangkan resource GPU di zona tertentu, lihat Pemesanan resource zona Compute Engine.

Guna menerima diskon abonemen untuk GPU di zona tertentu, Anda harus membeli komitmen berbasis resource untuk GPU dan juga melampirkan reservasi yang menentukan GPU yang cocok dengan komitmen Anda. Untuk informasi selengkapnya, lihat Melampirkan reservasi ke komitmen berbasis resource.

Pembatasan dan batasan GPU

Untuk VM dengan GPU yang terpasang, pembatasan dan batasan berikut berlaku:

  • GPU hanya didukung dengan jenis mesin N1 tujuan umum atau yang dioptimalkan akselerator - A3, A2, dan G2.

  • Untuk melindungi sistem dan pengguna Compute Engine, project baru memiliki kuota GPU global, yang membatasi jumlah total GPU yang dapat Anda buat di zona mana pun yang didukung. Saat meminta kuota GPU, Anda harus meminta kuota untuk model GPU yang ingin dibuat di setiap region, dan kuota global tambahan untuk jumlah total semua jenis GPU di semua zona.

  • VM dengan satu atau beberapa GPU memiliki jumlah vCPU maksimum untuk setiap GPU yang Anda tambahkan ke VM. Informasi tentang rentang vCPU dan memori yang tersedia untuk berbagai konfigurasi GPU tersedia di daftar GPU.

  • GPU memerlukan driver perangkat agar berfungsi dengan baik. GPU NVIDIA yang berjalan di Compute Engine harus menggunakan versi driver minimum. Untuk informasi selengkapnya tentang versi driver, lihat Versi driver NVIDIA yang diperlukan.

  • VM dengan model GPU tertentu yang terpasang tercakup dalam SLA Compute Engine hanya jika model GPU yang terpasang tersebut tersedia secara umum dan didukung di lebih dari satu zona di region yang sama. SLA Compute Engine tidak mencakup model GPU di zona berikut:

    • NVIDIA H100 80GB:
      • asia-south1-c
      • australia-southeast1-c
      • europe-west2-b
      • europe-west1-b
      • europe-west2-b
      • europe-west3-a
      • europe-west4-b
      • europe-west8-c
      • europe-west9-c
      • europe-west12-b
      • us-east5-a
      • us-west4-a
    • NVIDIA L4:
      • asia-northeast1-b
      • northamerica-northeast2-a
    • NVIDIA A100 80GB:
      • asia-southeast1-c
      • us-east4-c
      • us-east5-b
    • NVIDIA A100 40GB:
      • us-east1-b
      • us-west1-b
      • us-west3-b
      • us-west4-b
    • NVIDIA T4:
      • europe-west3-b
      • southamerica-east1-c
      • us-west3-b
    • NVIDIA V100:
      • asia-east1-c
      • us-east1-c
    • NVIDIA P100:
      • australia-southeast1-c
      • europe-west4-a

  • Compute Engine mendukung pengoperasian 1 pengguna serentak per GPU.

Apa langkah selanjutnya?