Tambahkan atau hapus GPU

Compute Engine menyediakan unit pemrosesan grafis (GPU) yang dapat Anda tambahkan ke instance virtual machine (VM) Anda. Anda dapat menggunakan GPU ini untuk mempercepat workload tertentu pada VM Anda, seperti machine learning dan pemrosesan data.

Anda hanya dapat menggunakan dua kelompok mesin saat menjalankan GPU di Compute Engine:

  • Kelompok mesin yang dioptimalkan untuk akselerator. Semua jenis mesin yang dioptimalkan akselerator memiliki GPU yang terpasang.
  • Kelompok mesin tujuan umum N1. Anda dapat menggunakan sebagian besar jenis mesin N1, kecuali jenis mesin dengan inti bersama N1. Jika tidak menggunakan mesin tujuan umum N1, Anda dapat beralih ke mesin tujuan umum N1, lalu menambahkan GPU.

Sebelum memulai

  • Untuk meninjau langkah-langkah prasyarat tambahan, seperti memilih image OS dan memeriksa kuota GPU, lihat dokumen ringkasan.
  • Siapkan autentikasi, jika Anda belum melakukannya. Autentikasi memverifikasi identitas Anda untuk mengakses layanan dan API Google Cloud . Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    REST

    Untuk memakai contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

      Instal Google Cloud CLI. Setelah penginstalan, lakukan inisialisasi Google Cloud CLI dengan menjalankan perintah berikut:

      gcloud init

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

    Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

VM yang dioptimalkan akselerator

Setiap jenis mesin yang dioptimalkan akselerator memiliki model GPU NVIDIA tertentu yang terpasang untuk mendukung jenis workload yang direkomendasikan.

Workload AI dan ML Grafik dan visualisasi
Jenis mesin seri A yang dioptimalkan untuk akselerator dirancang untuk workload komputasi berperforma tinggi (HPC), kecerdasan buatan (AI), dan machine learning (ML).

Untuk jenis mesin ini, model GPU otomatis terpasang ke instance.

Jenis mesin seri G yang dioptimalkan akselerator dirancang untuk beban kerja seperti beban kerja simulasi NVIDIA Omniverse, aplikasi yang intensif grafis, transcoding video, dan desktop virtual. Jenis mesin ini mendukung NVIDIA RTX Virtual Workstations (vWS).

Untuk jenis mesin ini, model GPU otomatis terpasang ke instance.

  • A4X (NVIDIA GB200 Superchips)
    (nvidia-gb200)
  • A4 (NVIDIA B200)
    (nvidia-b200)
  • A3 Ultra (NVIDIA H200)
    (nvidia-h200-141gb)
  • A3 Mega (NVIDIA H100)
    (nvidia-h100-mega-80gb)
  • A3 Tinggi (NVIDIA H100)
    (nvidia-h100-80gb)
  • A3 Edge (NVIDIA H100)
    (nvidia-h100-80gb)
  • A2 Ultra (NVIDIA A100 80GB)
    (nvidia-a100-80gb)
  • A2 Standard (NVIDIA A100)
    (nvidia-a100-40gb)
  • G4 (NVIDIA RTX PRO 6000)
    (nvidia-rtx-pro-6000)
    (nvidia-rtx-pro-6000-vws)
  • G2 (NVIDIA L4)
    (nvidia-l4)
    (nvidia-l4-vws)

Anda dapat mengubah setiap instance yang dioptimalkan untuk akselerator sebagai berikut:

  • Untuk instance A4X, A4, A3, dan A2 Ultra, Anda tidak dapat mengubah jenis mesin. Jika Anda menggunakan salah satu jenis mesin ini untuk instance dan perlu mengubah jenis mesin, buat instance baru.

  • Untuk instance Standar A2, Anda dapat mengubah jumlah GPU dengan beralih dari satu jenis mesin Standar A2 ke jenis mesin Standar A2 lainnya.

  • Untuk instance G4, Anda dapat mengubah jumlah GPU dengan beralih dari satu jenis mesin G4 ke jenis mesin G4 lainnya.

  • Untuk instance G2, Anda dapat melakukan hal berikut:

    • Anda dapat mengubah jumlah GPU dengan beralih dari satu jenis mesin G2 ke jenis mesin G2 lainnya.
    • Anda dapat beralih dari jenis mesin G2 ke jenis mesin dari kelompok mesin yang berbeda seperti tujuan umum atau yang dioptimalkan untuk komputasi. Lihat Mengedit jenis mesin VM.
  • Anda tidak dapat menghapus GPU dari jenis mesin yang dioptimalkan akselerator.

Mengubah jumlah GPU

Anda dapat mengubah jumlah GPU dari instance standar A2, G4, atau G2 yang dioptimalkan akselerator menggunakan Google Cloud konsol, atau REST.

Konsol

Anda dapat mengubah jumlah GPU untuk instance dengan menghentikan instance dan mengedit konfigurasi instance.

  1. Pastikan semua aplikasi penting Anda dihentikan di instance.

  2. Di konsol Google Cloud , buka halaman VM instances untuk melihat daftar instance Anda.

    Buka instance VM

  3. Klik nama instance yang ingin diubah jumlah GPU-nya. Halaman Detail akan terbuka.

  4. Selesaikan langkah-langkah berikut dari halaman Details.

    1. Jika instance sedang berjalan, klik Stop untuk menghentikan instance. Jika tidak ada opsi Hentikan, klik Tindakan lainnya > Hentikan.

    2. Klik Edit.

    3. Di bagian Machine configuration, pilih kelompok mesin GPUs, lalu lakukan tindakan berikut:

      1. Dalam daftar Jumlah GPU, tambah atau kurangi jumlah GPU.

    4. Untuk menerapkan perubahan, klik Simpan.

    5. Untuk memulai ulang instance, klik Mulai/Lanjutkan.

REST

Anda dapat mengubah jumlah GPU pada instance dengan menghentikan instance dan mengubah jenis mesin. Setiap jenis mesin yang dioptimalkan akselerator memiliki jumlah GPU tertentu yang terpasang. Jika Anda mengubah jenis mesin, jumlah GPU yang terpasang ke instance akan disesuaikan.

  1. Pastikan semua aplikasi penting Anda dihentikan di instance, lalu buat perintah POST untuk menghentikan instance agar dapat dipindahkan ke sistem host tempat GPU tersedia.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop
    
  2. Setelah instance berhenti, buat permintaan POST untuk mengubah jenis mesin.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineType
    
    {
       machineType: "zones/ZONE/machineTypes/MACHINE_TYPE"
    }
    
  3. Mulai instance.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start
    

Ganti kode berikut:

  • PROJECT_ID: project ID Anda.
  • VM_NAME: nama instance yang ingin Anda tambahi GPU.
  • ZONE: zona tempat instance berada. Zona ini harus mendukung GPU.
  • MACHINE_TYPE: jenis mesin yang ingin Anda gunakan. Properti tersebut harus berupa salah satu dari yang berikut:

    • Jika instance Anda menggunakan mesin standar A2, pilih jenis mesin Standar A2 lainnya.
    • Jika instance Anda menggunakan mesin G4, pilih jenis mesin G4 lainnya.
    • Jika instance Anda menggunakan jenis mesin G2, pilih jenis mesin G2 lainnya. Jenis mesin G2 juga mendukung memori kustom. Memori harus kelipatan 1024 MB dan berada dalam rentang memori yang didukung. Misalnya, nama jenis mesin untuk instance dengan 4 vCPU dan memori 19 GB adalah g2-custom-4-19456.

Batasan

Instance A2

  • Anda hanya dapat meminta kapasitas menggunakan opsi penggunaan yang didukung untuk jenis mesin Standar A2.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan berkelanjutan fleksibel untuk instance yang menggunakan jenis mesin Standar A2.
  • Anda hanya dapat menggunakan jenis mesin Standar A2 di region dan zona tertentu.
  • Jenis mesin Standar A2 hanya tersedia di platform Cascade Lake.
  • Jika instance Anda menggunakan jenis mesin Standar A2, Anda hanya dapat beralih dari satu jenis mesin Standar A2 ke jenis mesin Standar A2 lainnya. Anda tidak dapat mengubah ke jenis mesin lainnya. Untuk mengetahui informasi selengkapnya, lihat Mengubah instance yang dioptimalkan untuk akselerator.
  • Anda tidak dapat menggunakan sistem operasi Windows dengan jenis mesin a2-megagpu-16g. Saat menggunakan sistem operasi Windows, pilih jenis mesin Standar A2 yang berbeda.
  • Anda tidak dapat melakukan format cepat SSD Lokal yang terpasang di instance Windows yang menggunakan jenis mesin Standar A2. Untuk memformat SSD Lokal ini, Anda harus membuat format penuh dengan menggunakan utilitas diskpart dan menentukan format fs=ntfs label=tmpfs.
  • Jenis mesin Standar A2 tidak mendukung tenancy tunggal.

Instance G2

  • Anda hanya dapat meminta kapasitas menggunakan opsi penggunaan yang didukung untuk jenis mesin G2.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk instance yang menggunakan jenis mesin G2.
  • Anda hanya dapat menggunakan jenis mesin G2 di region dan zona tertentu.
  • Jenis mesin G2 hanya tersedia di platform Cascade Lake.
  • Persistent Disk Standar (pd-standard) tidak didukung pada instance yang menggunakan jenis mesin G2. Untuk mengetahui jenis disk yang didukung, lihat Jenis disk yang didukung untuk G2.
  • Anda tidak dapat membuat GPU Multi-Instance pada instance yang menggunakan jenis mesin G2.
  • Jika Anda perlu mengubah jenis mesin instance G2, tinjau Mengubah instance yang dioptimalkan untuk akselerator.
  • Anda tidak dapat menggunakan Deep Learning VM Image sebagai boot disk untuk instance yang menggunakan jenis mesin G2.
  • Driver default saat ini untuk Container-Optimized OS tidak mendukung GPU L4 yang berjalan pada jenis mesin G2. Selain itu, Container-Optimized OS hanya mendukung serangkaian driver tertentu. Jika Anda ingin menggunakan Container-Optimized OS pada jenis mesin G2, tinjau catatan berikut:
    • Gunakan versi Container-Optimized OS yang mendukung versi driver NVIDIA minimum yang direkomendasikan 525.60.13 atau yang lebih baru. Untuk informasi selengkapnya, tinjau catatan rilis Container-Optimized OS.
    • Saat Anda menginstal driver, tentukan versi terbaru yang tersedia yang berfungsi untuk GPU L4. Contoh, sudo cos-extensions install gpu -- -version=525.60.13.
  • Anda harus menggunakan Google Cloud CLI atau REST untuk membuat instance G2 untuk skenario berikut:
    • Anda ingin menetapkan nilai memori kustom.
    • Anda ingin menyesuaikan jumlah inti CPU yang terlihat.

Instance G4

Instance tujuan umum N1

Bagian ini membahas cara menambahkan, mengubah, atau menghapus GPU dari mesin tujuan umum N1.

Singkatnya, proses menambahkan, mengubah, atau menghapus GPU dari instance yang sudah ada adalah sebagai berikut:

  1. Pastikan instance Anda memiliki ukuran boot disk minimal 40 GB.
  2. Hentikan instance.
  3. Tambahkan, ubah, atau hapus GPU.

    Jika instance N1 Anda tidak memiliki GPU yang terpasang, Anda harus menyelesaikan langkah-langkah berikut:

    1. Siapkan instance untuk perubahan.
    2. Ubah setelan pemeliharaan host untuk instance. Instance dengan GPU tidak dapat melakukan migrasi langsung karena ditetapkan ke perangkat hardware tertentu. Untuk mengetahui informasi selengkapnya, lihat Batasan GPU.
    3. Ubah jenis mesin. GPU hanya didukung di jenis mesin N1 tertentu.
    4. Instal driver GPU di instance Anda, sehingga sistem Anda dapat menggunakan perangkat GPU.

Menyiapkan instance

Saat GPU ditambahkan ke instance, urutan antarmuka jaringan dapat berubah.

Sebagian besar image publik di Compute Engine tidak memiliki nama antarmuka jaringan persisten dan disesuaikan ke urutan baru.

Namun, jika menggunakan SLES atau image kustom, Anda harus memperbarui setelan sistem untuk mencegah antarmuka jaringan bertahan. Agar antarmuka jaringan tidak bertahan, jalankan perintah berikut di instance Anda:

 rm /etc/udev/rules.d/70-persistent-net.rules 

Menambahkan GPU atau mengubah jenis GPU pada instance yang sudah ada

Bagian ini membahas cara menambahkan GPU, atau mengubah jenis GPU pada instance tujuan umum N1 yang sudah ada. Prosedur ini mendukung jenis GPU berikut:

NVIDIA GPU:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

NVIDIA RTX Virtual Workstation (vWS) (sebelumnya disebut NVIDIA GRID):

  • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
  • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws
  • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

    Untuk workstation virtual ini, lisensi NVIDIA RTX Virtual Workstation (vWS) otomatis ditambahkan ke instance Anda.

Konsol

Untuk menambahkan GPU atau mengubah jenis GPU, selesaikan langkah-langkah berikut.

  1. Pastikan semua aplikasi penting Anda dihentikan di instance.

  2. Di konsol Google Cloud , buka halaman VM instances untuk melihat daftar instance Anda.

    Buka instance VM

  3. Klik nama instance yang ingin Anda perbarui. Halaman Detail akan terbuka.

  4. Selesaikan langkah-langkah berikut dari halaman Details.

    1. Jika instance sedang berjalan, klik Hentikan. Jika tidak ada opsi Hentikan, klik Tindakan lainnya > Hentikan.

    2. Klik Edit.

    3. Di bagian Machine configuration, pilih kelompok mesin GPUs, lalu lakukan tindakan berikut:

      1. Dalam daftar Jenis GPU, pilih atau ganti ke jenis GPU apa pun yang didukung pada VM N1.

      2. Dalam daftar Number of GPU, pilih jumlah GPU.

      3. Jika model GPU Anda mendukung NVIDIA RTX Virtual Workstations (vWS) untuk beban kerja grafis, dan Anda berencana menjalankan beban kerja yang intensif grafis pada instance ini, pilih Aktifkan Workstation Virtual (NVIDIA GRID).

    4. Jika GPU belum pernah terpasang pada instance, selesaikan langkah berikut:

      1. Jika instance memiliki jenis mesin dengan inti bersama, Anda harus mengubah jenis mesin. Dalam daftar Jenis mesin, pilih salah satu jenis mesin N1 preset. Atau, Anda juga dapat menentukan setelan jenis mesin kustom.

      2. Di bagian Pengelolaan, selesaikan langkah-langkah berikut:

        1. Dalam daftar On host maintenance, pilih Terminate VM instance. Instance dengan GPU terpasang tidak dapat melakukan migrasi langsung. Lihat Menangani peristiwa host GPU.

        2. Dalam daftar Automatic restart, pilih On.

    5. Untuk menerapkan perubahan, klik Simpan.

    6. Untuk memulai ulang VM, klik Mulai/Lanjutkan.

REST

Anda dapat menambahkan atau mengubah GPU pada instance dengan menghentikan instance dan mengubah konfigurasi instance melalui API.

  1. Pastikan semua aplikasi penting Anda dihentikan di instance, lalu buat perintah POST untuk menghentikan instance agar dapat dipindahkan ke sistem host tempat GPU tersedia.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop
    
  2. Jika instance Anda tidak memiliki GPU yang terpasang, selesaikan langkah-langkah berikut:

    1. Identifikasi jenis GPU yang ingin Anda tambahkan ke instance. Anda dapat mengirimkan permintaan GET untuk mencantumkan jenis GPU yang tersedia untuk project Anda di zona tertentu.

      GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes
      
    2. Jika instance memiliki jenis mesin dengan inti bersama, Anda harus mengubah jenis mesin agar memiliki satu atau beberapa vCPU. Anda tidak dapat menambahkan akselerator ke instance dengan jenis mesin dengan inti bersama.

    3. Buat perintah POST untuk menetapkan opsi penjadwalan untuk instance.

      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setScheduling
      
      {
      "onHostMaintenance": "TERMINATE",
      "automaticRestart": true
      }
      
  3. Buat permintaan POST untuk menambahkan atau mengubah GPU yang terpasang ke instance Anda.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineResources
    
        {
         "guestAccelerators": [
          {
            "acceleratorCount": ACCELERATOR_COUNT,
            "acceleratorType": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
          }
         ]
        }
    
  4. Mulai instance.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start
    

    Ganti kode berikut:

    • PROJECT_ID: project ID Anda.
    • VM_NAME: nama instance yang ingin Anda tambahi GPU.
    • ZONE: zona tempat instance berada.
    • ACCELERATOR_COUNT: jumlah GPU yang ingin Anda pasang ke instance. Untuk mengetahui daftar batas GPU berdasarkan jenis mesin instance Anda, lihat GPU di Compute Engine.
    • ACCELERATOR_TYPE: Model GPU yang ingin Anda pasang atau gunakan sebagai pengganti. Jika Anda berencana menjalankan workload yang intensif grafis di instance ini, gunakan salah satu model workstation virtual.

      Pilih salah satu nilai berikut:

      • GPU NVIDIA:

        • NVIDIA T4: nvidia-tesla-t4
        • NVIDIA P4: nvidia-tesla-p4
        • NVIDIA P100: nvidia-tesla-p100
        • NVIDIA V100: nvidia-tesla-v100
      • NVIDIA RTX Virtual Workstation (vWS) (sebelumnya disebut NVIDIA GRID):

        • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
        • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws
        • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

        Untuk workstation virtual ini, lisensi NVIDIA RTX Virtual Workstation (vWS) otomatis ditambahkan ke instance Anda.

Menginstal driver

Untuk menginstal driver, pilih salah satu opsi berikut:

Menghapus GPU

Bagian ini membahas cara menghapus jenis GPU berikut dari instance tujuan umum N1 yang sudah ada.

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

NVIDIA RTX Virtual Workstation (vWS) (sebelumnya disebut NVIDIA GRID):

  • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
  • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws
  • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

    Untuk workstation virtual ini, lisensi NVIDIA RTX Virtual Workstation (vWS) otomatis ditambahkan ke instance Anda.

Anda dapat menggunakan Google Cloud console untuk menghapus GPU dari instance yang sudah ada. Untuk menghapus GPU, selesaikan langkah-langkah berikut:

  1. Pastikan semua aplikasi penting Anda dihentikan di instance.

  2. Di konsol Google Cloud , buka halaman VM instances untuk melihat daftar instance Anda.

    Buka instance VM

  3. Klik nama instance yang ingin Anda hapus GPU-nya. Halaman Detail akan terbuka.

  4. Selesaikan langkah-langkah berikut dari halaman Details.

    1. Jika instance sedang berjalan, klik Stop untuk menghentikan instance. Jika tidak ada opsi Hentikan, klik Tindakan lainnya > Hentikan.

    2. Di toolbar, klik Edit.

    3. Di bagian Konfigurasi mesin, pilih kelompok mesin Tujuan umum, lalu lakukan hal berikut:

      1. Untuk melihat GPU yang terpasang, luaskan Konfigurasi lanjutan.

      2. Di bagian GPU, hapus GPU menggunakan salah satu opsi berikut:

        • Untuk menghapus beberapa GPU, di daftar Jumlah GPU, pilih angka baru.

        • Untuk menghapus semua GPU, klik Hapus GPU.

    4. Opsional: Ubah setelan kebijakan pemeliharaan host instance. Instance dengan GPU harus memiliki kebijakan pemeliharaan host yang ditetapkan ke Akhiri instance VM. Namun, jika semua GPU dihapus, Anda memiliki opsi untuk melakukan migrasi langsung terhadap instance ini selama pemeliharaan host. Untuk informasi selengkapnya, lihat Menetapkan kebijakan pemeliharaan host VM.

    5. Untuk menerapkan perubahan, klik Simpan.

    6. Untuk memulai ulang instance, klik Mulai/Lanjutkan.

Apa langkah selanjutnya?