Membuat VM yang dioptimalkan akselerator

Linux Windows

Dokumen ini menjelaskan cara membuat VM yang menggunakan kelompok mesin yang dioptimalkan akselerator. Kelompok mesin yang dioptimalkan akselerator tersedia dalam jenis mesin standar A3, standar A2 dan ultra, serta jenis mesin standar G2.

Setiap jenis mesin yang dioptimalkan akselerator memiliki model GPU NVIDIA yang terpasang.

Untuk jenis mesin yang dioptimalkan akselerator A3, GPU NVIDIA H100 80 GB dipasang.
Untuk jenis mesin yang dioptimalkan akselerator A2, GPU NVIDIA A100 terpasang. GPU ini tersedia dalam opsi A100 40GB dan A100 80GB.
Untuk jenis mesin yang dioptimalkan akselerator G2, GPU NVIDIA L4 terpasang.

Sebelum memulai

Untuk meninjau langkah-langkah prasyarat tambahan, seperti memilih image OS dan memeriksa kuota GPU, lihat dokumen ringkasan.
Siapkan autentikasi, jika Anda belum melakukannya. Autentikasi adalah proses verifikasi identitas Anda untuk akses ke layanan dan API Google Cloud. Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine sebagai berikut.

Pilih tab untuk melihat bagaimana Anda berencana menggunakan contoh di halaman ini:
Konsol

Saat menggunakan Konsol Google Cloud untuk mengakses API dan layanan Google Cloud, Anda tidak perlu menyiapkan autentikasi.
gcloud
1. Instal Google Cloud CLI, lalu initialize dengan menjalankan perintah berikut:
```
gcloud init
```
  Catatan: Jika Anda telah menginstal gcloud CLI sebelumnya, pastikan Anda memiliki versi baru dengan menjalankan gcloud components update.
2. Menetapkan region dan zona default.
REST

Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat VM, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Peran bawaan ini berisi izin yang diperlukan untuk membuat VM. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat VM:

compute.instances.create pada project
Untuk menggunakan image kustom guna membuat VM: compute.images.useReadOnly pada image
Untuk menggunakan snapshot guna membuat VM: compute.snapshots.useReadOnly di snapshot
Untuk menggunakan template instance untuk membuat VM: compute.instanceTemplates.useReadOnly di template instance
Untuk menetapkan jaringan lama ke VM: compute.networks.use pada project
Untuk menentukan alamat IP statis untuk VM: compute.addresses.use di project
Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan lama: compute.networks.useExternalIp di project
Untuk menentukan subnet untuk VM Anda: compute.subnetworks.use pada project atau subnet yang dipilih
Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan VPC: compute.subnetworks.useExternalIp pada project atau di subnet yang dipilih
Untuk menetapkan metadata instance VM untuk VM: compute.instances.setMetadata di project
Untuk menetapkan tag untuk VM: compute.instances.setTags di VM
Untuk menetapkan label VM: compute.instances.setLabels di VM
Untuk menetapkan akun layanan yang akan digunakan VM: compute.instances.setServiceAccount di VM
Untuk membuat disk baru bagi VM: compute.disks.create di project
Untuk memasang disk yang ada dalam mode hanya baca atau baca-tulis: compute.disks.use pada disk
Untuk memasang disk yang ada dalam mode hanya baca: compute.disks.useReadOnly pada disk

Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.

Buat VM yang telah memasang GPU

Anda dapat membuat VM yang dioptimalkan akselerator A3, A2, atau G2 menggunakan Konsol Google Cloud, Google Cloud CLI, atau REST.

Untuk melakukan beberapa penyesuaian pada VM G2, Anda mungkin perlu menggunakan Google Cloud CLI atau REST. Lihat Batasan standar G2.

Konsol

Di konsol Google Cloud, buka halaman Create an instance.

Buka Buat instance
Tentukan Name untuk VM Anda. Lihat Konvensi penamaan resource.
Pilih region dan zona tempat GPU tersedia. Lihat daftar region dan zona GPU yang tersedia.
Di bagian Machine configuration, pilih kelompok mesin GPUs, lalu lakukan tindakan berikut:
1. Pada daftar GPU type, pilih jenis GPU Anda.
  - Untuk VM yang dioptimalkan akselerator A3, pilih NVIDIA H100 80GB.
  - Untuk VM yang dioptimalkan akselerator A2, pilih NVIDIA A100 40GB atau NVIDIA A100 80GB.
  - Untuk VM yang dioptimalkan akselerator G2, pilih NVIDIA L4.
2. Dalam daftar Number of GPU, pilih jumlah GPU.
  
  Catatan: Setiap jenis mesin yang dioptimalkan akselerator memiliki jumlah GPU tetap yang terpasang. Jika Anda menyesuaikan jumlah GPU, jenis mesin akan berubah.
3. Jika model GPU Anda mendukung NVIDIA RTX Virtual Workstations (vWS) untuk workload grafis, dan Anda berencana menjalankan beban kerja yang intensif grafis pada VM ini, pilih Aktifkan Workstation Virtual (NVIDIA GRID).
Di bagian Boot disk, klik Change. Tindakan ini akan membuka halaman Boot disk configuration.
Di halaman Boot disk configuration, lakukan langkah berikut:
1. Pada tab Public image, pilih image Compute Engine yang didukung atau Deep Learning VM Image.
2. Tentukan ukuran boot disk minimal 40 GB.
3. Untuk mengonfirmasi opsi boot disk, klik Select.
Konfigurasi setelan VM lain yang Anda perlukan. Misalnya, Anda dapat mengubah setelan Preemptibility untuk mengonfigurasi VM sebagai preemptible instance. Hal ini akan mengurangi biaya VM dan GPU yang terpasang. Untuk informasi selengkapnya, baca GPU pada preemptible instance.
Untuk membuat dan memulai VM, klik Create.

gcloud

Untuk membuat dan memulai VM, gunakan perintah gcloud compute instances create dengan flag berikut. VM dengan GPU tidak dapat melakukan migrasi langsung, pastikan Anda menetapkan tanda --maintenance-policy=TERMINATE.

Flag opsional berikut ditampilkan dalam contoh perintah:

Flag --preemptible yang mengonfigurasi VM Anda sebagai preemptible instance. Tindakan ini akan mengurangi biaya VM Anda dan GPU yang terpasang. Untuk mengetahui informasi selengkapnya, baca GPU pada preemptible instance
Flag --accelerator untuk menentukan workstation virtual. NVIDIA RTX Virtual Workstation (vWS) hanya didukung untuk VM G2.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE --restart-on-failure \
      [--preemptible] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Ganti kode berikut:

VM_NAME: nama untuk VM baru.
MACHINE_TYPE : jenis mesin yang Anda pilih. Pilih dari salah satu opsi berikut:
- Jenis mesin A3.
- Jenis mesin A2.
- Jenis mesin G2. Jenis mesin G2 juga mendukung memori kustom. Memori harus dalam kelipatan 1024 MB dan berada dalam rentang memori yang didukung. Misalnya, untuk membuat VM dengan 4 vCPU dan memori 19 GB, tentukan --machine-type=g2-custom-4-19456.
ZONE: zona untuk VM. Zona ini harus mendukung model GPU yang Anda pilih.
DISK_SIZE: ukuran boot disk dalam GB. Tentukan ukuran boot disk minimal 40 GB.
IMAGE: image sistem operasi yang mendukung GPU. Jika Anda ingin menggunakan gambar terbaru dalam kelompok gambar, ganti flag --image dengan flag --image-family dan tetapkan nilainya ke kelompok gambar yang mendukung GPU. Contoh: --image-family=rocky-linux-8-optimized-gcp.
Anda juga dapat menentukan image kustom atau Deep Learning VM Image.
IMAGE_PROJECT: project image Compute Engine yang mencakup OS image. Jika menggunakan image kustom atau Deep Learning VM Image, tentukan project tempat image tersebut berada.
VWS_ACCELERATOR_COUNT: jumlah GPU virtual yang Anda butuhkan.

REST

Kirim permintaan POST ke metode instances.insert. VM dengan GPU tidak dapat melakukan migrasi, pastikan Anda menetapkan parameter onHostMaintenance ke TERMINATE.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  "automaticRestart": true
},
}

Ganti kode berikut:

VM_NAME: nama untuk VM baru.
PROJECT_ID: Project ID Anda.
ZONE: zona untuk VM. Zona ini harus mendukung model GPU yang Anda pilih.
MACHINE_TYPE : jenis mesin yang Anda pilih. Pilih dari salah satu opsi berikut:
- Jenis mesin A3.
- Jenis mesin A2.
- Jenis mesin G2. Jenis mesin G2 juga mendukung memori kustom. Memori harus dalam kelipatan 1024 MB dan berada dalam rentang memori yang didukung. Misalnya, untuk membuat VM dengan 4 vCPU dan memori 19 GB, tentukan --machine-type=g2-custom-4-19456.
SOURCE_IMAGE_URI: URI untuk kelompok gambar atau gambar tertentu yang ingin Anda gunakan. Contoh:
- Gambar spesifik: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
- Kelompok image: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
Saat Anda menentukan kelompok gambar, Compute Engine akan membuat VM dari image OS terbaru yang masih digunakan dalam kelompok gambar tersebut. Untuk mengetahui informasi selengkapnya terkait kapan harus menggunakan kelompok gambar, lihat Praktik terbaik kelompok gambar
DISK_SIZE: ukuran boot disk dalam GB. Tentukan ukuran boot disk minimal 40 GB.
NETWORK: jaringan VPC yang ingin Anda gunakan untuk VM. Anda dapat menentukan `default` untuk menggunakan jaringan default.

Setelan tambahan:

Anda dapat mengurangi biaya VM dan GPU yang terpasang menggunakan preemptible VM. Untuk informasi selengkapnya, baca GPU pada preemptible instance. Untuk menyetel VM menjadi preemptible, tambahkan opsi "preemptible": true ke permintaan Anda.
```
"scheduling":
  {
    "onHostMaintenance": "terminate",
    "automaticRestart": true,
    "preemptible": true
  }
```
Untuk VM G2, didukung NVIDIA RTX Virtual Workstations (vWS). Untuk menentukan workstation virtual, tambahkan opsi `guestAccelerator` ke permintaan Anda. Ganti VWS_ACCELERATOR_COUNT dengan jumlah GPU virtual yang Anda butuhkan.
```
"guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
    }
  ]
```

Batasan

Standar A3

Anda tidak akan menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen yang fleksibel untuk VM yang menggunakan jenis mesin standar A3.
Anda hanya dapat menggunakan jenis mesin standar A3 di region dan zona tertentu.
Anda tidak dapat menggunakan persistent disk regional pada VM yang menggunakan jenis mesin standar A3.
Jenis mesin standar A3 hanya tersedia di platform Safir Rapids.
Jika VM menggunakan jenis mesin standar A3, Anda tidak dapat mengubah jenis mesin. Jika perlu menggunakan jenis mesin lain, Anda harus membuat VM baru.
Anda tidak dapat mengubah jenis mesin lainnya menjadi jenis mesin standar A3. Jika perlu membuat VM yang menggunakan jenis mesin standar A3, Anda harus membuat VM baru.
Jenis mesin standar A3 tidak mendukung tenant tunggal.
Anda tidak dapat menjalankan jenis mesin standar A3 di sistem operasi Windows.

Standar A2

Anda tidak akan menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen yang fleksibel untuk VM yang menggunakan jenis mesin standar A2.
Anda hanya dapat menggunakan jenis mesin standar A2 di region dan zona tertentu.
Anda tidak dapat menggunakan persistent disk regional pada VM yang menggunakan jenis mesin standar A2.
Jenis mesin standar A2 hanya tersedia di platform Casscade Lake.
Jika VM menggunakan jenis mesin standar A2, Anda hanya dapat beralih dari satu jenis mesin standar A2 ke jenis mesin standar A2 lainnya. Anda tidak dapat beralih ke jenis mesin lainnya. Untuk mengetahui informasi selengkapnya, lihat Mengubah VM yang dioptimalkan akselerator.
Anda tidak dapat menggunakan jenis mesin standar a2-megagpu-16g A2 pada sistem operasi Windows. Saat menggunakan sistem operasi Windows, pilih jenis mesin standar A2 yang berbeda.
Anda tidak dapat melakukan format cepat SSD Lokal yang terpasang di VM Windows yang menggunakan jenis mesin standar A2. Untuk memformat SSD Lokal ini, Anda harus membuat format penuh dengan menggunakan utilitas diskpart dan menentukan format fs=ntfs label=tmpfs.
Jenis mesin standar A2 tidak mendukung tenant tunggal.

A2 ultra

Anda tidak akan menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen yang fleksibel untuk VM yang menggunakan jenis mesin Ultra A2.
Anda hanya dapat menggunakan jenis mesin A2 ultra di region dan zona tertentu.
Anda tidak dapat menggunakan persistent disk regional pada VM yang menggunakan jenis mesin ultra A2.
Jenis mesin ultra A2 hanya tersedia di platform Casscade Lake.
Jika VM Anda menggunakan jenis mesin ultra A2, Anda tidak dapat mengubah jenis mesin. Jika perlu menggunakan jenis mesin A2 ultra lainnya, atau jenis mesin lainnya, Anda harus membuat VM baru.
Anda tidak dapat mengubah jenis mesin lainnya menjadi jenis mesin A2 ultra. Jika perlu membuat VM yang menggunakan jenis mesin ultra A2, Anda harus membuat VM baru.
Anda tidak dapat melakukan format cepat SSD Lokal yang terpasang di VM Windows yang menggunakan jenis mesin ultra A2. Untuk memformat SSD Lokal ini, Anda harus membuat format penuh dengan menggunakan utilitas diskpart dan menentukan format fs=ntfs label=tmpfs.

Standar G2

Anda tidak akan menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen yang fleksibel untuk VM yang menggunakan jenis mesin standar G2.
Anda hanya dapat menggunakan jenis mesin standar G2 di region dan zona tertentu.
Anda tidak dapat menggunakan persistent disk regional pada VM yang menggunakan jenis mesin standar G2.
Jenis mesin standar G2 hanya tersedia di platform Casscade Lake.
Persistent disk standar (pd-standard) tidak didukung di VM yang menggunakan jenis mesin standar G2. Untuk mengetahui jenis disk yang didukung, lihat Jenis disk yang didukung untuk G2.
Anda tidak dapat membuat GPU Multi-Instance pada jenis mesin standar G2.
Jika Anda perlu mengubah jenis mesin VM G2, pelajari artikel Mengubah VM yang dioptimalkan akselerator.
Anda tidak dapat menggunakan Deep Learning VM Image sebagai boot disk untuk VM yang menggunakan jenis mesin standar G2.
Driver default saat ini untuk Container-Optimized OS tidak mendukung GPU L4 yang berjalan pada jenis mesin G2. Container-Optimized OS juga hanya mendukung serangkaian driver tertentu. Jika Anda ingin menggunakan Container-Optimized OS pada jenis mesin G2, tinjau catatan berikut:
- Gunakan versi Container-Optimized OS yang mendukung versi driver NVIDIA minimum yang direkomendasikan 525.60.13 atau yang lebih baru. Untuk informasi selengkapnya, tinjau catatan rilis Container-Optimized OS.
- Saat Anda menginstal driver, tentukan versi terbaru yang tersedia yang berfungsi untuk GPU L4. Contoh, sudo cos-extensions install gpu -- -version=525.60.13.
Anda harus menggunakan Google Cloud CLI atau REST untuk membuat VM G2 untuk skenario berikut:
- Anda ingin menetapkan nilai memori kustom.
- Anda ingin menyesuaikan jumlah inti CPU yang terlihat.

Menginstal {i>driver<i}

Agar VM dapat menggunakan GPU, Anda harus Menginstal driver GPU di VM.

Contoh

Dalam contoh ini, VM dibuat menggunakan Google Cloud CLI. Namun, Anda juga dapat menggunakan Google Cloud Console atau REST untuk membuat VM ini.

Contoh berikut menunjukkan cara membuat VM menggunakan image berikut:

Gambar publik atau kustom. Contoh ini menggunakan VM G2.
Deep Learning VM Image. Contoh ini menggunakan VM A2.
Image yang dioptimalkan container (COS). Contoh ini menggunakan VM A3.

Image OS publik (G2)

Anda dapat membuat VM dengan GPU terpasang yang menggunakan image publik yang tersedia di Compute Engine atau image kustom.

Untuk membuat VM menggunakan image terbaru yang tidak dihentikan dari Rocky Linux 8 yang dioptimalkan untuk kelompok image Google Cloud yang menggunakan g2-standard-8 dan memiliki NVIDIA RTX Virtual Workstation, selesaikan langkah-langkah berikut:

Membuat VM. Dalam contoh ini, flag opsional seperti jenis dan ukuran boot disk juga ditentukan.

gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=g2-standard-8  \
    --maintenance-policy=TERMINATE --restart-on-failure \
    --network-interface=nic-type=GVNIC \
    --accelerator=type=nvidia-l4-vws,count=1 \
    --image-family=rocky-linux-8-optimized-gcp \
    --image-project=rocky-linux-cloud \
    --boot-disk-size=200GB \
    --boot-disk-type=pd-ssd

Ganti kode berikut:

VM_NAME: nama VM Anda
PROJECT_ID: Project ID Anda.
ZONE: zona untuk VM.

Instal driver NVIDIA dan CUDA. Untuk GPU NVIDIA L4, diperlukan CUDA versi XX atau yang lebih tinggi.

Gambar DLVM (A2)

Menggunakan image DLVM adalah cara termudah untuk memulai karena image ini sudah dilengkapi dengan driver NVIDIA dan library CUDA.

Gambar ini juga memberikan pengoptimalan performa.

Image DLVM berikut didukung untuk NVIDIA A100:

common-cu110: Driver NVIDIA dan CUDA yang telah diinstal sebelumnya
tf-ent-1-15-cu110: Driver NVIDIA, CUDA, TensorFlow Enterprise 1.15.3 telah diinstal sebelumnya
tf2-ent-2-1-cu110: Driver NVIDIA, CUDA, TensorFlow Enterprise 2.1.1 telah diinstal sebelumnya
tf2-ent-2-3-cu110: Driver NVIDIA, CUDA, TensorFlow Enterprise 2.3.1 telah diinstal sebelumnya
pytorch-1-6-cu110: Driver NVIDIA, CUDA, Pytorch 1.6

Untuk mengetahui informasi selengkapnya tentang image DLVM yang tersedia, dan paket yang diinstal pada image, lihat dokumentasi Deep Learning VM.

Buat VM menggunakan image tf2-ent-2-3-cu110 dan jenis mesin a2-highgpu-1g. Dalam contoh ini, flag opsional seperti ukuran dan cakupan boot disk ditentukan.

gcloud compute instances create VM_NAME \
   --project PROJECT_ID \
   --zone ZONE \
   --machine-type a2-highgpu-1g \
   --maintenance-policy TERMINATE --restart-on-failure \
   --image-family tf2-ent-2-3-cu110 \
   --image-project deeplearning-platform-release \
   --boot-disk-size 200GB \
   --metadata "install-nvidia-driver=True,proxy-mode=project_editors" \
   --scopes https://www.googleapis.com/auth/cloud-platform

Ganti kode berikut:

VM_NAME: nama VM Anda
PROJECT_ID: Project ID Anda.
ZONE: zona untuk VM

Contoh perintah sebelumnya juga menghasilkan instance notebook yang dikelola pengguna Vertex AI Workbench untuk VM. Untuk mengakses notebook, di konsol Google Cloud, buka Vertex AI Workbench > halaman Notebook yang dikelola pengguna singkat ini.

Buka halaman Notebook yang dikelola pengguna

COS (A3)

Anda dapat membuat VM yang telah memasang GPU H100 menggunakan image yang dioptimalkan container (COS).

Untuk petunjuk mendetail tentang cara menyiapkan VM A3 yang menggunakan Container-Optimized OS, lihat Meningkatkan performa jaringan dengan GPUDirect-TCPX.

Multi-Instance GPU (khusus VM A3 dan A2)

GPU Multi-Instance mempartisi satu GPU NVIDIA H100 atau A100 dalam VM yang sama menjadi tujuh instance GPU independen. Keduanya berjalan secara bersamaan, masing-masing dengan memori, cache, dan multiprosesor streaming sendiri. Penyiapan ini memungkinkan GPU NVIDIA H100 atau A100 memberikan jaminan kualitas layanan (QoS) hingga penggunaan 7x lebih tinggi dibandingkan model GPU sebelumnya.

Anda dapat membuat hingga tujuh GPU Multi-instance. Untuk GPU A100 dengan ukuran 40 GB, setiap GPU Multi-instance dialokasikan memori sebesar 5 GB. Dengan GPU A100 80 GB dan H100 80 GB, memori yang dialokasikan masing-masing berlipat ganda menjadi 10 GB.

Untuk mengetahui informasi selengkapnya tentang penggunaan GPU Multi-Instance, lihat Panduan Pengguna Multi-Instance GPU NVIDIA.

Untuk membuat GPU Multi-Instance, selesaikan langkah-langkah berikut:

Buat VM A3 atau A2 yang dioptimalkan untuk akselerator.
Aktifkan driver GPU NVIDIA.

Tips Pro: Anda dapat melewati langkah ini dengan membuat VM dengan Deep Learning VM Image. Setiap Deep Learning VM Image sudah dilengkapi dengan driver GPU NVIDIA.
Aktifkan GPU Multi-Instance.
```
sudo nvidia-smi -mig 1
```

Tinjau bentuk GPU Multi-Instance yang tersedia.

sudo nvidia-smi mig --list-gpu-instance-profiles

Outputnya mirip dengan hal berikut ini:

+-----------------------------------------------------------------------------+
| GPU instance profiles:                                                      |
| GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                              Free/Total   GiB              CE    JPEG  OFA  |
|=============================================================================|
|   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
|                                                             1     1     1   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
|                                                             2     2     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
|                                                             3     3     0   |
+-----------------------------------------------------------------------------+
.......

Buat Multi-Instance GPU (GI) dan instance komputasi (CI) terkait yang Anda inginkan. Anda dapat membuat instance ini dengan menentukan nama profil, ID profil, atau kombinasi keduanya, baik yang lengkap maupun disingkat. Untuk mengetahui informasi selengkapnya, lihat Membuat Instance GPU.

Contoh berikut membuat dua instance GPU MIG 3g.20gb menggunakan ID profil (9).

Flag -C juga ditentukan yang membuat instance komputasi terkait untuk profil yang diperlukan.
```
sudo nvidia-smi mig -cgi 9,9 -C
```
Pastikan dua GPU Multi-Instance telah dibuat:
```
sudo nvidia-smi mig -lgi
```

Pastikan GI dan CI yang sesuai telah dibuat.

sudo nvidia-smi

Outputnya mirip dengan berikut ini:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
| N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
| N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
......

+-----------------------------------------------------------------------------+
| MIG devices:                                                                |
+------------------+----------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
|      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
|                  |                      |        ECC|                       |
|==================+======================+===========+=======================|
|  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
|  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
......

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Apa langkah selanjutnya?

Pelajari platform GPU lebih lanjut.
Tambahkan SSD Lokal ke instance Anda. Perangkat SSD lokal berfungsi baik dengan GPU saat aplikasi Anda memerlukan penyimpanan berperforma tinggi.
Instal driver GPU.
Jika Anda mengaktifkan workstation virtual NVIDIA RTX, instal driver untuk workstation virtual.
Untuk menangani pemeliharaan host GPU, lihat Menangani peristiwa pemeliharaan host GPU.