Bandwidth jaringan yang lebih tinggi dapat meningkatkan performa workload terdistribusi yang berjalan di instance virtual machine (VM) Compute Engine.
Ringkasan
Bandwidth jaringan maksimum yang tersedia untuk VM dengan GPU yang terpasang di Compute Engine adalah sebagai berikut:
- Untuk VM yang dioptimalkan akselerator A3, Anda bisa mendapatkan bandwidth jaringan maksimum hingga 3.600 Gbps.
- Untuk VM A2 dan G2 yang dioptimalkan akselerator, Anda bisa mendapatkan bandwidth jaringan maksimum hingga 100 Gbps, berdasarkan jenis mesin.
- Untuk VM tujuan umum N1 yang memiliki GPU P100 dan P4 yang terpasang, tersedia bandwidth jaringan maksimum sebesar 32 Gbps. Tarif ini serupa dengan tarif maksimum yang tersedia untuk VM N1 yang belum memasang GPU. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat kecepatan data keluar maksimum.
- Untuk VM tujuan umum N1 yang memasang GPU T4 dan V100, Anda bisa mendapatkan bandwidth jaringan maksimum hingga 100 Gbps, berdasarkan kombinasi jumlah GPU dan vCPU.
VM A3
Jenis mesin yang dioptimalkan akselerator A3 memiliki GPU NVIDIA H100 80 GB atau NVIDIA H200 141 GB yang terpasang. Setiap jenis mesin A3 memiliki jumlah GPU tetap, jumlah vCPU, dan ukuran memori.
Jenis mesin A3 Ultra
Jenis mesin ini memiliki GPU H200 yang terpasang dan memberikan performa jaringan tertinggi di seri A3.
Jenis mesin ini menawarkan pengaturan kartu antarmuka jaringan (NIC) yang menyertakan delapan NIC NVIDIA ConnectX-7 (CX7) dan dua NIC virtual Google (gVNIC). Delapan NIC CX7 memberikan total bandwidth jaringan 3200 Gbps, sehingga sangat ideal untuk komunikasi GPU-ke-GPU dengan bandwidth tinggi. Setiap NIC CX7 disejajarkan dengan satu GPU NVIDIA H200 141 GB untuk mengoptimalkan akses memori tidak seragam (NUMA). Kedua gVNIC menyediakan bandwidth jaringan tambahan 400 Gbps untuk persyaratan jaringan lainnya.
Anda dapat menggunakan perintah lspci -vvt
di VM Linux untuk mendapatkan informasi mendetail tentang bus dan perangkat
PCI (Peripheral Component Interconnect) yang terhubung ke jenis mesin A3.
Untuk mengetahui informasi selengkapnya tentang cara menyiapkan jaringan untuk VM A3 Ultra, lihat Membuat jaringan VPC dalam dokumentasi Hypercomputer AI.
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3e) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
8 | 1128 | 224 | 2.952 | 12.000 | 10 | 3.600 |
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif grafis.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
Jenis mesin A3 Mega, High, dan Edge
Jenis mesin ini memiliki GPU H100 80 GB yang terpasang. Setiap jenis mesin ini memiliki jumlah GPU, jumlah vCPU, dan ukuran memori tetap.
- VM A3 dengan satu NIC: Untuk VM A3 dengan 1 hingga 4 GPU yang terpasang, hanya satu kartu antarmuka jaringan fisik (NIC) yang tersedia.
- VM A3 Multi-NIC: Untuk VM A3 dengan 8 GPU yang terpasang,
beberapa NIC fisik tersedia. Untuk jenis mesin A3 ini, NIC disusun sebagai berikut di
bus Peripheral Component Interconnect Express (PCIe):
- Untuk jenis mesin A3 Mega: pengaturan NIC 8+1 tersedia. Dengan pengaturan ini, 8 NIC berbagi bus PCIe yang sama, dan 1 NIC berada di bus PCIe terpisah.
- Untuk jenis mesin A3 High: pengaturan NIC 4+1 tersedia. Dengan pengaturan ini, 4 NIC berbagi bus PCIe yang sama, dan 1 NIC berada di bus PCIe terpisah.
- Untuk jenis mesin A3 Edge: pengaturan NIC 4+1 tersedia. Dengan pengaturan ini, 4 NIC berbagi bus PCIe yang sama, dan 1 NIC berada di bus PCIe terpisah. 5 NIC ini menyediakan total bandwidth jaringan sebesar 400 Gbps untuk setiap VM.
NIC yang menggunakan bus PCIe yang sama, memiliki perataan akses memori non-seragam (NUMA) dari satu NIC per dua GPU NVIDIA H100 80 GB. NIC ini ideal untuk komunikasi GPU ke GPU dengan bandwidth tinggi khusus. NIC fisik yang berada di bus PCIe terpisah sangat ideal untuk kebutuhan jaringan lainnya. Untuk petunjuk cara menyiapkan jaringan untuk VM A3 High dan A3 Edge, lihat menyiapkan jaringan MTU frame jumbo.
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 9 | 1.800 |
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1.500 | 1 | 50 |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3.000 | 1 | 100 |
a3-highgpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 | 1.000 |
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 |
|
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif grafis.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
VM A2
Setiap jenis mesin A2 memiliki jumlah tetap GPU NVIDIA A100 40 GB atau NVIDIA A100 80 GB yang terpasang. Setiap jenis mesin juga memiliki jumlah vCPU dan ukuran memori tetap.
Seri mesin A2 tersedia dalam dua jenis:
- A2 Ultra: jenis mesin ini memiliki GPU A100 80 GB dan disk SSD Lokal yang terpasang.
- A2 Standard: jenis mesin ini memiliki GPU A100 40 GB yang terpasang.
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1.500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1.360 | 3.000 | 100 |
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Ya | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Ya | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Ya | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Ya | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1.360 | Ya | 100 |
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif grafis.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
Konfigurasi VM G2
Setiap jenis mesin G2 memiliki GPU NVIDIA L4 dan vCPU dalam jumlah tetap yang terpasang. Setiap jenis mesin G2 juga memiliki memori default dan rentang memori kustom. Rentang memori kustom menentukan jumlah memori yang dapat Anda alokasikan ke VM untuk setiap jenis mesin. Anda dapat menentukan memori kustom selama pembuatan VM.
Untuk mendapatkan kecepatan bandwidth jaringan yang lebih tinggi (50 Gbps atau lebih tinggi) yang diterapkan ke sebagian besar VM GPU, sebaiknya gunakan Google Virtual NIC (gVNIC). Untuk mengetahui informasi selengkapnya tentang cara membuat VM GPU yang menggunakan gVNIC, lihat Membuat VM GPU yang menggunakan bandwidth lebih tinggi.
Jenis mesin | Jumlah GPU | Memori GPU* (GB GDDR6) | Jumlah vCPU† | Memori VM default (GB) | Rentang memori VM kustom (GB) | SSD Lokal maksimum yang didukung (GiB) | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | 16 hingga 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | 32-54 tahun | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | 48-54 tahun | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | 54-64 tahun | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | 96 hingga 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | 96 hingga 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | 192 hingga 216 | 1.500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | 384 hingga 432 | 3.000 | 100 |
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif grafis.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
VM GPU N1
Untuk VM tujuan umum N1 yang memasang GPU T4 dan V100, Anda bisa mendapatkan bandwidth jaringan maksimum hingga 100 Gbps, berdasarkan kombinasi jumlah GPU dan vCPU. Untuk semua VM GPU N1 lainnya, lihat Ringkasan.
Tinjau bagian berikut untuk menghitung bandwidth jaringan maksimum yang tersedia untuk VM T4 dan V100 berdasarkan model GPU, vCPU, dan jumlah GPU.
Untuk VM T4 dan V100 yang memiliki 5 vCPU atau kurang, tersedia bandwidth jaringan maksimum sebesar 10 Gbps.
Untuk VM T4 dan V100 yang memiliki lebih dari 5 vCPU, bandwidth jaringan maksimum dihitung berdasarkan jumlah vCPU dan GPU untuk VM tersebut.
Untuk mendapatkan kecepatan bandwidth jaringan yang lebih tinggi (50 Gbps atau lebih tinggi) yang diterapkan ke sebagian besar VM GPU, sebaiknya gunakan Google Virtual NIC (gVNIC). Untuk mengetahui informasi selengkapnya tentang cara membuat VM GPU yang menggunakan gVNIC, lihat Membuat VM GPU yang menggunakan bandwidth lebih tinggi.
Model GPU | Jumlah GPU | Penghitungan bandwidth jaringan maksimum |
---|---|---|
NVIDIA V100 | 1 | min(vcpu_count * 2, 32) |
2 | min(vcpu_count * 2, 32) |
|
4 | min(vcpu_count * 2, 50) |
|
8 | min(vcpu_count * 2, 100) |
|
NVIDIA T4 | 1 | min(vcpu_count * 2, 32) |
2 | min(vcpu_count * 2, 50) |
|
4 | min(vcpu_count * 2, 100) |
Membuat VM dengan bandwidth tinggi
Untuk membuat VM yang menggunakan bandwidth jaringan yang lebih tinggi, lihat Menggunakan bandwidth jaringan yang lebih tinggi.
Untuk menguji atau memverifikasi kecepatan bandwidth untuk konfigurasi apa pun, Anda dapat menggunakan pengujian tolok ukur. Untuk mengetahui informasi selengkapnya, lihat Memeriksa bandwidth jaringan.
Apa langkah selanjutnya?
- Pelajari platform GPU lebih lanjut.
- Pelajari cara membuat VM dengan GPU terpasang.
- Pelajari cara Menggunakan bandwidth jaringan yang lebih tinggi.
- Pelajari harga GPU.