Bandwidth jaringan dan GPU

Bandwidth jaringan yang lebih tinggi dapat meningkatkan performa workload terdistribusi yang berjalan di instance virtual machine (VM) Compute Engine.

Ringkasan

Bandwidth jaringan maksimum yang tersedia untuk VM dengan GPU terpasang di Compute Engine adalah sebagai berikut:

  • Untuk VM tujuan umum N1 yang memiliki GPU P100, P4, dan K80 yang terpasang, tersedia bandwidth jaringan maksimum sebesar 32 Gbps. Ini serupa dengan tarif maksimum yang tersedia untuk VM N1 yang tidak memiliki GPU. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat kecepatan data keluar maksimum.
  • Untuk VM tujuan umum N1 yang memiliki GPU T4 dan V100 yang terpasang, Anda bisa mendapatkan bandwidth jaringan maksimum hingga 100 Gbps, berdasarkan kombinasi jumlah GPU dan vCPU.
  • Untuk VM yang dioptimalkan akselerator A2 dan G2, Anda bisa mendapatkan bandwidth jaringan maksimum hingga 100 Gbps, berdasarkan jenis mesin.
  • Untuk VM yang dioptimalkan akselerator A3, Anda dapat memperoleh bandwidth jaringan maksimum hingga 1.000 Gbps (1 Tbps).

Bandwidth jaringan dan NIC Virtual Google (gVNIC)

Untuk mendapatkan kecepatan bandwidth jaringan yang lebih tinggi (50 Gbps atau lebih tinggi) yang diterapkan ke VM GPU, sebaiknya gunakan Google Virtual NIC (gVNIC). Untuk mengetahui informasi selengkapnya tentang cara membuat VM GPU yang menggunakan gVNIC, baca Membuat VM GPU yang menggunakan bandwidth lebih tinggi.

VM yang dioptimalkan akselerator

Bagian ini menjelaskan bandwidth jaringan maksimum yang tersedia untuk VM yang dioptimalkan akselerator A3, A2, dan G2.

VM A3

Setiap jenis mesin A3 memiliki GPU NVIDIA H100 80 GB dalam jumlah tetap. Setiap jenis mesin juga memiliki jumlah vCPU dan ukuran memori yang tetap.

Setiap VM a3-highgpu-8g memiliki lima kartu antarmuka jaringan fisik (NIC), empat di antaranya menggunakan bus Peripheral Component Interconnect Express (PCIe) yang sama dan memiliki penyelarasan akses memori (NUMA) tidak seragam sebesar satu NIC per dua GPU NVIDIA H100 80 GB. Keempat NIC fisik ini ideal untuk GPU GPU bandwidth tinggi khusus untuk komunikasi GPU. NIC fisik lainnya berada di bus PCIe yang terpisah dan ideal untuk kebutuhan jaringan lainnya. Setiap NIC memiliki bandwidth maksimum 200 Gbps, dengan total bandwidth maksimum 1000 Gbps (1 Tbps) per VM.
Machine type Jumlah GPU vCPUs Memori Bandwidth jaringan maksimum
a3-highgpu-8g 8 208 1.872 GB 1.000 Gbps

VM A2

Setiap jenis mesin A2 memiliki GPU NVIDIA A100 40 GB atau NVIDIA A100 80 GB dalam jumlah tetap. Setiap jenis mesin juga memiliki jumlah vCPU dan ukuran memori yang tetap.

A100 40GB

Machine type Jumlah GPU vCPUs Memori Bandwidth jaringan maksimum
a2-highgpu-1g 1 12 85 GB 24 Gbps
a2-highgpu-2g 2 24 170 GB 32 Gbps
a2-highgpu-4g 4 48 340 GB 50 Gbps
a2-highgpu-8g 8 96 680 GB 100 Gbps
a2-highgpu-16g 16 96 1360 GB 100 Gbps

A100 80GB

Machine type Jumlah GPU vCPUs Memori Bandwidth jaringan maksimum
a2-ultragpu-1g 1 12 170 GB 24 Gbps
a2-ultragpu-2g 2 24 340 GB 32 Gbps
a2-ultragpu-4g 4 48 680 GB 50 Gbps
a2-ultragpu-8g 8 96 1360 GB 100 Gbps

Konfigurasi VM G2

Setiap jenis mesin G2 memiliki GPU NVIDIA L4 dan vCPU dalam jumlah tetap yang terpasang. Setiap jenis mesin G2 juga memiliki memori default dan rentang memori kustom. Rentang memori kustom menentukan jumlah memori yang dapat Anda alokasikan ke VM untuk setiap jenis mesin. Anda dapat menentukan memori kustom selama pembuatan VM.

Jenis mesin Jumlah GPU vCPUs Memori default Rentang memori kustom Bandwidth jaringan maksimum
g2-standard-4 1 4 vCPU 16 GB 16 - 32 GB 10 Gbps
g2-standard-8 1 8 vCPU 32 GB 32 - 54 GB 16 Gbps
g2-standard-12 1 12 vCPU 48 GB 48 - 54 GB 16 Gbps
g2-standard-16 1 16 vCPU 64 GB 54 - 64 GB 32 Gbps
g2-standard-24 2 24 vCPU 96 GB 96 - 108 GB 32 Gbps
g2-standard-32 1 32 vCPU 128 GB 96 - 128 GB 32 Gbps
g2-standard-48 4 48 vCPU 192 GB 192 - 216 GB 50 Gbps
g2-standard-96 8 96 vCPU 384 GB 384 - 432 GB 100 Gbps

VM GPU N1

Untuk VM tujuan umum N1 yang memiliki GPU T4 dan V100 yang terpasang, Anda bisa mendapatkan bandwidth jaringan maksimum hingga 100 Gbps, berdasarkan kombinasi jumlah GPU dan vCPU. Untuk semua VM GPU N1 lainnya, lihat Ringkasan.

Tinjau bagian berikut untuk menghitung bandwidth jaringan maksimum yang tersedia untuk VM T4 dan V100 Anda berdasarkan model GPU, vCPU, dan jumlah GPU.

Kurang dari 5 vCPU

Untuk VM T4 dan V100 yang memiliki maksimal 5 vCPU, tersedia bandwidth jaringan maksimum sebesar 10 Gbps.

Lebih dari 5 vCPU

Untuk VM T4 dan V100 yang memiliki lebih dari 5 vCPU, bandwidth jaringan maksimum dihitung berdasarkan jumlah vCPU dan GPU untuk VM tersebut.

Model GPU Number of GPUs Penghitungan bandwidth jaringan maksimum
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

Membuat VM dengan bandwidth tinggi

Untuk membuat VM yang menggunakan bandwidth jaringan lebih tinggi, lihat Menggunakan bandwidth jaringan yang lebih tinggi.

Untuk menguji atau memverifikasi kecepatan bandwidth untuk konfigurasi apa pun, Anda dapat menggunakan pengujian tolok ukur. Untuk mengetahui informasi selengkapnya, lihat Memeriksa bandwidth jaringan.

Apa langkah selanjutnya?