Kelompok mesin yang dioptimalkan akselerator dirancang oleh Google Cloud guna memberikan performa dan efisiensi yang dibutuhkan untuk workload yang dipercepat GPU seperti kecerdasan buatan (AI), machine learning (ML), dan komputasi berperforma tinggi (HPC).
Kelompok mesin yang dioptimalkan akselerator tersedia dalam seri mesin berikut: A3, A2, dan G2. Setiap jenis mesin dalam seri memiliki model dan jumlah GPU NVIDIA tertentu yang terpasang. Anda juga dapat melampirkan beberapa model GPU ke jenis mesin tujuan umum N1.
Rekomendasi seri mesin menurut jenis workload
Bagian berikut menyajikan rangkaian mesin yang direkomendasikan berdasarkan workload GPU Anda.
Jenis beban kerja | Jenis atau seri mesin yang direkomendasikan |
---|---|
Model pra-pelatihan | A3 Ultra, A3 Mega, A3 High, A2 Untuk mengidentifikasi model yang paling sesuai, lihat Rekomendasi untuk model pra-pelatihan dalam dokumentasi Hypercomputer AI. |
Menyesuaikan model | A3 Mega, A3 High, A2 Untuk mengidentifikasi model yang paling sesuai, lihat Rekomendasi untuk menyesuaikan model dalam dokumentasi AI Hypercomputer. |
Inferensi penayangan | A3 Ultra, A3 Mega, A3 High, A2 Untuk mengidentifikasi yang paling sesuai, lihat Rekomendasi untuk menayangkan inferensi dalam dokumentasi AI Hypercomputer. |
Workload intensif grafis | G2, N1+T4 |
Komputasi berperforma tinggi | Untuk workload komputasi berperforma tinggi, semua rangkaian mesin yang dioptimalkan
akselerator akan berfungsi dengan baik. Kecocokan terbaik bergantung pada jumlah komputasi yang harus
dialihkan ke GPU. Untuk informasi selengkapnya, lihat Rekomendasi untuk HPC dalam dokumentasi Hypercomputer AI. |
Harga dan diskon
Semua jenis mesin yang dioptimalkan akselerator mendukung opsi diskon dan konsumsi berikut:
- Diskon abonemen berbasis resource (CUD)
- Spot VM
- Reservasi:
reservasi dapat diperoleh dengan salah satu metode berikut:
- Langsung melalui API reservasi
- Meminta kapasitas menggunakan Cluster Hypercompute. Cluster Hypercompute tersedia dalam Pratinjau dan hanya mendukung jenis mesin A3 Ultra. Metode ini menyediakan blok kapasitas yang dialokasikan secara padat yang ideal untuk menjalankan workload berskala besar.
Jenis mesin yang dioptimalkan akselerator akan dikenai biaya untuk GPU yang terpasang, vCPU yang telah ditetapkan, memori, dan SSD Lokal yang dipaketkan (jika ada). Untuk mengetahui informasi selengkapnya mengenai VM yang dioptimalkan akselerator, lihat bagian Kelompok jenis mesin yang dioptimalkan akselerator di halaman harga instance VM.
Seri mesin A3
Seri mesin A3 memiliki hingga 224 vCPU, dan memori 2.944 GB. Seri mesin ini dioptimalkan untuk komputasi dan memori yang intensif, pelatihan ML yang terikat jaringan, dan workload HPC.
Seri mesin A3 juga menyediakan fitur berikut:
Fitur | A3 Ultra | A3 Mega, High, Edge |
---|---|---|
GPU terpasang | GPU NVIDIA H200 SXM terpasang, yang menawarkan memori GPU 141 GB per GPU dan menyediakan memori yang lebih besar dan lebih cepat untuk mendukung model bahasa besar dan beban kerja HPC. |
GPU NVIDIA H100 SXM terpasang, yang menawarkan memori GPU 80 GB per GPU dan ideal untuk model bahasa, database, dan HPC besar berbasis transformer. |
CPU platform | Prosesor Intel Xeon Scalable Generasi ke-5 (Emerald Rapids) dan menawarkan frekuensi turbo maks single-core berkelanjutan hingga 4,0 GHz. Untuk informasi selengkapnya tentang prosesor ini, lihat Platform CPU. |
Prosesor Intel Xeon Scalable Generasi ke-4 (Sapphire Rapids) dan menawarkan frekuensi turbo maks single-core berkelanjutan hingga 3,3 GHz. Untuk informasi selengkapnya tentang prosesor ini, lihat Platform CPU. |
Skala NVLink terdepan di industri | GPU NVIDIA H200 memberikan puncak bandwidth NVLink GPU sebesar 900 GB/s, secara searah. Dengan topologi NVLink all-to-all antara 8 GPU dalam sistem, Bandwidth NVLink agregatnya mencapai 7,2 TB/s. |
GPU NVIDIA H100 memberikan bandwidth NVLink GPU puncak sebesar 450 GB/s, secara searah. Dengan topologi NVLink all-to-all antara 8 GPU dalam sistem, Bandwidth NVLink agregatnya mencapai 7,2 TB/s. |
Protokol jaringan | Untuk jenis mesin ini, RDMA over Converged Ethernet (RoCE) meningkatkan performa jaringan dengan
menggabungkan
kartu antarmuka jaringan (NIC) NVIDIA ConnectX-7 dengan
jaringan empat arah yang selaras dengan rel di seluruh pusat data kami. Dengan memanfaatkan RDMA melalui Converged Ethernet (RoCE), jenis mesin a3-ultragpu-8g akan mencapai throughput yang jauh lebih tinggi antara VM dalam cluster jika dibandingkan dengan jenis mesin A3 lainnya yang dioptimalkan akselerator.
|
|
Peningkatan kecepatan komputasi dan jaringan | Menawarkan kecepatan jaringan hingga 4x lipat jika dibandingkan dengan seri mesin A2 generasi sebelumnya. Untuk informasi selengkapnya tentang jaringan, lihat Bandwidth jaringan dan GPU. |
Menawarkan kecepatan jaringan hingga 2,5X jika dibandingkan dengan seri mesin A2 generasi sebelumnya. Untuk informasi selengkapnya tentang jaringan, lihat Bandwidth jaringan dan GPU. |
Pengoptimalan virtualisasi | Topologi Peripheral Component Interconnect Express (PCIe) VM A3 memberikan informasi lokalitas yang lebih akurat yang dapat digunakan beban kerja untuk mengoptimalkan transfer data. GPU juga mengekspos Reset Level Fungsi (FLR) untuk pemulihan yang lancar dari kegagalan dan dukungan operasi atomik untuk peningkatan konkurensi dalam skenario tertentu. |
|
Penyimpanan |
SSD Lokal dapat digunakan untuk scratch disk cepat atau untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. SSD lokal terpasang sebagai berikut:
Anda juga dapat memasang Persistent Disk dan Hyperdisk hingga 512 TiB ke jenis mesin dalam seri ini untuk aplikasi yang memerlukan performa penyimpanan lebih tinggi. |
|
Dukungan kebijakan penempatan rapat | Memberi Anda kontrol lebih besar atas penempatan fisik VM dalam pusat data. Hal ini memungkinkan latensi yang lebih rendah dan bandwidth yang lebih tinggi untuk penempatan VM dalam satu zona ketersediaan. Untuk mengetahui informasi selengkapnya, lihat Tentang kebijakan penempatan rapat. |
Jenis mesin berikut tersedia untuk seri mesin A3.
Jenis mesin A3 Ultra
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3e) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
8 | 1128 | 224 | 2.952 | 12.000 | 10 | 3.600 |
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif grafis.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
Batasan A3 Ultra
- Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk VM yang menggunakan jenis mesin A3 Ultra.
- Anda hanya dapat menggunakan jenis mesin A3 Ultra di region dan zona tertentu.
- Anda tidak dapat menggunakan Persistent Disk (regional atau zonal) di VM yang menggunakan jenis mesin A3 Ultra.
- Jenis mesin A3 Ultra hanya tersedia di platform CPU Emerald Rapids.
- Jika VM Anda menggunakan jenis mesin A3 Ultra, Anda tidak dapat mengubah jenis mesin. Jika perlu mengubah jenis mesin, Anda harus membuat VM baru.
- Anda tidak dapat mengubah jenis mesin VM menjadi jenis mesin A3 Ultra. Jika memerlukan VM yang menggunakan jenis mesin A3 Ultra, Anda harus membuat VM baru.
- Jenis mesin A3 Ultra tidak mendukung tenancy tunggal.
- Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A3 Ultra.
- Anda hanya dapat memesan kapasitas menggunakan Cluster Hypercompute.
Jenis mesin A3 Mega
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 9 | 1.800 |
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif grafis.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
Batasan A3 Mega
- Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk VM yang menggunakan jenis mesin A3 Mega.
- Anda hanya dapat menggunakan jenis mesin A3 Mega di region dan zona tertentu.
- Anda tidak dapat menggunakan Persistent Disk regional pada VM yang menggunakan jenis mesin A3 Mega.
- Jenis mesin A3 Mega hanya tersedia di platform CPU Sapphire Rapids.
- Jika VM Anda menggunakan jenis mesin A3 Mega, Anda tidak dapat mengubah jenis mesin. Jika perlu mengubah jenis mesin, Anda harus membuat VM baru.
- Anda tidak dapat mengubah jenis mesin VM menjadi jenis mesin A3 Mega. Jika memerlukan VM yang menggunakan jenis mesin A3 Mega, Anda harus membuat VM baru.
- Jenis mesin A3 Mega tidak mendukung tenancy tunggal.
- Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A3 Mega.
Jenis mesin A3 High
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1.500 | 1 | 50 |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3.000 | 1 | 100 |
a3-highgpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 | 1.000 |
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload intensif grafis Anda.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
Batasan A3 High
- Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk VM yang menggunakan jenis mesin A3 High.
- Anda hanya dapat menggunakan jenis mesin A3 High di region dan zona tertentu.
- Anda tidak dapat menggunakan Persistent Disk regional pada VM yang menggunakan jenis mesin A3 High.
- Jenis mesin A3 High hanya tersedia di platform CPU Sapphire Rapids.
- Jika VM Anda menggunakan jenis mesin A3 High, Anda tidak dapat mengubah jenis mesin. Jika perlu mengubah jenis mesin, Anda harus membuat VM baru.
- Anda tidak dapat mengubah jenis mesin VM menjadi jenis mesin A3 High. Jika memerlukan VM yang menggunakan jenis mesin A3 High, Anda harus membuat VM baru.
- Jenis mesin A3 High tidak mendukung tenancy tunggal.
- Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A3 High.
- Untuk jenis mesin
a3-highgpu-1g
,a3-highgpu-2g
, dana3-highgpu-4g
, batasan berikut berlaku:-
Untuk jenis mesin ini,
Anda harus menggunakan Spot VM atau fitur yang menggunakan
Dynamic Workload Scheduler (DWS)
seperti permintaan perubahan ukuran di MIG. Untuk petunjuk mendetail tentang salah satu opsi ini, tinjau
hal berikut:
- Untuk membuat Spot VM, lihat
Membuat VM yang dioptimalkan akselerator
dan jangan lupa untuk menetapkan model penyediaan ke
SPOT
- Untuk membuat permintaan pengubahan ukuran di MIG, yang menggunakan Dynamic Workload Scheduler, lihat Membuat MIG dengan VM GPU.
- Untuk membuat Spot VM, lihat
Membuat VM yang dioptimalkan akselerator
dan jangan lupa untuk menetapkan model penyediaan ke
- Anda tidak dapat menggunakan Hyperdisk Balanced dengan jenis mesin ini.
- Anda tidak dapat membuat reservasi.
-
Untuk jenis mesin ini,
Anda harus menggunakan Spot VM atau fitur yang menggunakan
Dynamic Workload Scheduler (DWS)
seperti permintaan perubahan ukuran di MIG. Untuk petunjuk mendetail tentang salah satu opsi ini, tinjau
hal berikut:
Jenis mesin A3 Edge
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 |
|
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif grafis.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
Batasan A3 Edge
- Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk VM yang menggunakan jenis mesin A3 Edge.
- Anda hanya dapat menggunakan jenis mesin A3 Edge di region dan zona tertentu.
- Anda tidak dapat menggunakan Persistent Disk regional pada VM yang menggunakan jenis mesin A3 Edge.
- Jenis mesin A3 Edge hanya tersedia di platform CPU Sapphire Rapids.
- Jika VM Anda menggunakan jenis mesin A3 Edge, Anda tidak dapat mengubah jenis mesin. Jika perlu mengubah jenis mesin, Anda harus membuat VM baru.
- Anda tidak dapat mengubah jenis mesin VM menjadi jenis mesin A3 Edge. Jika memerlukan VM yang menggunakan jenis mesin A3 Edge, Anda harus membuat VM baru.
- Jenis mesin A3 Edge tidak mendukung tenancy tunggal.
- Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin Edge A3.
Jenis disk yang didukung untuk seri A3
A3 Ultra
VM A3 Ultra dapat menggunakan jenis block storage berikut:
- Hyperdisk Balanced (
hyperdisk-balanced
): ini adalah satu-satunya jenis disk yang didukung untuk disk booting - Hyperdisk Extreme (
hyperdisk-extreme
) - SSD Lokal: yang otomatis ditambahkan ke VM yang dibuat menggunakan salah satu jenis mesin A3
Jumlah maksimum disk per VM* | ||||||
---|---|---|---|---|---|---|
Jenis mesin |
Semua disk† | Hyperdisk Balanced | Hyperdisk Throughput | Hyperdisk ML | Ekstrem Hyperdisk | Disk SSD Lokal yang terpasang |
a3-ultragpu-8g |
128 | 128 | T/A | T/A | 8 | 32 |
*Penggunaan Hyperdisk dikenai biaya secara terpisah dari harga jenis mesin. Untuk mengetahui harga disk, lihat
Harga Hyperdisk.
†Batas ini berlaku untuk Hyperdisk, tetapi tidak mencakup
disk SSD Lokal.
A3 Mega
VM A3 Mega dapat menggunakan jenis block storage berikut:
- Persistent Disk Seimbang (
pd-balanced
) - Persistent Disk SSD (performa) (
pd-ssd
) - Hyperdisk Balanced (
hyperdisk-balanced
) - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extreme (
hyperdisk-extreme
) - Hyperdisk Throughput (
hyperdisk-throughput
) - SSD Lokal: yang otomatis ditambahkan ke VM yang dibuat menggunakan salah satu jenis mesin A3
Jumlah maksimum disk per VM* | ||||||
---|---|---|---|---|---|---|
Jenis mesin |
Semua disk† | Hyperdisk Balanced | Hyperdisk Throughput | Hyperdisk ML | Ekstrem Hyperdisk | Disk SSD Lokal yang terpasang |
a3-megagpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
*Penggunaan Hyperdisk dan Persistent Disk dikenai biaya secara terpisah dari harga jenis mesin. Untuk mengetahui harga disk, lihat
Harga Persistent Disk dan Hyperdisk.
†Batas ini berlaku untuk Persistent Disk dan Hyperdisk, tetapi tidak mencakup
disk SSD Lokal.
A3 Tinggi
VM A3 High dapat menggunakan jenis block storage berikut:
- Persistent Disk Seimbang (
pd-balanced
) - Persistent Disk SSD (performa) (
pd-ssd
) - Hyperdisk Balanced (
hyperdisk-balanced
): hanya didukung untuka3-highgpu-8g
- Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extreme (
hyperdisk-extreme
) - Hyperdisk Throughput (
hyperdisk-throughput
) - SSD Lokal: yang otomatis ditambahkan ke VM yang dibuat menggunakan salah satu jenis mesin A3
Jumlah maksimum disk per VM* | ||||||
---|---|---|---|---|---|---|
Jenis mesin |
Semua disk† | Hyperdisk Balanced | Hyperdisk Throughput | Hyperdisk ML | Ekstrem Hyperdisk | Disk SSD Lokal yang terpasang |
a3-highgpu-1g |
128 | T/A | 64 | 64 | T/A | 2 |
a3-highgpu-2g |
128 | T/A | 64 | 64 | T/A | 4 |
a3-highgpu-4g |
128 | T/A | 64 | 64 | 8 | 8 |
a3-highgpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
*Penggunaan Hyperdisk dan Persistent Disk dikenai biaya secara terpisah dari harga jenis mesin. Untuk mengetahui harga disk, lihat
Harga Persistent Disk dan Hyperdisk.
†Batas ini berlaku untuk Persistent Disk dan Hyperdisk, tetapi tidak mencakup
disk SSD Lokal.
A3 Edge
VM A3 Edge dapat menggunakan jenis block storage berikut:
- Persistent Disk Seimbang (
pd-balanced
) - Persistent Disk SSD (performa) (
pd-ssd
) - Hyperdisk Balanced (
hyperdisk-balanced
) - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extreme (
hyperdisk-extreme
) - Hyperdisk Throughput (
hyperdisk-throughput
) - SSD Lokal: yang otomatis ditambahkan ke VM yang dibuat menggunakan salah satu jenis mesin A3
Jumlah maksimum disk per VM* | ||||||
---|---|---|---|---|---|---|
Jenis mesin | Semua disk† | Hyperdisk Balanced | Hyperdisk Throughput | Hyperdisk ML | Ekstrem Hyperdisk | SSD Lokal Terpasang |
a3-edgegpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
*Penggunaan Hyperdisk dan Persistent Disk dikenai biaya secara terpisah dari harga jenis mesin. Untuk mengetahui harga disk, lihat
Harga Persistent Disk dan Hyperdisk.
†Batas ini berlaku untuk Persistent Disk dan Hyperdisk, tetapi tidak mencakup
disk SSD Lokal.
Batas disk dan kapasitas
Jika didukung oleh jenis mesin, Anda dapat menggunakan campuran volume Hyperdisk dan Persistent Disk di VM, tetapi batasan berikut berlaku:
- Jumlah gabungan volume Hyperdisk dan Persistent Disk tidak boleh melebihi 128 per VM.
Total kapasitas disk maksimum (dalam TiB) di semua jenis disk tidak boleh melebihi:
Untuk jenis mesin dengan kurang dari 32 vCPU:
- 257 TiB untuk semua Hyperdisk atau semua Persistent Disk
- 257 TiB untuk campuran Hyperdisk dan Persistent Disk
Untuk jenis mesin dengan 32 vCPU atau lebih:
- 512 TiB untuk semua Hyperdisk
- 512 TiB untuk campuran Hyperdisk dan Persistent Disk
- 257 TiB untuk semua Persistent Disk
Untuk mengetahui detail tentang batas kapasitas, lihat Batas kapasitas Hyperdisk per VM dan Kapasitas maksimum Persistent Disk.
Seri mesin A2
Seri mesin A2 tersedia dalam jenis mesin A2 Standard dan A2 Ultra. Jenis mesin ini memiliki 12 hingga 96 vCPU, dan memori hingga 1.360 GB.
Seri mesin A2 juga menyediakan fitur berikut:
GPU NVIDIA terpasang: setiap jenis mesin A2 memiliki GPU NVIDIA A100. GPU ini tersedia dalam opsi A100 40GB dan A100 80GB.
Skala NVLink terdepan di industri yang menyediakan GPU puncak ke bandwidth NVLink GPU 600 GBps. Misalnya, sistem dengan 16 GPU memiliki bandwidth NVLink agregat hingga 9,6 TBps. Keseluruhan 16 GPU ini dapat digunakan sebagai satu akselerator berperforma tinggi dengan ruang memori terpadu untuk memberikan daya komputasi hingga 10 petaFLOPS dan daya komputasi inferensi hingga 20 petaFLOPS yang dapat digunakan untuk kecerdasan buatan, deep learning, dan workload machine learning.
Peningkatan Kecepatan komputasi: GPU NVIDIA A100 yang terpasang menawarkan peningkatan kecepatan komputasi hingga 10x lipat jika dibandingkan dengan GPU NVIDIA V100 generasi sebelumnya.
Dengan seri mesin A2, Anda bisa mendapatkan bandwidth jaringan hingga 100 Gbps.
Penyimpanan: untuk Scratch disk yang cepat atau untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O, jenis mesin A2 mendukung SSD Lokal sebagai berikut:
- Untuk jenis mesin A2 Standard, Anda dapat menambahkan hingga 3.000 GiB SSD Lokal.
- Untuk jenis mesin A2 Ultra, SSD Lokal otomatis terpasang saat Anda membuat VM.
Anda juga dapat memasang penyimpanan Persistent Disk hingga 257 TiB ke VM A2 untuk aplikasi yang memerlukan performa penyimpanan yang lebih tinggi ini.
Dukungan kebijakan penempatan yang ringkas: memberi Anda kontrol lebih besar atas penempatan fisik VM dalam pusat data. Hal ini memungkinkan latensi yang lebih rendah dan bandwidth yang lebih tinggi untuk penempatan VM dalam satu zona ketersediaan. Untuk mengetahui informasi selengkapnya, lihat Mengurangi latensi dengan menggunakan kebijakan penempatan yang ringkas.
Jenis mesin A2 Ultra
Jenis mesin ini memiliki jumlah tetap GPU A100 80 GB. SSD lokal secara otomatis dipasang ke VM yang dibuat menggunakan jenis mesin A2 Ultra.
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1.500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1.360 | 3.000 | 100 |
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload intensif grafis Anda.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
Batasan A2 Ultra
- Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk VM yang menggunakan jenis mesin A2 Ultra.
- Anda hanya dapat menggunakan jenis mesin A2 Ultra di region dan zona tertentu.
- Jenis mesin A2 Ultra hanya tersedia di platform Cascade Lake.
- Jika VM Anda menggunakan jenis mesin A2 Ultra, Anda tidak dapat mengubah jenis mesin. Jika perlu menggunakan jenis mesin A2 Ultra yang berbeda, atau jenis mesin lainnya, Anda harus membuat VM baru.
- Anda tidak dapat mengubah jenis mesin lainnya menjadi jenis mesin A2 Ultra. Jika memerlukan VM yang menggunakan jenis mesin A2 Ultra, Anda harus membuat VM baru.
- Anda tidak dapat melakukan format cepat SSD Lokal yang terpasang di VM Windows yang menggunakan jenis mesin
Ultra A2. Untuk memformat SSD Lokal ini, Anda harus membuat format penuh dengan menggunakan utilitas diskpart dan menentukan
format fs=ntfs label=tmpfs
.
Jenis mesin standar A2
Jenis mesin ini memiliki jumlah tetap GPU A100 40 GB.
Jenis mesin | Jumlah GPU | Memori GPU* (GB HBM3) |
Jumlah vCPU† | Memori VM (GB) | SSD Lokal Terpasang (GiB) | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Ya | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Ya | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Ya | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Ya | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1.360 | Ya | 100 |
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload intensif grafis Anda.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
Batasan A2 Standar
- Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk VM yang menggunakan jenis mesin Standar A2.
- Anda hanya dapat menggunakan jenis mesin Standar A2 di region dan zona tertentu.
- Jenis mesin A2 Standar hanya tersedia di platform Cascade Lake.
- Jika VM Anda menggunakan jenis mesin Standar A2, Anda hanya dapat beralih dari satu jenis mesin Standar A2 ke jenis mesin Standar A2 lainnya. Anda tidak dapat mengubah ke jenis mesin lainnya. Untuk mengetahui informasi selengkapnya, lihat Mengubah VM yang dioptimalkan untuk akselerator.
- Anda tidak dapat menggunakan sistem operasi Windows dengan jenis mesin Standar A2 <codea2-megagpu-16g< code="" dir="ltr" translate="no">. Saat menggunakan sistem operasi Windows, pilih jenis mesin Standar A2 yang berbeda.</codea2-megagpu-16g<>
- Anda tidak dapat melakukan format cepat SSD Lokal yang terpasang di VM Windows yang menggunakan jenis mesin Standar A2. Untuk memformat SSD Lokal ini, Anda harus membuat format penuh dengan menggunakan utilitas diskpart dan menentukan
format fs=ntfs label=tmpfs
. - Jenis mesin Standar A2 tidak mendukung tenancy tunggal.
Jenis disk yang didukung untuk seri A2
VM A2 dapat menggunakan jenis block storage berikut:
- Hyperdisk ML (
hyperdisk-ml
) - Persistent Disk Seimbang (
pd-balanced
) - Persistent Disk SSD (performa) (
pd-ssd
) - Persistent Disk Standar (
pd-standard
) - SSD Lokal: yang otomatis dipasang ke VM yang dibuat menggunakan jenis mesin A2 Ultra.
Jika didukung oleh jenis mesin, Anda dapat menggunakan campuran volume Hyperdisk dan Persistent Disk di VM, tetapi batasan berikut berlaku:
- Jumlah gabungan volume Hyperdisk dan Persistent Disk tidak boleh melebihi 128 per VM.
Total kapasitas disk maksimum (dalam TiB) di semua jenis disk tidak boleh melebihi:
Untuk jenis mesin dengan kurang dari 32 vCPU:
- 257 TiB untuk semua Hyperdisk atau semua Persistent Disk
- 257 TiB untuk campuran Hyperdisk dan Persistent Disk
Untuk jenis mesin dengan 32 vCPU atau lebih:
- 512 TiB untuk semua Hyperdisk
- 512 TiB untuk campuran Hyperdisk dan Persistent Disk
- 257 TiB untuk semua Persistent Disk
Untuk mengetahui detail tentang batas kapasitas, lihat Batas kapasitas Hyperdisk per VM dan Kapasitas maksimum Persistent Disk.
Seri mesin G2
Seri mesin G2 tersedia dalam jenis mesin standar yang memiliki 4 hingga 96 vCPU, dan memori hingga 432 GB. Seri mesin ini dioptimalkan untuk workload inferensi dan grafis.
Seri mesin G2 juga menyediakan fitur berikut:
GPU NVIDIA terpasang: setiap jenis mesin G2 memiliki GPU NVIDIA L4.
Rasio inferensi yang lebih baik: jenis mesin G2 menyediakan dukungan untuk FP8 (floating point 8-bit) yang mempercepat kecepatan inferensi ML dan mengurangi persyaratan memori.
Performa grafis generasi berikutnya: GPU NVIDIA L4 memberikan peningkatan performa grafis hingga 3X lipat menggunakan core RT generasi ketiga dan Teknologi NVIDIA DLSS 3 (Deep Learning Super Sampling).
Bandwidth jaringan berperforma tinggi: dengan seri mesin G2, Anda bisa mendapatkan bandwidth jaringan hingga 100 Gbps.
Penyimpanan: Anda dapat menambahkan hingga 3.000 GiB SSD Lokal ke VM G2. Ini dapat digunakan untuk scratch disk cepat atau untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O.
Anda juga dapat memasang volume Hyperdisk dan Persistent Disk ke VM G2, untuk aplikasi yang memerlukan penyimpanan persisten lebih banyak. Kapasitas penyimpanan maksimum bergantung pada jumlah vCPU yang dimiliki VM. Untuk mengetahui detailnya, lihat Jenis disk yang didukung.
Dukungan kebijakan penempatan yang ringkas: memberi Anda kontrol lebih besar atas penempatan fisik VM dalam pusat data. Hal ini memungkinkan latensi yang lebih rendah dan bandwidth yang lebih tinggi untuk penempatan VM dalam satu zona ketersediaan. Untuk mengetahui informasi selengkapnya, lihat Mengurangi latensi dengan menggunakan kebijakan penempatan yang ringkas.
Jenis mesin G2
Setiap jenis mesin G2 memiliki GPU NVIDIA L4 dan vCPU dalam jumlah tetap yang terpasang. Setiap jenis mesin G2 juga memiliki memori default dan rentang memori kustom. Rentang memori kustom menentukan jumlah memori yang dapat Anda alokasikan ke VM untuk setiap jenis mesin. Anda dapat menentukan memori kustom selama pembuatan VM.
Jenis mesin | Jumlah GPU | Memori GPU* (GB GDDR6) | Jumlah vCPU† | Memori VM default (GB) | Rentang memori VM kustom (GB) | SSD Lokal maksimum yang didukung (GiB) | Bandwidth jaringan maksimum (Gbps)‡ |
---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | 16 hingga 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | 32-54 tahun | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | 48-54 tahun | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | 54-64 tahun | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | 96 hingga 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | 96 hingga 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | 192 hingga 216 | 1.500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | 384 hingga 432 | 3.000 | 100 |
*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk
penyimpanan data sementara. Memori ini terpisah dari memori VM dan
dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari
workload yang intensif grafis.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu
platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth
traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya.
Lihat Bandwidth jaringan.
Batasan G2
- Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk VM yang menggunakan jenis mesin G2.
- Anda hanya dapat menggunakan jenis mesin G2 di region dan zona tertentu.
- Jenis mesin G2 hanya tersedia di platform Cascade Lake.
- Persistent Disk Standar (
pd-standard
) tidak didukung di VM yang menggunakan jenis mesin standar G2. Untuk mengetahui jenis disk yang didukung, lihat Jenis disk yang didukung untuk G2. - Anda tidak dapat membuat GPU Multi-Instance pada jenis mesin G2.
- Jika Anda perlu mengubah jenis mesin VM G2, tinjau artikel Mengubah VM yang dioptimalkan akselerator.
- Anda tidak dapat menggunakan Deep Learning VM Image sebagai boot disk untuk VM yang menggunakan jenis mesin G2.
- Driver default saat ini untuk Container-Optimized OS tidak mendukung GPU L4 yang berjalan pada jenis mesin G2. Container-Optimized OS juga hanya mendukung serangkaian driver tertentu.
Jika Anda ingin menggunakan Container-Optimized OS pada jenis mesin G2, tinjau catatan berikut:
- Gunakan versi Container-Optimized OS yang mendukung versi driver NVIDIA minimum yang direkomendasikan
525.60.13
atau yang lebih baru. Untuk informasi selengkapnya, tinjau catatan rilis Container-Optimized OS. - Saat Anda menginstal driver,
tentukan versi terbaru yang tersedia yang berfungsi untuk GPU L4.
Contoh,
sudo cos-extensions install gpu -- -version=525.60.13
.
- Gunakan versi Container-Optimized OS yang mendukung versi driver NVIDIA minimum yang direkomendasikan
- Anda harus menggunakan Google Cloud CLI atau REST untuk membuat VM G2 untuk skenario berikut:
- Anda ingin menetapkan nilai memori kustom.
- Anda ingin menyesuaikan jumlah inti CPU yang terlihat.
Jenis disk yang didukung untuk seri G2
VM G2 dapat menggunakan jenis block storage berikut:
- Persistent Disk Seimbang (
pd-balanced
) - Persistent Disk SSD (performa) (
pd-ssd
) - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Throughput (
hyperdisk-throughput
) - SSD Lokal
Jika didukung oleh jenis mesin, Anda dapat menggunakan campuran volume Hyperdisk dan Persistent Disk di VM, tetapi batasan berikut berlaku:
- Jumlah gabungan volume Hyperdisk dan Persistent Disk tidak boleh melebihi 128 per VM.
Total kapasitas disk maksimum (dalam TiB) di semua jenis disk tidak boleh melebihi:
Untuk jenis mesin dengan kurang dari 32 vCPU:
- 257 TiB untuk semua Hyperdisk atau semua Persistent Disk
- 257 TiB untuk campuran Hyperdisk dan Persistent Disk
Untuk jenis mesin dengan 32 vCPU atau lebih:
- 512 TiB untuk semua Hyperdisk
- 512 TiB untuk campuran Hyperdisk dan Persistent Disk
- 257 TiB untuk semua Persistent Disk
Untuk mengetahui detail tentang batas kapasitas, lihat Batas kapasitas Hyperdisk per VM dan Kapasitas maksimum Persistent Disk.