Tentang GPU di Google Cloud


Google Cloud berfokus pada penyediaan infrastruktur kecerdasan buatan (AI) kelas dunia untuk mendukung beban kerja yang paling menuntut dan dipercepat GPU di berbagai segmen. Anda dapat menggunakan GPU di Google Cloud untuk menjalankan aplikasi AI, machine learning (ML), ilmiah, analisis, teknik, konsumen, dan perusahaan.

Melalui kemitraan kami dengan NVIDIA, Google Cloud menghadirkan GPU terbaru sekaligus mengoptimalkan stack software dengan berbagai opsi penyimpanan dan jaringan. Untuk mengetahui daftar lengkap GPU yang tersedia, lihat platform GPU.

Bagian berikut menguraikan manfaat GPU di Google Cloud.

VM yang dipercepat GPU

Di Google Cloud, Anda dapat mengakses dan menyediakan GPU dengan cara yang paling sesuai dengan kebutuhan Anda. Kelompok mesin yang dioptimalkan akselerator khusus tersedia, dengan GPU yang terpasang sebelumnya dan kemampuan jaringan yang ideal untuk memaksimalkan performa. GPU ini tersedia dalam seri mesin A3, A2, dan G2.

Beberapa opsi penyediaan

Anda dapat menyediakan cluster menggunakan keluarga mesin yang dioptimalkan untuk akselerator dengan salah satu produk open source atau Google Cloud berikut.

Vertex AI

Vertex AI adalah platform machine learning (ML) terkelola sepenuhnya yang dapat Anda gunakan untuk melatih dan men-deploy model ML dan aplikasi AI. Dalam aplikasi Vertex AI, Anda dapat menggunakan VM dengan akselerasi GPU untuk meningkatkan performa dengan cara berikut:

Cluster Hypercompute

Cluster Hypercompute adalah elemen penyusun infrastruktur yang memungkinkan Anda membuat cluster VM yang dipercepat GPU yang di-deploy dan dikelola sebagai satu unit homogen. Opsi ini ideal untuk menyediakan infrastruktur yang dialokasikan secara padat dan dioptimalkan performanya yang memiliki integrasi untuk penjadwal Google Kubernetes Engine (GKE) dan Slurm. Hypercompute Cluster menyediakan infrastruktur yang dirancang khusus untuk menjalankan workload AI, ML, dan HPC. Untuk mengetahui informasi selengkapnya, lihat Cluster Hypercompute.

Untuk mulai menggunakan Cluster Hypercompute, lihat Memilih strategi deployment.

Compute Engine

Anda juga dapat membuat dan mengelola setiap VM atau cluster kecil VM dengan GPU terpasang di Compute Engine. Metode ini sebagian besar digunakan untuk menjalankan beban kerja yang intensif grafis, beban kerja simulasi, atau pelatihan model ML skala kecil.

Opsi deployment

Panduan deployment

Membuat VM untuk menayangkan dan menjalankan beban kerja satu node

Membuat VM A3 Edge atau A3 High

Membuat grup instance terkelola (MIG)

Opsi ini menggunakan Dynamic Workload Scheduler (DWS) untuk menyediakan VM.

Membuat MIG dengan VM GPU

Membuat VM secara massal

Membuat grup VM GPU secara massal

Membuat satu VM

Membuat satu VM GPU (VM Standard atau Spot)

Membuat workstation virtual

Membuat workstation virtual dengan akselerasi GPU

Cloud Run

Anda dapat mengonfigurasi GPU untuk layanan Cloud Run. GPU ideal untuk menjalankan workload inferensi AI menggunakan model bahasa besar di Cloud Run.

Di Cloud Run, lihat referensi ini untuk menjalankan workload AI di GPU: