Google Cloud berfokus untuk menghadirkan infrastruktur kecerdasan buatan (AI) kelas dunia untuk mendukung beban kerja yang paling menuntut dan diakselerasi GPU di berbagai segmen. Anda dapat menggunakan GPU di Google Cloud untuk menjalankan AI, machine learning (ML), ilmiah, analisis, teknik, konsumen, dan aplikasi perusahaan.
Melalui kemitraan kami dengan NVIDIA, Google Cloud menghadirkan GPU terbaru sekaligus mengoptimalkan stack software dengan berbagai opsi penyimpanan dan jaringan. Untuk mengetahui daftar lengkap GPU yang tersedia, lihat platform GPU.
Bagian berikut menguraikan manfaat GPU di Google Cloud.
VM yang dipercepat GPU
Di Google Cloud, Anda dapat mengakses dan menyediakan GPU dengan cara yang paling sesuai dengan kebutuhan Anda. Kelompok mesin yang dioptimalkan akselerator khusus tersedia, dengan GPU yang telah terpasang sebelumnya dan kemampuan jaringan yang ideal untuk memaksimalkan performa. GPU ini tersedia dalam seri mesin A3, A2, dan G2.
Beberapa opsi penyediaan
Anda dapat menyediakan cluster menggunakan keluarga mesin yang dioptimalkan akselerator dengan salah satu produk open source atau Google Cloud berikut.
Vertex AI
Vertex AI adalah platform machine learning (ML) terkelola sepenuhnya yang dapat Anda gunakan untuk melatih dan men-deploy model ML dan aplikasi AI. Dalam aplikasi Vertex AI, Anda dapat menggunakan VM dengan akselerasi GPU untuk meningkatkan performa dengan cara berikut:
- Gunakan VM yang mendukung GPU di kumpulan pekerja GKE pelatihan kustom.
- Gunakan model LLM open source dari Vertex AI Model Garden.
- Mengurangi latensi prediksi.
- Meningkatkan performa kode notebook Vertex AI Workbench.
- Meningkatkan performa runtime Colab Enterprise.
GKE dan Slurm
Platform orkestrasi berskala besar, seperti GKE, ideal untuk menyediakan cluster besar yang dapat digunakan untuk melatih dan menyesuaikan model ML berskala besar. Model ML berskala besar adalah model yang menggunakan data dalam jumlah besar.
Platform orkestrasi berikut tersedia di Google Cloud.
Google Kubernetes Engine (GKE): adalah layanan yang dapat Anda gunakan untuk men-deploy dan mengoperasikan aplikasi dalam container dalam skala besar menggunakan infrastruktur Google.
Slurm: adalah alat penjadwalan tugas dan pengelolaan cluster open source. Di Google Cloud, Anda dapat men-deploy cluster Slurm menggunakan Cluster Toolkit.
Menjalankan pelatihan dan penyesuaian model berskala besar
Untuk melatih atau menyesuaikan model berskala besar, sebaiknya gunakan cluster
mesin A3 Mega (a3-megagpu-8g) dan deploy dengan penjadwal seperti
GKE atau Slurm.
Opsi deployment |
Panduan deployment |
Slurm |
|
GKE |
Menjalankan pelatihan dan penyesuaian model mainstream
Untuk pelatihan dan penyesuaian model mainstream, sebaiknya gunakan A3 High dengan 8 GPU (a3-highgpu-8g) dan deploy dengan penjadwal seperti GKE atau Slurm. Anda juga dapat menggunakan jenis mesin A2 atau G2.
Opsi deployment |
Panduan deployment |
Beban kerja |
GKE |
Inferensi: Menayangkan model di GKE Pelatihan: Melatih model di GKE |
|
Slurm |
||
VM tunggal |
||
Compute Engine
Anda juga dapat membuat dan mengelola satu VM atau cluster VM yang lebih kecil dengan GPU terpasang di Compute Engine. Metode ini sebagian besar digunakan untuk menjalankan beban kerja yang intensif grafis, beban kerja simulasi, atau pelatihan skala kecil. Untuk workload ini, sebaiknya gunakan jenis mesin G2, A3 High kecil (yang memiliki 1, 2, atau 4 GPU terpasang), dan N1 dengan GPU T4, P4, P100, dan V100.
Opsi deployment |
Panduan deployment |
Membuat VM untuk menayangkan dan menjalankan beban kerja satu node |
|
Buat grup instance terkelola (MIG) |
|
Membuat VM secara massal |
|
Membuat satu VM |
Membuat satu VM GPU (VM Standard atau Spot) |
Membuat workstation virtual |
Cloud Run
Anda dapat mengonfigurasi GPU untuk layanan Cloud Run. GPU ideal untuk menjalankan workload inferensi AI menggunakan model bahasa besar di Cloud Run.
Di Cloud Run, lihat referensi ini untuk menjalankan workload AI di GPU:
- Mengonfigurasi GPU untuk layanan Cloud Run
- Memuat model ML besar di Cloud Run dengan GPU
- Tutorial: Menjalankan inferensi LLM di GPU Cloud Run dengan Ollama