Orkestrasi AI/ML di dokumentasi GKE
Jalankan workload AI/ML yang dioptimalkan dengan kemampuan orkestrasi platform Google Kubernetes Engine (GKE). Dengan Google Kubernetes Engine (GKE), Anda dapat mengimplementasikan platform AI/ML yang tangguh dan siap produksi dengan semua manfaat Kubernetes terkelola serta kemampuan berikut:
- Orkestrasi infrastruktur yang mendukung GPU dan TPU untuk melatih dan melayani workload dalam skala besar.
- Integrasi fleksibel dengan framework pemrosesan data dan komputasi terdistribusi.
- Dukungan untuk beberapa tim pada infrastruktur yang sama untuk memaksimalkan penggunaan resource
Referensi dokumentasi
Menyajikan model terbuka di GKE
-
BARU!
Melayani Gemma menggunakan GPU di GKE dengan Hugging Face TGI
-
BARU!
Melayani Gemma menggunakan GPU di GKE dengan vLLM
-
BARU!
Menyajikan Gemma menggunakan GPU di GKE dengan NVIDIA Triton dan TensorRT-LLM
-
BARU!
Menyajikan Gemma menggunakan TPU di GKE dengan JetStream
-
Tutorial
Panduan memulai: Menayangkan model dengan satu GPU di Autopilot GKE
Mengorkestrasi TPU dan GPU dalam skala besar
Pengoptimalan biaya dan orkestrasi tugas
-
Blog
Penyimpanan AI/ML berperforma tinggi melalui dukungan SSD Lokal di GKE
-
Blog
Menyederhanakan MLOps menggunakan Pembobotan & Bias dengan Google Kubernetes Engine
-
Praktik terbaik
Praktik terbaik untuk menjalankan workload batch di GKE
-
Praktik terbaik
Menjalankan aplikasi Kubernetes yang hemat biaya di GKE
-
Praktik terbaik
Meningkatkan waktu peluncuran Stable Diffusion di GKE hingga 4 kali lipat