Documentation sur l'orchestration IA/ML sur GKE
Exécutez des charges de travail d'IA/de ML optimisées grâce aux fonctionnalités d'orchestration de plates-formes de Google Kubernetes Engine (GKE). Avec Google Kubernetes Engine (GKE), vous pouvez implémenter une plate-forme d'IA et de ML robuste et prête pour la production avec tous les avantages de Kubernetes géré et les fonctionnalités suivantes :
- Orchestration de l'infrastructure compatible avec les GPU et les TPU pour les charges de travail d'entraînement et de diffusion à grande échelle
- Intégration flexible aux frameworks de traitement des données et de calcul distribué
- Prise en charge de plusieurs équipes sur la même infrastructure afin d'optimiser l'utilisation des ressources
Ressources de documentation
Diffuser des modèles ouverts sur GKE
-
Tutoriel
Diffuser Gemma à l'aide de GPU sur GKE avec Hugging Face TGI
-
Tutoriel
Diffuser Gemma à l'aide de GPU sur GKE avec vLLM
-
Tutoriel
Diffuser Gemma à l'aide de GPU sur GKE avec NVIDIA Triton et TensorRT-LLM
-
Tutoriel
Diffuser Gemma à l'aide de TPU sur GKE avec JetStream
-
Tutoriel
Guide de démarrage rapide : Diffuser un modèle avec un seul GPU dans GKE Autopilot
Orchestrer les TPU et les GPU à grande échelle
-
Vidéo
Présentation des Cloud TPU pour le machine learning
-
Vidéo
Créer des modèles de machine learning à grande échelle dans Cloud TPU avec GKE
-
Vidéo
Diffuser des grands modèles de langage avec KubeRay sur TPU
-
Blog
Machine learning à l'aide de JAX sur Kubernetes avec des GPU NVIDIA
-
Blog
Créer une plate-forme de machine learning (ML) avec Kubeflow et Ray sur GKE
Optimisation des coûts et orchestration des jobs
-
NOUVEAU !
Architecture de référence pour une plate-forme de traitement par lot sur GKE
-
Blog
Stockage de modèles d'IA et de ML hautes performances grâce à la compatibilité avec les disques SSD locaux sur GKE
-
Blog
Simplifier le MLOps à l'aide des pondérations et des biais avec Google Kubernetes Engine
-
Bonne pratique
Bonnes pratiques pour l'exécution de charges de travail par lot sur GKE
-
Bonne pratique
Exécuter des applications Kubernetes à coût maîtrisé sur GKE
-
Bonne pratique
Améliorer le temps de lancement de Stable Diffusion sur GKE par quatre