Documentazione sull'orchestrazione di AI/ML su GKE
Esegui carichi di lavoro di AI/ML ottimizzati con le funzionalità di orchestrazione della piattaforma Google Kubernetes Engine (GKE). Con Google Kubernetes Engine (GKE), puoi implementare una piattaforma di AI/ML affidabile e pronta per la produzione con tutti i vantaggi di Kubernetes gestito e le seguenti funzionalità:
- Orchestrazione dell'infrastruttura che supporta GPU e TPU per workload di addestramento ed erogazione su larga scala.
- Integrazione flessibile con framework di calcolo distribuito ed elaborazione dei dati.
- Supporto di più team sulla stessa infrastruttura per massimizzare l'utilizzo delle risorse
Inizia la tua proof of concept con 300 $di credito gratuito
- Accedi a Gemini 2.0 Flash Thinking
- Utilizzo mensile gratuito di prodotti molto apprezzati, tra cui API di IA e BigQuery
- Nessun addebito automatico, nessun impegno
Continua a esplorare con oltre 20 prodotti Always Free
Accedi a oltre 20 prodotti gratuiti per casi d'uso comuni, tra cui API AI, VM, data warehouse e altro ancora.
Risorse di documentazione
Pubblica modelli aperti su GKE
-
NOVITÀ!
Pubblica LLM come Deepseek-R1 671B o Llama 3.1 405B su GKE
-
NOVITÀ!
Gestisci un LLM utilizzando TPU Trillium su GKE con vLLM
-
Tutorial
Guida rapida: gestisci un LLM utilizzando una singola GPU su GKE
-
Tutorial
Gestisci Gemma utilizzando GPU su GKE con TGI di Hugging Face
-
Tutorial
Gestisci Gemma utilizzando GPU su GKE con vLLM
-
Tutorial
Gestisci Gemma utilizzando le GPU su GKE con NVIDIA Triton e TensorRT-LLM
Orchestrare TPU e GPU su larga scala
-
NOVITÀ!
Ottimizza l'utilizzo delle risorse GKE per i carichi di lavoro di addestramento e inferenza misti di AI/ML
-
Video
Introduzione alle Cloud TPU per il machine learning.
-
Video
Creare modelli di machine learning su larga scala su Cloud TPU con GKE
-
Video
Erogazione di modelli linguistici di grandi dimensioni con KubeRay su TPU
-
Blog
Machine learning con JAX su Kubernetes con GPU NVIDIA
Ottimizzazione dei costi e orchestrazione dei job
-
NOVITÀ!
Architettura di riferimento per una piattaforma di elaborazione batch su GKE
-
Blog
Archiviazione AI/ML ad alte prestazioni tramite il supporto di SSD locali su GKE
-
Blog
Semplificare le operazioni MLOps con Weights & Biases con Google Kubernetes Engine
-
Best practice
Best practice per l'esecuzione di carichi di lavoro batch su GKE
-
Best practice
Esegui applicazioni Kubernetes con ottimizzazione dei costi su GKE
-
Best practice
Miglioramento del tempo di lancio di Stable Diffusion su GKE di quattro volte