Google Cloud si impegna a fornire un'infrastruttura di intelligenza artificiale (IA) di livello mondiale per supportare i carichi di lavoro accelerati da GPU più impegnativi in un'ampia gamma di segmenti. Puoi utilizzare le GPU su Google Cloud per eseguire applicazioni di AI, machine learning (ML), scientifiche, di analisi, di ingegneria, per consumatori ed enterprise.
Grazie alla nostra partnership con NVIDIA, Google Cloud offriamo le GPU più recenti, ottimizzando al contempo lo stack software con un'ampia gamma di opzioni di archiviazione e networking. Per un elenco completo delle GPU disponibili, consulta Piattaforme GPU.
Le sezioni seguenti descrivono i vantaggi delle GPU su Google Cloud.
VM accelerate da GPU
Su Google Cloud, puoi accedere e eseguire il provisioning delle GPU nel modo più adatto alle tue esigenze. È disponibile una famiglia di macchine ottimizzate per l'acceleratore specializzata, con GPU pre-collegate e funzionalità di rete ideali per massimizzare le prestazioni. Sono disponibili nelle serie di macchine A3, A2 e G2.
Più opzioni di provisioning
Puoi eseguire il provisioning dei cluster utilizzando la famiglia di macchine ottimizzata per l'acceleratore con uno dei seguenti prodotti open source o Google Cloud .
Vertex AI
Vertex AI è una piattaforma di machine learning (ML) completamente gestita che puoi utilizzare per addestrare ed eseguire il deployment di modelli ML e applicazioni AI. Nelle applicazioni Vertex AI, puoi utilizzare le VM con accelerazione GPU per migliorare le prestazioni nei seguenti modi:
- Utilizza VM con GPU nei pool di worker GKE per l'addestramento personalizzato.
- Utilizza i modelli LLM open source di Vertex AI Model Garden.
- Riduci la latenza della previsione.
- Migliorare le prestazioni del codice del blocco note di Vertex AI Workbench.
- Migliora le prestazioni di un runtime di Colab Enterprise.
Hypercompute Cluster
Hypercompute Cluster è un componente di base dell'infrastruttura che ti consente di creare un cluster di VM accelerate da GPU che vengono implementate e gestite come un'unica unità omogenea. Questa opzione è ideale per il provisioning di un'infrastruttura ottimizzata per le prestazioni e con allocazione densa che include integrazioni per gli schedulatori Google Kubernetes Engine (GKE) e Slurm. Hypercompute Cluster fornisce un'infrastruttura progettata appositamente per l'esecuzione di carichi di lavoro di AI, ML e HPC. Per ulteriori informazioni, consulta Hypercompute Cluster.
Per iniziare a utilizzare Hypercompute Cluster, consulta Scegliere una strategia di deployment.
Compute Engine
Puoi anche creare e gestire singole VM o piccoli cluster di VM con GPU collegate su Compute Engine. Questo metodo viene utilizzato principalmente per eseguire carichi di lavoro con uso intensivo di risorse grafiche, carichi di lavoro di simulazione o addestramento di modelli ML su piccola scala.
Opzione di deployment |
Guide al deployment |
Crea una VM per la pubblicazione e i carichi di lavoro a singolo nodo |
|
Crea gruppi di istanze gestite (MIG) |
|
Creare VM collettivamente |
|
Crea una singola VM |
Crea una singola VM GPU (VM standard o spot) |
Creare workstation virtuali |
Cloud Run
Puoi configurare le GPU per il tuo servizio Cloud Run. Le GPU sono ideali per eseguire carichi di lavoro di inferenza IA utilizzando modelli linguistici di grandi dimensioni su Cloud Run.
Su Cloud Run, consulta queste risorse per eseguire carichi di lavoro di IA su GPU:
- Configurare le GPU per un servizio Cloud Run
- Carica modelli ML di grandi dimensioni su Cloud Run con GPU
- Tutorial: esegui l'inferenza LLM sulle GPU Cloud Run con Ollama