AI Hypercomputer è il sistema di supercomputing integrato alla base di ogni workload AI su Google Cloud. È composto da hardware, software e modelli di consumo progettati per semplificare il deployment dell'AI, migliorare l'efficienza a livello di sistema e ottimizzare i costi.
Panoramica
Scegli tra le opzioni di computing, archiviazione e networking ottimizzate per gli obiettivi granulari a livello di workload, che si tratti di un maggiore throughput, una minore latenza, un time-to-results più rapido o un TCO più basso. Scopri di più su: Google Cloud TPU, Google Cloud GPU, oltre alle ultime novità in materia di archiviazione e networking.
Ottieni di più dal tuo hardware con software leader del settore, integrato con framework, librerie e compilatori aperti per rendere più efficienti lo sviluppo, l'integrazione e la gestione dell'AI.
Le opzioni di consumo flessibili consentono ai clienti di scegliere costi fissi con sconti per impegno di utilizzo o modelli on demand dinamici per soddisfare le loro esigenze aziendali.Dynamic Workload Scheduler e le VM Spot possono aiutarti a ottenere la capacità di cui hai bisogno senza esagerare con l'allocazione. Inoltre, gli strumenti di ottimizzazione dei costi di Google Cloud aiutano ad automatizzare l'utilizzo delle risorse per ridurre le attività manuali per i tecnici.
Come funziona
Google è un'azienda leader nel campo dell'intelligenza artificiale grazie all'invenzione di tecnologie come TensorFlow. Sapevi che puoi sfruttare la tecnologia di Google per i tuoi progetti? Scopri la storia dell'innovazione di Google nell'infrastruttura AI e come puoi sfruttarla per i tuoi carichi di lavoro.
Utilizzi comuni
I workload di addestramento devono essere eseguiti come job altamente sincronizzati su migliaia di nodi in cluster strettamente accoppiati. Un singolo nodo degradato può interrompere un intero job, ritardando il time-to-market. Devi:
Vogliamo rendere estremamente semplice per i clienti eseguire il deployment e la scalabilità dei workload di addestramento su Google Cloud.
Per creare un cluster AI, inizia con uno dei nostri tutorial:
"Abbiamo bisogno delle GPU per generare risposte ai messaggi degli utenti. Inoltre, man mano che aumentano gli utenti sulla nostra piattaforma, abbiamo bisogno di più GPU per gestirli. Quindi, su Google Cloud possiamo sperimentare per trovare la piattaforma giusta per un particolare carico di lavoro. È fantastico avere la flessibilità necessaria per scegliere le soluzioni più redditizie." Myle Ott, Ingegnere fondatore, Character.AI
I workload di addestramento devono essere eseguiti come job altamente sincronizzati su migliaia di nodi in cluster strettamente accoppiati. Un singolo nodo degradato può interrompere un intero job, ritardando il time-to-market. Devi:
Vogliamo rendere estremamente semplice per i clienti eseguire il deployment e la scalabilità dei workload di addestramento su Google Cloud.
Per creare un cluster AI, inizia con uno dei nostri tutorial:
"Abbiamo bisogno delle GPU per generare risposte ai messaggi degli utenti. Inoltre, man mano che aumentano gli utenti sulla nostra piattaforma, abbiamo bisogno di più GPU per gestirli. Quindi, su Google Cloud possiamo sperimentare per trovare la piattaforma giusta per un particolare carico di lavoro. È fantastico avere la flessibilità necessaria per scegliere le soluzioni più redditizie." Myle Ott, Ingegnere fondatore, Character.AI
Google Cloud fornisce immagini che contengono sistemi operativi, framework, librerie e driver comuni. AI Hypercomputer ottimizza queste immagini preconfigurate per supportare i tuoi workload di AI.
"Lavorare con Google Cloud per incorporare l'AI generativa ci consente di creare un Concierge di viaggio su misura all'interno del nostro chatbot. Vogliamo che i nostri clienti vadano oltre la pianificazione di un viaggio aiutandoli a rendere unica la loro esperienza di viaggio." Martin Brodbeck, CTO, Priceline
Google Cloud fornisce immagini che contengono sistemi operativi, framework, librerie e driver comuni. AI Hypercomputer ottimizza queste immagini preconfigurate per supportare i tuoi workload di AI.
"Lavorare con Google Cloud per incorporare l'AI generativa ci consente di creare un Concierge di viaggio su misura all'interno del nostro chatbot. Vogliamo che i nostri clienti vadano oltre la pianificazione di un viaggio aiutandoli a rendere unica la loro esperienza di viaggio." Martin Brodbeck, CTO, Priceline
L'inferenza sta diventando rapidamente più diversificata e complessa, evolvendosi in tre aree principali:
"I nostri risultati sperimentali dimostrano che Cloud TPU v5e è l'acceleratore più conveniente su cui eseguire l'inferenza su larga scala per il nostro modello. Offre prestazioni per dollaro 2,7 volte superiori rispetto a quelle di G2 e prestazioni per dollaro 4,2 volte superiori rispetto alle istanze A2." Domenic Donato,
VP di tecnologia, AssemblyAI
L'inferenza sta diventando rapidamente più diversificata e complessa, evolvendosi in tre aree principali:
"I nostri risultati sperimentali dimostrano che Cloud TPU v5e è l'acceleratore più conveniente su cui eseguire l'inferenza su larga scala per il nostro modello. Offre prestazioni per dollaro 2,7 volte superiori rispetto a quelle di G2 e prestazioni per dollaro 4,2 volte superiori rispetto alle istanze A2." Domenic Donato,
VP di tecnologia, AssemblyAI
Domande frequenti
Per la maggior parte dei clienti, una piattaforma di AI gestita come Vertex AI è il modo più semplice per iniziare a utilizzare l'AI perché include tutti gli strumenti, i modelli e i modelli. Inoltre, Vertex AI è basato su AI Hypercomputer in modo ottimizzato per te. Vertex AI è il modo più semplice per iniziare perché offre l'esperienza più semplice. Se preferisci configurare e ottimizzare ogni componente della tua infrastruttura, puoi accedere ai componenti di AI Hypercomputer come infrastruttura e assemblarli in modo da soddisfare le tue esigenze.
Mentre i singoli servizi offrono funzionalità specifiche, AI Hypercomputer fornisce un sistema integrato in cui hardware, software e modelli di consumo sono progettati per funzionare in modo ottimale insieme. Questa integrazione offre efficienze a livello di sistema in termini di prestazioni, costi e time-to-market più difficili da ottenere mettendo insieme servizi disparati. Semplifica la complessità e fornisce un approccio olistico all'infrastruttura di AI.
Sì, AI Hypercomputer è progettato pensando alla flessibilità. Tecnologie come Cross-Cloud Interconnect forniscono connettività a larghezza di banda elevata ai data center on-premise e ad altri cloud, facilitando le strategie di AI ibride e multi-cloud. Operiamo con standard aperti e integriamo software di terze parti popolari per consentirti di creare soluzioni che si estendono su più ambienti e di modificare i servizi a tuo piacimento.
La sicurezza è un aspetto fondamentale di AI Hypercomputer. Sfrutta il modello di sicurezza a più livelli di Google Cloud. Le funzionalità specifiche includono microcontroller di sicurezza Titan (che garantiscono l'avvio dei sistemi da uno stato attendibile), RDMA Firewall (per la rete zero-trust tra TPU/GPU durante l'addestramento) e l'integrazione con soluzioni come Model Armor per la sicurezza dell'AI. Questi sono integrati da solide policy e principi di sicurezza dell'infrastruttura come il Secure AI Framework.
No. AI Hypercomputer può essere utilizzato per workload di qualsiasi dimensione. Anche i workload di dimensioni più ridotte possono sfruttare tutti i vantaggi di un sistema integrato, come l'efficienza e la semplificazione del deployment. AI Hypercomputer supporta anche i clienti man mano che le loro attività si espandono, dai piccoli proof-of-concept e dagli esperimenti ai deployment di produzione su larga scala.
Sì, stiamo creando una libreria di formule in GitHub. Puoi anche utilizzare Cluster Toolkit per i progetti di cluster predefiniti.
Hardware ottimizzato con l'IA
Archiviazione
Networking
Calcolo: accedi a TPU (Trillium), GPU (Blackwell) e CPU (Axion) di Google Cloud. Ciò consente l'ottimizzazione in base alle esigenze specifiche del workload per quanto riguarda velocità effettiva, latenza o TCO.
Software e framework aperti leader
Modelli di consumo: