Informazioni sulle GPU

Per accelerare carichi di lavoro specifici su Compute Engine, puoi eseguire il deployment di una VM ottimizzata per l'acceleratore a cui sono collegate GPU oppure per collegare le GPU a una VM N1 per uso generico.

Questo documento descrive le funzionalità e le limitazioni delle GPU in esecuzione su Compute Engine.

GPU e serie di macchine

Le GPU sono supportate per le macchine per uso generico N1 e per le serie di macchine ottimizzate per l'acceleratore (A3, A2 e G2). Per le VM che utilizzano tipi di macchine N1, colleghi dalla GPU alla VM durante o dopo la sua creazione. Per le VM che utilizzano tipi di macchine A3, A2 o G2, le GPU vengono collegate automaticamente quando crei la VM. Le GPU non possono essere utilizzate con altre serie di macchine.

Serie di macchine ottimizzate per l'acceleratore

A ogni tipo di macchina ottimizzata per l'acceleratore è collegato un modello specifico di GPU NVIDIA.

Per ulteriori informazioni, vedi Serie di macchine ottimizzate per l'acceleratore.

Serie di macchine per uso generico N1

Per tutti gli altri tipi di GPU, puoi utilizzare la maggior parte dei tipi di macchina N1, ad eccezione del Con core condiviso N1 (f1-micro e g1-small).

Per questa serie di macchine, puoi utilizzare tipi di macchine predefiniti o personalizzati.

GPU su VM spot

Puoi aggiungere GPU alle VM spot a prezzi Spot più bassi per le GPU. Le GPU collegate alle VM Spot funzionano come le normali GPU, ma rimangono attive solo per la durata della VM. Le VM spot con GPU seguono la stessa procedura di preemption di tutte le VM spot.

Valuta la possibilità di richiedere una quota Preemptible GPU dedicata da utilizzare per le GPU sulle VM Spot. Per ulteriori informazioni, vedi Quote per le VM spot.

Durante gli eventi di manutenzione, le VM spot con GPU vengono prelevate per impostazione predefinita e non possono essere riavviate automaticamente. Se vuoi ricreare le VM dopo che sono state prerilasciate, utilizza un gruppo di istanze gestite. I gruppi di istanze gestite ricreano le istanze VM se vCPU, memoria Risorse GPU disponibili.

Se vuoi ricevere un avviso prima che le VM vengano prerilasciate o se vuoi configurarle in modo che si riavviino automaticamente dopo un evento di manutenzione, utilizza le VM standard con una GPU. Per le VM standard con GPU, Compute Engine fornisce preavviso di un'ora prima del prerilascio.

Compute Engine non ti addebita le GPU se le relative VM vengono prerilasciate nel primo minuto dopo l'inizio dell'esecuzione.

Per scoprire come creare VM spot con GPU collegate, leggi Creare una VM con GPU collegate e Creare VM spot.

GPU su VM con tempi di esecuzione predefiniti

Risorse per le VM che utilizzano l'impostazione predefinita modello di provisioning standard (VM standard) di solito non può utilizzare quote di allocazione prerilasciabili, destinate a carichi di lavoro temporanei di solito più disponibili. Se il progetto non ha una quota prerilasciabile e non hanno mai richiesto una quota prerilasciabile, tutte le VM in quel progetto utilizzano quote di allocazione.

Tuttavia, una volta richiesta la quota di allocazione preassegnata, le VM standard che soddisfano tutti i seguenti criteri possono consumare solo la quota di allocazione preassegnata.

Consumando la quota di allocazione prerilasciabile per questi carichi di lavoro, ottieni sia il Vantaggi del tempo di esecuzione ininterrotto delle VM standard e una migliore ottenimento dalla quota di allocazione prerilasciabile.

Indipendentemente dalla quota utilizzata, le VM standard non sono idonee per i prezzi delle VM Spot e non sono soggette a preemption.

Per ulteriori informazioni, consulta Quote prelevabili.

GPU e Confidential VM

Non puoi collegare GPU alle istanze VM riservate. Per maggiori informazioni su Confidential VM, consulta la panoramica di Confidential VM.

GPU e archiviazione a blocchi

Quando crei una VM su una piattaforma GPU, puoi aggiungere archiviazione a blocchi temporanea sulla VM. Per archiviare dati non temporanei, utilizza lo spazio di archiviazione blocchi permanente come Hyperdisk ML o Disco permanente in quanto i dischi sono indipendenti dal ciclo di vita della VM. I dati nello spazio di archiviazione permanente possono essere conservati anche dopo l'eliminazione della VM.

Per l'archiviazione scratchpad o le cache temporanee, usa l'archiviazione a blocchi temporanea aggiungendo Dischi SSD locali quando crei la VM.

Archiviazione a blocchi permanente con volumi Persistent Disk e Hyperdisk

Puoi collegare volumi ML di dischi permanenti e Hyperdisk a VM con GPU abilitata.

Per l'addestramento e la gestione dei carichi di lavoro di machine learning, Google consiglia di utilizzare Hyperdisk ML volumi elevati, che offrono velocità effettiva elevata e tempi di caricamento dei dati più brevi. Ciò rende Hyperdisk ML un opzione conveniente per i carichi di lavoro ML perché offre tempi di inattività della GPU inferiori.

I volumi ML Hyperdisk forniscono il supporto del multi-attacco di sola lettura, quindi puoi collegare lo stesso disco a più VM, dando a ciascuna VM l'accesso agli stessi dati.

Per ulteriori informazioni sui tipi di dischi supportati per le serie di macchine che supportano le GPU, consulta le pagine delle serie di macchine N1 e ottimizzate per l'acceleratore.

Dischi SSD locali

I dischi SSD locali forniscono uno spazio di archiviazione temporaneo e veloce per la memorizzazione nella cache, l'elaborazione dei dati o altri dati temporanei. I dischi SSD locali sono un tipo di archiviazione rapido perché sono collegati fisicamente al server che ospita la VM. Sono temporanei perché i dati vengono persi al riavvio della VM.

Non archiviare dati con forti requisiti di persistenza su dischi SSD locali. Per archiviare dati non temporanei, utilizza l'archiviazione persistente.

Se interrompi manualmente una VM con una GPU, puoi conservare i dati dell'SSD locale, con alcune limitazioni. Consulta le Documentazione sugli SSD locali per ulteriori dettagli.

Per il supporto regionale dell'SSD locale con tipi di GPU, consulta Disponibilità dell'SSD locale per regioni e zone GPU.

GPU e manutenzione degli host

Le VM con GPU collegate vengono sempre arrestate quando Compute Engine esegue eventi di manutenzione sulle VM. Se alla VM sono collegati dischi SSD locali, i dati degli SSD locali andranno persi dopo l'arresto della VM.

Per informazioni sulla gestione degli eventi di manutenzione, consulta Gestione degli eventi di manutenzione degli host GPU.

Prezzi delle GPU

La maggior parte delle VM con una GPU collegata riceve sconti per utilizzo sostenuto in modo simile alle vCPU. Quando selezioni una GPU per una workstation virtuale, alla VM viene aggiunta una licenza NVIDIA RTX Virtual Workstation.

Per i prezzi orari e mensili delle GPU, consulta Pagina dei prezzi delle GPU.

Prenotazione di GPU con sconti per impegno di utilizzo

Per prenotare risorse GPU in una zona specifica, consulta Prenotazioni delle risorse di zona Compute Engine.

Per ricevere sconti per impegno di utilizzo per le GPU in una zona specifica, devi acquistare impegni basati sulle risorse per le GPU e allegare anche prenotazioni che specificano le GPU corrispondenti ai tuoi impegni. Per ulteriori informazioni, consulta Collegare le prenotazioni agli impegni basati sulle risorse.

Restrizioni e limitazioni della GPU

Per le VM con GPU collegate, si applicano le seguenti restrizioni e limitazioni:

  • Le GPU sono supportate solo con le versioni N1 per uso generico tipi di macchine ottimizzate per l'acceleratore - A3, A2 e G2.

  • Per proteggere i sistemi e gli utenti di Compute Engine, i nuovi progetti hanno un quota GPU globale, che limita il numero totale di GPU che puoi creare in qualsiasi zona supportata. Quando richiedi una quota GPU, devi richiederne una per i modelli GPU che vuoi creare in ogni regione e un'ulteriore quota globale per il numero totale di GPU di tutti i tipi in tutte le zone.

  • Le VM con una o più GPU hanno un numero massimo di vCPU per a ogni GPU che aggiungi alla VM. Per vedere gli intervalli di vCPU e memoria disponibili per le diverse configurazioni GPU, consulta l'elenco delle GPU.

  • Le GPU richiedono driver di dispositivo per funzionare correttamente. GPU NVIDIA in esecuzione su Compute Engine deve utilizzare una versione minima del driver. Per ulteriori informazioni sulle versioni dei driver, consulta le versioni dei driver NVIDIA richieste.

  • Le VM con un modello di GPU collegato specifico sono coperte dall'SLA di Compute Engine solo se il modello di GPU collegato è di disponibilità generale ed è supportato in più di una zona nella stessa regione. Lo SLA (accordo sul livello del servizio) di Compute Engine non copre i modelli di GPU in le seguenti zone:

    • NVIDIA H100 da 80 GB Mega:
      • asia-northeast1-b
      • australia-southeast1-c
      • europe-west2-b
      • us-east5-a
      • us-west4-a
    • NVIDIA H100 da 80 GB:
      • asia-northeast1-b
      • europe-west1-b
      • us-east5-a
      • us-west4-a
    • NVIDIA L4:
      • asia-northeast1-b
      • northamerica-northeast2-a
    • NVIDIA A100 da 80 GB:
      • asia-southeast1-c
      • us-east4-c
      • us-east5-b
    • NVIDIA A100 40 GB:
      • us-east1-b
      • us-west1-b
      • us-west3-b
      • us-west4-b
    • NVIDIA T4:
      • europe-west3-b
      • southamerica-east1-c
      • us-west3-b
    • NVIDIA V100:
      • asia-east1-c
      • us-east1-c
    • NVIDIA P100:
      • australia-southeast1-c
      • europe-west4-a

  • Compute Engine supporta l'esecuzione di un utente contemporaneamente per GPU.

Passaggi successivi