Informazioni sulle GPU

Per accelerare carichi di lavoro specifici su Compute Engine, puoi eseguire il deployment di una VM ottimizzata per l'acceleratore a cui sono collegate GPU oppure per collegare le GPU a una VM N1 per uso generico.

Questo documento descrive le funzionalità e le limitazioni delle GPU in esecuzione su in Compute Engine.

GPU e serie di macchine

Le GPU sono supportate per l'uso generico N1 e sono ottimizzate per l'acceleratore serie di macchine (A3, A2 e G2). Per le VM che utilizzano tipi di macchine N1, colleghi dalla GPU alla VM durante o dopo la sua creazione. Per le VM che utilizzano A3, A2 o G2 di macchine predefinite, le GPU vengono collegate automaticamente quando crei la VM. Le GPU non possono essere utilizzate con altre serie di macchine.

Serie di macchine ottimizzate per l'acceleratore

Ogni tipo di macchina ottimizzato per l'acceleratore ha un modello specifico di GPU NVIDIA in allegato.

  • Per tipi di macchine ottimizzate per l'acceleratore A3, GPU NVIDIA H100 da 80 GB in allegato. Sono disponibili nelle seguenti opzioni:
    • A3 Standard (a3-highgpu-8g): questo tipo di macchina ha GPU H100 da 80 GB allegato
    • A3 Mega (a3-megagpu-8g): questo tipo di macchina ha GPU H100 da 80 GB Mega allegato
  • Per i tipi di macchine ottimizzati per l'acceleratore A2: Sono collegate delle GPU NVIDIA A100. Si tratta di disponibile nelle seguenti opzioni:
    • A2 Standard (a2-highgpu-*, a2-megagpu-*): questi tipi di macchine hanno GPU A100 da 40 GB collegate
    • A2 Ultra (a2-ultragpu-*): questi tipi di macchina hanno GPU A100 da 80 GB allegato
  • Per i tipi di macchine ottimizzate per l'acceleratore G2 (g2-standard-*), Sono collegate GPU NVIDIA L4.

Per ulteriori informazioni, vedi Serie di macchine ottimizzate per l'acceleratore.

Serie di macchine per uso generico N1

Per tutti gli altri tipi di GPU, puoi utilizzare la maggior parte dei tipi di macchina N1, ad eccezione del Con core condiviso N1 (f1-micro e g1-small).

Per questa serie di macchine, puoi utilizzare valore predefinito o personalizzato tipi di macchine virtuali.

GPU su istanze VM prerilasciabile

Puoi aggiungere GPU alle tue istanze VM prerilasciabile a prezzi Spot più bassi per le GPU. GPU collegate a istanze prerilasciabili funzionano come GPU normali, ma vengono mantenuti solo per durante la vita dell'istanza. Le istanze prerilasciabili con GPU seguono lo stesso procedura di prerilascio di tutte le istanze prerilasciabili.

Valuta la possibilità di richiedere una quota Preemptible GPU dedicata da utilizzare per le GPU su di istanze prerilasciabili. Per ulteriori informazioni, vedi Quote per le VM prerilasciabile prerilasciabili.

Durante gli eventi di manutenzione, le istanze prerilasciabili con GPU vengono prerilasciate predefinita e non può essere riavviata automaticamente. Se vuoi ricreare il tuo di altre istanze dopo che sono state prerilasciate, gruppo di istanze gestite. I gruppi di istanze gestite ricreano le istanze se le vCPU, la memoria Risorse GPU disponibili.

Se vuoi ricevere un avviso prima che l'istanza venga prerilasciata o se vuoi configurare il riavvio automatico dell'istanza dopo un evento di manutenzione, utilizza con una GPU. Per le istanze standard con GPU, Google fornisce preavviso di un'ora prima del prerilascio.

Compute Engine non ti addebita il costo per le GPU se le relative istanze vengono prerilasciate nella prima fase minuto dopo l'avvio.

Per conoscere la procedura per riavviare automaticamente un'istanza standard, consulta Opzioni di aggiornamento per un'istanza.

Per informazioni su come creare istanze prerilasciabili con GPU collegate, consulta Crea una VM con GPU collegate.

GPU su VM con tempi di esecuzione predefiniti

Risorse per le VM che utilizzano l'impostazione predefinita modello di provisioning standard (VM standard) di solito non può utilizzare quote di allocazione prerilasciabili, destinate a carichi di lavoro temporanei di solito più disponibili. Se il progetto non ha una quota prerilasciabile e non hanno mai richiesto una quota prerilasciabile, tutte le VM in quel progetto utilizzano quote di allocazione.

Tuttavia, una volta richiesta la quota di allocazione prerilasciabile, le VM standard che soddisfano tutti i seguenti criteri possono utilizzare solo l'allocazione prerilasciabile quota.

Consumando la quota di allocazione prerilasciabile per questi carichi di lavoro, ottieni sia Vantaggi del tempo di esecuzione ininterrotto delle VM standard e una migliore ottenimento dalla quota di allocazione prerilasciabile.

Indipendentemente dalla quota utilizzata, le VM standard non sono idonee per le VM spot prezzi e non sono soggetti a prerilascio.

Per ulteriori informazioni, vedi Quote prerilasciabili.

GPU e Confidential VM

Non puoi collegare GPU a istanze Confidential VM. Per ulteriori informazioni informazioni su Confidential VM, consulta Panoramica di Confidential VM.

GPU e archiviazione a blocchi

Quando crei una VM su una piattaforma GPU, puoi aggiungere archiviazione a blocchi temporanea sulla VM. Per archiviare i dati non temporanei, utilizza l'archiviazione a blocchi permanente come Hyperdisk ML o Persistent Disk poiché i dischi sono indipendenti dal ciclo di vita della VM. Dati sui pod lo spazio di archiviazione può essere conservato anche dopo aver eliminato la VM.

Per l'archiviazione scratchpad o le cache temporanee, usa l'archiviazione a blocchi temporanea aggiungendo Dischi SSD locali quando crei la VM.

Archiviazione a blocchi permanente con volumi Persistent Disk e Hyperdisk

Puoi collegare volumi Persistent Disk e Hyperdisk ML con VM abilitate per GPU.

Per l'addestramento e la gestione dei carichi di lavoro di machine learning, Google consiglia di utilizzare Hyperdisk ML volumi elevati, che offrono velocità effettiva elevata e tempi di caricamento dei dati più brevi. Ciò rende Hyperdisk ML un opzione conveniente per i carichi di lavoro ML perché offre tempi di inattività della GPU inferiori.

I volumi Hyperdisk ML forniscono il supporto multi-collegamento di sola lettura, in modo che tu possa collegare lo stesso disco a più VM, dando a ogni VM l'accesso agli stessi dati.

Per ulteriori informazioni sui tipi di disco supportati per le serie di macchine che supportano le GPU, consulta N1 e ottimizzato per l'acceleratore pagine delle serie di macchine virtuali.

Dischi SSD locali

I dischi SSD locali offrono spazio di archiviazione temporaneo rapido per la memorizzazione nella cache, l'elaborazione dei dati o altri dati temporanei. I dischi SSD locali sono veloci poiché sono fisicamente collegati al server che ospita la VM. Sono temporanei perché i dati vengono persi al riavvio della VM.

Non archiviare dati con forti requisiti di persistenza su dischi SSD locali. Per archiviare i dati non temporanei, utilizza invece l'archiviazione permanente.

Se arresti manualmente una VM con una GPU, puoi conservare i dati dell'SSD locale, con alcune restrizioni. Consulta le Documentazione sugli SSD locali per ulteriori dettagli.

Per il supporto regionale per i tipi di SSD locali con GPU, consulta Disponibilità di SSD locali per regioni e zone GPU.

GPU e manutenzione degli host

Le VM con GPU collegate vengono sempre arrestate quando Compute Engine di manutenzione sulle VM. Se alla VM sono collegati dischi SSD locali, i dati degli SSD locali vengono persi dopo l'arresto della VM.

Per informazioni sulla gestione degli eventi di manutenzione, consulta Gestione degli eventi di manutenzione dell'host GPU.

Prezzi delle GPU

La maggior parte delle VM con una GPU collegata riceve sconti per utilizzo sostenuto in modo simile alle vCPU. Quando selezioni una GPU per una workstation virtuale, alla tua VM viene aggiunta una licenza NVIDIA RTX Virtual Workstation.

Per i prezzi orari e mensili delle GPU, consulta Pagina dei prezzi delle GPU.

Prenotazione di GPU con sconti per impegno di utilizzo

Per prenotare risorse GPU in una zona specifica, consulta Prenotazioni delle risorse di zona Compute Engine.

Per ricevere sconti per impegno di utilizzo per le GPU in una zona specifica, devi acquista impegni basati sulle risorse per le GPU e collega anche le prenotazioni che specificano le GPU corrispondenti ai tuoi impegni. Per ulteriori informazioni, vedi Collega le prenotazioni agli impegni basati sulle risorse.

Restrizioni e limitazioni della GPU

Per le VM con GPU collegate, si applicano le seguenti restrizioni e limitazioni:

  • Le GPU sono supportate solo con N1 per uso generico o tipi di macchine ottimizzate per l'acceleratore - A3, A2 e G2.

  • Per proteggere i sistemi e gli utenti di Compute Engine, i nuovi progetti hanno un quota GPU globale, che limita il numero totale di GPU che puoi creare in qualsiasi zona supportata. Quando richiedi una quota GPU, devi richiederne una per i modelli GPU che vuoi creare in ogni regione e un'ulteriore quota globale per il numero totale di GPU di tutti i tipi in tutte le zone.

  • Le VM con una o più GPU hanno un numero massimo di vCPU per a ogni GPU che aggiungi alla VM. Per vedere gli intervalli di vCPU e memoria disponibili per le diverse configurazioni GPU, consulta l'elenco delle GPU.

  • Le GPU richiedono driver di dispositivo per funzionare correttamente. GPU NVIDIA in esecuzione su Compute Engine deve utilizzare una versione minima del driver. Per ulteriori informazioni sulle versioni dei driver, consulta Versioni del driver NVIDIA richieste.

  • Le VM con uno specifico modello GPU collegato sono coperte SLA (accordo sul livello del servizio) di Compute Engine solo se il modello GPU collegato è è generalmente disponibile ed è supportato in più di una zona nella stessa regione. Lo SLA (accordo sul livello del servizio) di Compute Engine non copre i modelli di GPU in le seguenti zone:

    • NVIDIA H100 da 80 GB Mega:
      • asia-southeast1-b
      • us-east5-a
      • us-west4-a
    • NVIDIA H100 da 80 GB:
      • asia-northeast1-b
      • europe-west1-b
      • us-east5-a
      • us-west4-a
    • NVIDIA L4:
      • asia-northeast1-b
      • northamerica-northeast2-a
    • NVIDIA A100 da 80 GB:
      • asia-southeast1-c
      • us-east4-c
      • us-east5-b
    • NVIDIA A100 da 40 GB:
      • us-east1-b
      • us-west1-b
      • us-west3-b
      • us-west4-b
    • NVIDIA T4:
      • europe-west3-b
      • southamerica-east1-c
      • us-west3-b
    • NVIDIA V100:
      • asia-east1-c
      • us-east1-c
    • NVIDIA P100:
      • australia-southeast1-c
      • europe-west4-a

  • Compute Engine supporta l'esecuzione di 1 utente in contemporanea per GPU.

Passaggi successivi