Questa pagina ti aiuta a prendere in considerazione le scelte per richiedere GPU in Google Kubernetes Engine (GKE), tra cui:
- Scelta delle risorse GPU e delle funzionalità di efficienza per i carichi di lavoro GKE
- Scelta della quota GPU, ossia il numero massimo di GPU che possono essere eseguite nel progetto
- Scelta tra la modalità Autopilot e quella Standard
- Scelta di funzionalità per ridurre la quantità di risorse GPU sottoutilizzate
- Accesso alle librerie NVIDIA CUDA-X per le applicazioni CUDA
- Monitoraggio delle metriche dei nodi GPU
- Gestione dell'interruzione dovuta alla manutenzione dei nodi
L'hardware GPU disponibile per GKE è un sottoinsieme delle GPU di Compute Engine per i carichi di lavoro di calcolo. L'hardware specifico disponibile dipende dalla regione o dalla zona di Compute Engine del cluster. Per informazioni sulla disponibilità specifica, consulta la sezione Regioni e zone delle GPU.
GKE offre alcune funzionalità specifiche per GPU per migliorare l'utilizzo efficiente delle risorse GPU dei carichi di lavoro in esecuzione sui nodi, tra cui condivisione del tempo, GPU multi-istanza e GPU multiistanza con NVIDIA MPS.
Quota GPU del piano
La quota GPU è il numero massimo di GPU che possono essere eseguite nel progetto Google Cloud. Per utilizzare le GPU nei cluster GKE, il progetto deve avere una quota GPU sufficiente.
La quota GPU deve essere almeno uguale al numero totale di GPU che intendi eseguire nel cluster. Se abiliti la scalabilità automatica dei cluster, devi richiedere una quota GPU almeno equivalente al numero massimo di nodi del cluster moltiplicato per il numero di GPU per nodo.
Ad esempio, se prevedi di utilizzare tre nodi con due GPU ciascuno, sei è la quota GPU richiesta per il tuo progetto.
Per richiedere una quota GPU aggiuntiva, segui le istruzioni in Richiedere un limite di quota più elevato, utilizzando gpus come metrica.
Scegli il supporto della GPU utilizzando Autopilot o Standard
Le GPU sono disponibili nei cluster Autopilot e Standard. Ti consigliamo di utilizzare i cluster Autopilot per un'esperienza Kubernetes completamente gestita. In Autopilot, GKE gestisce l'installazione dei driver, la scalabilità dei nodi, l'isolamento dei pod e il provisioning dei nodi.
La seguente tabella fornisce una panoramica delle differenze tra il supporto per GPU Autopilot e Standard:
| Descrizione | Autopilot | Standard |
|---|---|---|
| Richiesta di hardware GPU | Specifica le risorse GPU nei carichi di lavoro. | Collega l'hardware GPU ai nodi nei cluster, quindi alloca le risorse GPU ai carichi di lavoro containerizzati in esecuzione su quei nodi. |
| Disponibilità hardware GPU |
|
Tutti i tipi di GPU supportati da Compute Engine |
| Selezione di una GPU | Richiedi una quantità di GPU e digiti nella specifica del carico di lavoro. Per impostazione predefinita, Autopilot installa il driver predefinito per quella versione di GKE e gestisce i nodi. Per selezionare una versione specifica del driver in Autopilot, consulta Selezione dei driver NVIDIA per i pod GPU Autopilot. |
Esegui i passaggi descritti in Eseguire GPU su pool di nodi standard:
|
| Migliora l'utilizzo della GPU | ||
| Sicurezza | GPU con GKE Sandbox | GPU con GKE Sandbox |
| Prezzi | Prezzi dei pod GPU Autopilot | Prezzi delle GPU di Compute Engine |
Per scegliere la modalità operativa GKE più adatta ai tuoi carichi di lavoro, consulta Scegliere una modalità operativa GKE.
Ottimizza l'utilizzo delle risorse utilizzando le funzionalità delle GPU in GKE
Per impostazione predefinita, Kubernetes supporta solo l'assegnazione di GPU come unità intere ai container, ma GKE fornisce funzionalità aggiuntive che puoi utilizzare per ottimizzare l'utilizzo delle risorse dei carichi di lavoro GPU.
In GKE sono disponibili le seguenti funzionalità per ridurre la quantità di risorse GPU sottoutilizzate:
| Funzionalità GPU | |
|---|---|
| GPU multi-istanza |
Disponibile su:Autopilot e Standard Suddividi una singola GPU in fino a sette istanze separate dall'hardware che possono essere assegnate come singole GPU ai container su un nodo. Ogni container assegnato riceve le risorse disponibili per l'istanza. |
| GPU con condivisione del tempo |
Disponibile su:Autopilot e Standard Presenta una singola GPU come più unità in più container su un nodo. Il driver GPU cambia contesto e alloca le risorse GPU complete a ogni container assegnato in base alle esigenze nel tempo. |
| MPS di NVIDIA |
Disponibile su: standard Condividi un'unica GPU NVIDIA fisica tra più container. NVIDIA MPS è un'implementazione alternativa e compatibile con il programma binario dell'API CUDA progettata per consentire in modo trasparente l'esecuzione simultanea di applicazioni CUDA multi-processo cooperative su un singolo dispositivo GPU. |
Accedi alle librerie NVIDIA CUDA-X per le applicazioni CUDA
CUDA è la piattaforma di computing parallela e il modello di programmazione di NVIDIA per GPU. Per utilizzare le applicazioni CUDA, l'immagine utilizzata deve avere le librerie. Per aggiungere le librerie NVIDIA CUDA-X, utilizza uno dei seguenti metodi:
- Consigliato: utilizza un'immagine con le librerie NVIDIA CUDA-X preinstallate. Ad esempio, puoi utilizzare Deep Learning Containers. Questi container preinstallano i framework chiave di data science, le librerie e gli strumenti NVIDIA CUDA-X. In alternativa, l' immagine NVIDIA CUDA contiene solo le librerie NVIDIA CUDA-X.
- Crea e utilizza la tua immagine. In questo caso, includi i seguenti valori nella variabile di ambiente
LD_LIBRARY_PATHdella specifica del container:/usr/local/cuda-CUDA_VERSION/lib64: la località delle librerie NVIDIA CUDA-X sul nodo. SostituisciCUDA_VERSIONcon la versione immagine CUDA-X che hai utilizzato. Alcune versioni contengono anche utilità di debug in/usr/local/nvidia/bin. Per maggiori dettagli, consulta l'immagine NVIDIA CUDA su DockerHub./usr/local/nvidia/lib64: la posizione dei driver di dispositivo NVIDIA.
Per controllare la versione minima del driver GPU richiesta per la tua versione di CUDA, consulta CUDA Toolkit e versioni dei driver compatibili. Assicurati che la versione della patch GKE in esecuzione sui tuoi nodi includa una versione del driver GPU compatibile con la versione CUDA che hai scelto. Per un elenco delle versioni dei driver GPU associate alla versione di GKE, consulta la pagina Container-Optimized OS corrispondente nella tabella delle versioni attuali di GKE.
Nei cluster Autopilot, GKE gestisce la selezione e l'installazione delle versioni del driver.
Monitorare i nodi GPU
Se nel cluster GKE sono abilitate le metriche di sistema, le seguenti metriche sono disponibili in Cloud Monitoring per monitorare le prestazioni del carico di lavoro della GPU:
- Ciclo di lavoro (
container/accelerator/duty_cycle): percentuale di tempo nell'ultimo periodo di campionamento (10 secondi) durante il quale l'acceleratore ha eseguito attivamente l'elaborazione. Tra 1 e 100. - Utilizzo memoria (
container/accelerator/memory_used): quantità di memoria dell'acceleratore allocata in byte. - Capacità di memoria (
container/accelerator/memory_total): memoria totale dell'acceleratore in byte.
Puoi utilizzare le dashboard predefinite per monitorare i cluster con nodi GPU. Per maggiori informazioni, consulta Visualizzare le metriche di osservabilità. Per informazioni generali sul monitoraggio dei cluster e delle relative risorse, consulta Osservabilità per GKE.
Visualizza metriche di utilizzo per i carichi di lavoro
Puoi visualizzare le metriche di utilizzo delle GPU dei carichi di lavoro dalla dashboard Carichi di lavoro nella console Google Cloud.
Per visualizzare l'utilizzo della GPU dei carichi di lavoro, segui questi passaggi:
Vai alla pagina Carichi di lavoro nella console Google Cloud.
Vai a Carichi di lavoro- Seleziona un carico di lavoro.
La dashboard Carichi di lavoro mostra i grafici relativi all'utilizzo e alla capacità della memoria della GPU e al ciclo di servizio della GPU.
Visualizza le metriche di NVIDIA Data Center GPU Manager (DCGM)
Puoi raccogliere e visualizzare le metriche NVIDIA DCGM utilizzando Google Cloud Managed Service per Prometheus. Per i cluster Standard, devi installare i driver NVIDIA. Per i cluster Autopilot, GKE installa i driver.
Per istruzioni su come eseguire il deployment di DCGM e dell'esportatore Prometheus DCGM, consulta NVIDIA Data Center GPU Manager (DCGM) nella documentazione sull'osservabilità di Google Cloud.
Gestire l'interruzione dovuta alla manutenzione dei nodi
I nodi GKE che ospitano le GPU sono soggetti a eventi di manutenzione o altre interruzioni che potrebbero causare l'arresto dei nodi.
Nei cluster GKE con il piano di controllo che esegue la versione 1.29.1-gke.1425000 e successive, puoi ridurre le interruzioni dei carichi di lavoro configurando GKE per terminare i carichi di lavoro in modo controllato.
Puoi configurare GKE per inviare un indicatore SIGTERM ai pod sui nodi che stanno per essere arrestati, concedendo loro un periodo di tolleranza per terminare qualsiasi lavoro in corso prima dell'eliminazione. Nel campo spec.terminationGracePeriodSeconds del manifest del pod, specifica il numero di secondi fino a un massimo di 3600 secondi (un'ora).
GKE fa il possibile per terminare in modo controllato questi pod ed eseguire l'azione di terminazione da te definita, come il salvataggio di uno stato di addestramento.
GKE rispetta qualsiasi configurazione, fino a un massimo di 60 minuti, per le impostazioni di PodDisruptionBudget o terminationGracePeriodSeconds. Per saperne di più, incluso il modo in cui queste due impostazioni interagiscono, consulta
Configurare la terminazione controllata dei nodi GPU.