Questa pagina descrive come promuovere le attività di deep learning come il riconoscimento delle immagini, l'elaborazione del linguaggio naturale e altre attività ad alta intensità di calcolo utilizzando pool di nodi con acceleratori hardware delle unità di elaborazione grafica NVIDIA (GPU) per la potenza di calcolo con l'istanza di container di gestione Knative.
Aggiunta di un pool di nodi con GPU al tuo cluster GKE
Chiedi a un amministratore di creare un pool di nodi con GPU:
Configurazione del servizio per il consumo di GPU
Puoi specificare un limite di risorse per consumare GPU per il tuo servizio utilizzando la console Google Cloud o Google Cloud CLI quando esegui il deployment di un nuovo servizio, aggiorni un servizio esistente o esegui il deployment di una revisione:
Console
- Vai alla pubblicazione con Knative
Fai clic su Crea servizio per visualizzare il modulo Crea servizio.
Nella sezione Impostazioni servizio:
- Seleziona il cluster GKE con il pool di nodi abilitato per GPU.
- Specifica il nome che vuoi assegnare al servizio.
- Fai clic su Avanti per passare alla sezione successiva.
Nella sezione Configura la prima revisione del servizio:
- Aggiungi un URL dell'immagine container.
- Fai clic su Impostazioni avanzate e, nel menu GPU allocate, seleziona il numero di GPU che vuoi allocare al tuo servizio.
Fai clic su Avanti per passare alla sezione successiva.
Nella sezione Configura come viene attivato questo servizio, seleziona la connettività che vuoi utilizzare per richiamare il servizio.
Fai clic su Crea per eseguire il deployment dell'immagine nella pubblicazione Knative e attendere il completamento del deployment.
Riga di comando
Puoi scaricare la configurazione di un servizio esistente in un file YAML con il comando gcloud run services describe
utilizzando il flag --format=export
.
Puoi quindi modificare il file YAML ed
eseguire il deployment delle modifiche con il comando gcloud run services replace
.
Devi assicurarti di modificare solo gli attributi specificati.
Scarica la configurazione del tuo servizio in un file denominato
service.yaml
nell'area di lavoro locale:gcloud run services describe SERVICE --format export > service.yaml
Sostituisci SERVICE con il nome del tuo servizio di pubblicazione Knative.
Nel file locale, aggiorna l'attributo
nvidia.com/gpu
:apiVersion: serving.knative.dev/v1 kind: Service metadata: name: SERVICE_NAME spec: template: spec: containers: – image: IMAGE_URL resources: limits: nvidia.com/gpu: "GPU_UNITS"
Sostituisci GPU_UNITS con il valore GPU desiderato nelle unità GPU Kubernetes. Ad esempio, specifica
1
per 1 GPU.Esegui il deployment del file YAML e sostituisci il tuo servizio con la nuova configurazione eseguendo questo comando:
gcloud run services replace service.yaml
Per ulteriori informazioni su prestazioni e costi delle GPU, consulta la pagina dedicata alle GPU.