Utilizzo di GPU NVIDIA

Questa pagina descrive come promuovere attività di deep learning come le immagini l'elaborazione del linguaggio naturale e altre applicazioni ad alta intensità utilizzando i pool di nodi con Acceleratori hardware NVIDIA (Graphics Processing Unit) (GPU) per il calcolo con la tua istanza di container Knative serving.

Aggiunta di un pool di nodi con GPU al cluster GKE

Chiedi a un amministratore di creare un pool di nodi con GPU:

1. Aggiungi un pool di nodi abilitato per GPU al cluster GKE.

2. Installa i driver di dispositivo NVIDIA sui nodi.

Configurare il servizio in modo che utilizzi le GPU

Puoi specificare un limite delle risorse per utilizzare le GPU per il servizio mediante la console Google Cloud a Google Cloud CLI quando esegui il deployment service, aggiornare un servizio esistente o esegui il deployment di una revisione:

Console

1. Vai a Knative serving

2. Fai clic su Crea servizio per visualizzare il modulo Crea servizio.

3. Nella sezione Impostazioni servizio:

   1. Seleziona il cluster GKE con il pool di nodi abilitato per GPU.
   2. Specifica il nome che vuoi assegnare al servizio.
   3. Fai clic su Avanti per passare alla sezione successiva.

4. Nella sezione Configura la prima revisione del servizio:

   

   1. Aggiungi un URL immagine del container.
   2. Fai clic su Impostazioni avanzate e nel menu GPU allocata seleziona il numero di GPU da allocare al servizio.

5. Fai clic su Avanti per passare alla sezione successiva.

6. Nella sezione Configura il modo in cui viene attivato questo servizio, seleziona la connettività da utilizzare per richiamare il servizio.

7. Fai clic su Crea per eseguire il deployment dell'immagine in Knative serving e attendi. per completare il deployment.

Riga di comando

Attenzione: il deployment delle modifiche alla configurazione tramite file YAML sostituisce la configurazione dei servizi esistenti. Poiché un file YAML sovrascrive completamente tutte le configurazioni, è consigliabile evitare di utilizzare più metodi per modificare i servizi di machine learning. Ad esempio, non utilizzare i file YAML insieme Console Google Cloud o i comandi gcloud.

Puoi scaricare la configurazione di un servizio esistente in un file YAML con il comando gcloud run services describe utilizzando il --format=export flag. Puoi quindi modificare il file YAML e implementare queste modifiche con il comando gcloud run services replace. Assicurarsi di modificare solo gli attributi specificati.

1. Scarica la configurazione del servizio in un file denominato service.yaml nello spazio di lavoro locale:

   gcloud run services describe SERVICE --format export > service.yaml

   Sostituisci SERVICE con il nome del tuo servizio Knative serving.

2. Nel file locale, aggiorna l'attributo nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"

   Sostituisci GPU_UNITS con il valore GPU desiderato nelle unità GPU di Kubernetes. Ad esempio, specifica 1 per 1 GPU.

3. Esegui il deployment del file YAML e sostituisci il servizio con la nuova configurazione eseguendo il seguente comando:

   gcloud run services replace service.yaml

Per ulteriori informazioni sulle prestazioni e sui costi delle GPU, consulta GPU.