Utilizzo di GPU NVIDIA

Questa pagina descrive come promuovere attività di deep learning come il riconoscimento delle immagini, l'elaborazione del linguaggio naturale e altre attività ad alta intensità di calcolo utilizzando pool di nodi con acceleratori hardware dell'unità di elaborazione grafica NVIDIA (PUPU) per ottenere potenza di calcolo con l'istanza di container Cloud Run for Anthos.

Aggiunta di un pool di nodi con GPU al tuo cluster GKE

Chiedi a un amministratore di creare un pool di nodi con GPU:

1. Aggiungi un pool di nodi abilitato per GPU al cluster GKE

2. Installa i driver del dispositivo NVIDIA sui nodi.

Configurazione del servizio per utilizzare le GPU

Puoi specificare un limite di risorse per consumare GPU per il tuo servizio utilizzando Google Cloud Console o Google Cloud CLI quando esegui il deployment di un nuovo servizio, aggiorni un servizio esistente o esegui il deployment di una revisione:

console

1. Vai a Cloud Run for Anthos

2. Fai clic su Crea servizio per visualizzare il modulo Crea servizio.

3. Nella sezione Impostazioni servizio:

   1. Seleziona il cluster GKE con il pool di nodi abilitato per GPU.
   2. Specifica il nome che vuoi assegnare al servizio.
   3. Fai clic su Avanti per passare alla sezione successiva.

4. Nella sezione Configura la prima revisione del servizio:

   

   1. Aggiungi l'URL di un'immagine container.
   2. Fai clic su Impostazioni avanzate e, nel menu GPU allocate, seleziona il numero di GPU che vuoi allocare al servizio.

5. Fai clic su Avanti per passare alla sezione successiva.

6. Nella sezione Configura il funzionamento del servizio, seleziona la connettività che vuoi utilizzare per richiamare il servizio.

7. Fai clic su Crea per eseguire il deployment dell'immagine in Cloud Run for Anthos e attendere il completamento del deployment.

Riga di comando

Attenzione: il deployment delle modifiche alla configurazione utilizzando file YAML sostituisce la configurazione dei tuoi servizi esistenti. Poiché un file YAML sovrascrive completamente tutte le configurazioni, evita di utilizzare più metodi per modificare i servizi. Ad esempio, non utilizzare i file YAML insieme ai comandi di Google Cloud Console o gcloud.

Puoi scaricare la configurazione di un servizio esistente in un file YAML con il comando gcloud run services describe utilizzando il flag --format=export. Puoi quindi modificare il file YAML ed eseguire il deployment di queste modifiche con il comando gcloud beta run services replace. Devi assicurarti di modificare solo gli attributi specificati.

1. Scarica la configurazione del tuo servizio in un file denominato service.yaml nell'area di lavoro locale:

   gcloud run services describe SERVICE --format export > service.yaml

   Sostituisci SERVICE con il nome del tuo servizio Cloud Run for Anthos.

2. Nel tuo file locale, aggiorna l'attributo nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"
   

   Sostituisci GPU_UNITS con il valore GPU desiderato nelle unità GPU Kubernetes. Ad esempio, specifica 1 per 1 GPU.

3. Esegui il deployment del file YAML e sostituisci il tuo servizio con la nuova configurazione eseguendo il comando seguente:

   gcloud beta run services replace service.yaml

Per ulteriori informazioni sulle prestazioni e sui costi delle GPU, consulta le GPU.