Quando esegui l'addestramento personalizzato, il codice di addestramento viene eseguito su una o più istanze di macchine virtuali (VM). Puoi configurare i tipi di VM da utilizzare per l'addestramento: l'utilizzo di VM con più risorse di calcolo può velocizzare l'addestramento e consentirti di lavorare con set di dati più grandi, ma può anche comportare costi di addestramento maggiori.
In alcuni casi, puoi utilizzare le GPU anche per accelerare l'addestramento. Le GPU comportano costi aggiuntivi.
Facoltativamente, puoi anche personalizzare il tipo e le dimensioni dei dischi di avvio delle VM di addestramento.
Questo documento descrive le diverse risorse di computing che puoi utilizzare per l'addestramento personalizzato e come configurarle.
Dove specificare le risorse di computing
Specifica i dettagli di configurazione all'interno di un
WorkerPoolSpec
. A seconda di come
esegui l'addestramento personalizzato, inserisci questo WorkerPoolSpec
in uno dei seguenti
campi API:
Se stai creando una risorsa
CustomJob
, specificaWorkerPoolSpec
inCustomJob.jobSpec.workerPoolSpecs
.Se utilizzi Google Cloud CLI, puoi utilizzare il flag
--worker-pool-spec
o--config
sul comandogcloud ai custom-jobs create
per specificare le opzioni del pool di worker.Scopri di più sulla creazione di un
CustomJob
.Se stai creando una risorsa
HyperparameterTuningJob
, specificaWorkerPoolSpec
inHyperparameterTuningJob.trialJobSpec.workerPoolSpecs
.Se utilizzi gcloud CLI, puoi utilizzare il flag
--config
sul comandogcloud ai hpt-tuning-jobs create
per specificare le opzioni del pool di worker.Scopri di più sulla creazione di un
HyperparameterTuningJob
.Se crei una risorsa
TrainingPipeline
senza ottimizzazione degli iperparametri, specificaWorkerPoolSpec
inTrainingPipeline.trainingTaskInputs.workerPoolSpecs
.Scopri di più sulla creazione di una
TrainingPipeline
personalizzata.Se stai creando un
TrainingPipeline
con l'ottimizzazione degli iperparametri, specificaWorkerPoolSpec
inTrainingPipeline.trainingTaskInputs.trialJobSpec.workerPoolSpecs
.
Se esegui l'addestramento distribuito, puoi utilizzare impostazioni diverse per ogni pool di worker.
Tipi di macchina
Nel tuo WorkerPoolSpec
, devi specificare uno dei seguenti tipi di macchina nel campo machineSpec.machineType
. Ogni replica nel pool di worker viene eseguita su una VM separata che ha il tipo di macchina specificato.
a2-ultragpu-1g
*a2-ultragpu-2g
*a2-ultragpu-4g
*a2-ultragpu-8g
*a2-highgpu-1g
*a2-highgpu-2g
*a2-highgpu-4g
*a2-highgpu-8g
*a2-megagpu-16g
*a3-highgpu-8g
*e2-standard-4
e2-standard-8
e2-standard-16
e2-standard-32
e2-highmem-2
e2-highmem-4
e2-highmem-8
e2-highmem-16
e2-highcpu-16
e2-highcpu-32
n2-standard-4
n2-standard-8
n2-standard-16
n2-standard-32
n2-standard-48
n2-standard-64
n2-standard-80
n2-highmem-2
n2-highmem-4
n2-highmem-8
n2-highmem-16
n2-highmem-32
n2-highmem-48
n2-highmem-64
n2-highmem-80
n2-highcpu-16
n2-highcpu-32
n2-highcpu-48
n2-highcpu-64
n2-highcpu-80
n1-standard-4
n1-standard-8
n1-standard-16
n1-standard-32
n1-standard-64
n1-standard-96
n1-highmem-2
n1-highmem-4
n1-highmem-8
n1-highmem-16
n1-highmem-32
n1-highmem-64
n1-highmem-96
n1-highcpu-16
n1-highcpu-32
n1-highcpu-64
n1-highcpu-96
c2-standard-4
c2-standard-8
c2-standard-16
c2-standard-30
c2-standard-60
ct5lp-hightpu-1t
*ct5lp-hightpu-4t
*ct5lp-hightpu-8t
*c2-standard-60
c2-standard-60
c2-standard-60
c2-standard-60
m1-ultramem-40
m1-ultramem-80
m1-ultramem-160
m1-megamem-96
g2-standard-4
*g2-standard-8
*g2-standard-12
*g2-standard-16
*g2-standard-24
*g2-standard-32
*g2-standard-48
*g2-standard-96
*cloud-tpu
*
* I tipi di macchina contrassegnati da asterischi nell'elenco precedente devono essere utilizzati con determinate GPU o TPU. Consulta le seguenti sezioni di questa guida.
Per conoscere le specifiche tecniche di ciascun tipo di macchina, leggi la documentazione di Compute Engine relativa ai tipi di macchine. Per saperne di più sul costo dell'utilizzo di ogni tipo di macchina per l'addestramento personalizzato, leggi Prezzi.
I seguenti esempi evidenziano dove specifichi un tipo di macchina quando crei un CustomJob
:
Console
Nella console Google Cloud, non puoi creare direttamente un CustomJob
. Tuttavia,
puoi creare una TrainingPipeline
che genera un
CustomJob
. Quando crei un TrainingPipeline
nella console Google Cloud, specifica un tipo di macchina per ogni pool di worker nel passaggio Compute e prezzi, nel campo Tipo di macchina.
gcloud
gcloud ai custom-jobs create \
--region=LOCATION \
--display-name=JOB_NAME \
--worker-pool-spec=machine-type=MACHINE_TYPE,replica-count=REPLICA_COUNT,container-image-uri=CUSTOM_CONTAINER_IMAGE_URI
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Node.js Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Python.
Per saperne di più, leggi la guida alla creazione di una
CustomJob
.
GPU
Se hai scritto il codice di addestramento per l'utilizzo delle GPU, puoi configurare il pool di worker in modo che utilizzi una o più GPU su ogni VM. Per utilizzare le GPU,
devi usare un tipo di macchina A2, N1 o G2. Inoltre, l'utilizzo di tipi di macchine più piccole, come n1-highmem-2
, con GPU, potrebbe causare la mancata riuscita del logging per alcuni carichi di lavoro a causa di vincoli della CPU. Se il job di addestramento smette di restituire i log, valuta la possibilità di
selezionare un tipo di macchina più grande.
Vertex AI supporta i seguenti tipi di GPU per l'addestramento personalizzato:
NVIDIA_H100_80GB
NVIDIA_A100_80GB
NVIDIA_TESLA_A100
(NVIDIA A100 da 40 GB)NVIDIA_TESLA_P4
NVIDIA_TESLA_P100
NVIDIA_TESLA_T4
NVIDIA_TESLA_V100
NVIDIA_L4
Per ulteriori informazioni sulle specifiche tecniche di ciascun tipo di GPU, leggi la breve documentazione di Compute Engine sulle GPU per carichi di lavoro di computing. Per informazioni sul costo di utilizzo di ciascun tipo di macchina per l'addestramento personalizzato, vedi Prezzi.
In WorkerPoolSpec
, specifica il tipo di GPU che vuoi utilizzare nel campo machineSpec.acceleratorType
e il numero di GPU che ogni VM nel pool di worker deve utilizzare nel campo machineSpec.acceleratorCount
. Tuttavia, le opzioni che hai a disposizione per questi campi devono rispettare le seguenti restrizioni:
Il tipo di GPU scelto deve essere disponibile nella località in cui stai eseguendo l'addestramento personalizzato. Non tutti i tipi di GPU sono disponibili in tutte le regioni. Scopri di più sulla disponibilità a livello regionale.
Puoi utilizzare solo un determinato numero di GPU nella configurazione. Ad esempio, puoi utilizzare 2 o 4 GPU
NVIDIA_TESLA_T4
su una VM, ma non 3. Per verificare quali valori diacceleratorCount
sono validi per ogni tipo di GPU, consulta la tabella di compatibilità seguente.Devi assicurarti che la configurazione della GPU fornisca CPU virtuali e memoria sufficienti al tipo di macchina con cui la utilizzi. Ad esempio, se utilizzi il tipo di macchina
n1-standard-32
nel pool di worker, ogni VM ha 32 CPU virtuali e 120 GB di memoria. Poiché ogni GPUNVIDIA_TESLA_V100
può fornire fino a 12 CPU virtuali e 76 GB di memoria, devi utilizzare almeno 4 GPU per ogni VMn1-standard-32
in modo da supportare i relativi requisiti. (due GPU forniscono risorse insufficienti e non puoi specificare tre GPU.)La seguente tabella di compatibilità tiene conto di questo requisito.
Nota le seguenti limitazioni aggiuntive relative all'uso di GPU per l'addestramento personalizzato che differiscono dall'uso di GPU con Compute Engine:
- Una configurazione con 4 GPU
NVIDIA_TESLA_P100
fornisce solo fino a 64 CPU virtuali e fino a 208 GB di memoria in tutte le regioni e le zone.
- Una configurazione con 4 GPU
La seguente tabella di compatibilità elenca i valori validi per
machineSpec.acceleratorCount
in base alle tue scelte per
machineSpec.machineType
e machineSpec.acceleratorType
:
Numeri validi di GPU per ogni tipo di macchina | |||||||||
---|---|---|---|---|---|---|---|---|---|
Tipo di macchina | NVIDIA_H100_80GB |
NVIDIA_A100_80GB |
NVIDIA_TESLA_A100 |
NVIDIA_TESLA_P4 |
NVIDIA_TESLA_P100 |
NVIDIA_TESLA_T4 |
NVIDIA_TESLA_V100 |
NVIDIA_L4 |
|
a3-highgpu-8g |
8 | ||||||||
a2-ultragpu-1g |
1 | ||||||||
a2-ultragpu-2g |
2 | ||||||||
a2-ultragpu-4g |
4 | ||||||||
a2-ultragpu-8g |
8 | ||||||||
a2-highgpu-1g |
1 | ||||||||
a2-highgpu-2g |
2 | ||||||||
a2-highgpu-4g |
4 | ||||||||
a2-highgpu-8g |
8 | ||||||||
a2-megagpu-16g |
16 | ||||||||
n1-standard-4 |
1, 2, 4 | 1, 2, 4 | 1, 2, 4 | 1, 2, 4, 8 | |||||
n1-standard-8 |
1, 2, 4 | 1, 2, 4 | 1, 2, 4 | 1, 2, 4, 8 | |||||
n1-standard-16 |
1, 2, 4 | 1, 2, 4 | 1, 2, 4 | 2, 4, 8 | |||||
n1-standard-32 |
2, 4 | 2, 4 | 2, 4 | 4 e 8 | |||||
n1-standard-64 |
4 | 4 | 8 | ||||||
n1-standard-96 |
4 | 4 | 8 | ||||||
n1-highmem-2 |
1, 2, 4 | 1, 2, 4 | 1, 2, 4 | 1, 2, 4, 8 | |||||
n1-highmem-4 |
1, 2, 4 | 1, 2, 4 | 1, 2, 4 | 1, 2, 4, 8 | |||||
n1-highmem-8 |
1, 2, 4 | 1, 2, 4 | 1, 2, 4 | 1, 2, 4, 8 | |||||
n1-highmem-16 |
1, 2, 4 | 1, 2, 4 | 1, 2, 4 | 2, 4, 8 | |||||
n1-highmem-32 |
2, 4 | 2, 4 | 2, 4 | 4 e 8 | |||||
n1-highmem-64 |
4 | 4 | 8 | ||||||
n1-highmem-96 |
4 | 4 | 8 | ||||||
n1-highcpu-16 |
1, 2, 4 | 1, 2, 4 | 1, 2, 4 | 2, 4, 8 | |||||
n1-highcpu-32 |
2, 4 | 2, 4 | 2, 4 | 4 e 8 | |||||
n1-highcpu-64 |
4 | 4 | 4 | 8 | |||||
n1-highcpu-96 |
4 | 4 | 8 | ||||||
g2-standard-4 |
1 | ||||||||
g2-standard-8 |
1 | ||||||||
g2-standard-12 |
1 | ||||||||
g2-standard-16 |
1 | ||||||||
g2-standard-24 |
2 | ||||||||
g2-standard-32 |
1 | ||||||||
g2-standard-48 |
4 | ||||||||
g2-standard-96 |
8 |
I seguenti esempi evidenziano dove puoi specificare le GPU quando
crei un CustomJob
:
Console
Nella console Google Cloud, non puoi creare direttamente un CustomJob
.
Tuttavia, puoi creare una TrainingPipeline
che crei un
CustomJob
. Quando crei un TrainingPipeline
nella console Google Cloud, puoi specificare le GPU per ogni pool di worker nel passaggio Compute e prezzi. Prima specifica un Tipo
di macchina. Quindi, puoi specificare i dettagli della GPU nei campi Tipo di acceleratore e
Conteggio acceleratori.
gcloud
Per specificare le GPU utilizzando lo strumento Google Cloud CLI, devi utilizzare un file config.yaml
. Ad esempio:
config.yaml
workerPoolSpecs:
machineSpec:
machineType: MACHINE_TYPE
acceleratorType: ACCELERATOR_TYPE
acceleratorCount: ACCELERATOR_COUNT
replicaCount: REPLICA_COUNT
containerSpec:
imageUri: CUSTOM_CONTAINER_IMAGE_URI
Quindi esegui un comando come questo:
gcloud ai custom-jobs create \
--region=LOCATION \
--display-name=JOB_NAME \
--config=config.yaml
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Node.js Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Python.
Per saperne di più, leggi la guida alla creazione di una
CustomJob
.
TPU
Per utilizzare le Tensor Processing Unit (TPU) per l'addestramento personalizzato su Vertex AI, puoi configurare un pool di worker in modo che utilizzi una VM TPU.
Quando utilizzi una VM TPU in Vertex AI, devi utilizzare un solo pool di worker per l'addestramento personalizzato e devi configurare questo pool di worker in modo che utilizzi una sola replica.
TPU v2 e v3
Per utilizzare le VM TPU v2 o v3 nel tuo pool di worker, devi usare una delle seguenti configurazioni:
Per configurare una VM TPU con TPU v2, specifica i seguenti campi in
WorkerPoolSpec
:- Imposta
machineSpec.machineType
sucloud-tpu
. - Imposta
machineSpec.acceleratorType
suTPU_V2
. - Imposta
machineSpec.acceleratorCount
su8
per la singola TPU o su32 or multiple of 32
per i pod TPU. - Imposta
replicaCount
su1
.
- Imposta
Per configurare una VM TPU con TPU v3, specifica i seguenti campi in
WorkerPoolSpec
:- Imposta
machineSpec.machineType
sucloud-tpu
. - Imposta
machineSpec.acceleratorType
suTPU_V3
. - Imposta
machineSpec.acceleratorCount
su8
per la singola TPU o su32+
per i pod TPU. - Imposta
replicaCount
su1
.
- Imposta
TPU v5e
TPU v5e richiede JAX 0.4.6 o versioni successive, TensorFlow 2.15 o versioni successive oppure
PyTorch 2.1 o versioni successive. Per configurare una VM TPU con TPU v5e, specifica i seguenti campi
in WorkerPoolSpec
:
- Imposta
machineSpec.machineType
suct5lp-hightpu-1t
,ct5lp-hightpu-4t
oct5lp-hightpu-8t
. - Imposta
machineSpec.tpuTopology
su una topologia supportata per il tipo di macchina. Per maggiori dettagli consulta la tabella seguente. - Imposta
replicaCount
su1
.
La tabella seguente mostra i tipi di macchine e le topologie TPU v5e supportati per l'addestramento personalizzato:
Tipo di macchina | Topologia | Numero di chip TPU | Numero di VM | Caso d'uso consigliato |
---|---|---|---|---|
ct5lp-hightpu-1t |
1x1 | 1 | 1 | Addestramento su scala piccola e media |
ct5lp-hightpu-4t |
2x2 | 4 | 1 | Addestramento su scala piccola e media |
ct5lp-hightpu-8t |
2x4 | 8 | 1 | Addestramento su scala piccola e media |
ct5lp-hightpu-4t |
2x4 | 8 | 2 | Addestramento su scala piccola e media |
ct5lp-hightpu-4t |
4x4 | 16 | 4 | Addestramento su larga scala |
ct5lp-hightpu-4t |
4x8 | 32 | 8 | Addestramento su larga scala |
ct5lp-hightpu-4t |
8x8 | 64 | 16 | Addestramento su larga scala |
ct5lp-hightpu-4t |
8x16 | 128 | 32 | Addestramento su larga scala |
ct5lp-hightpu-4t |
16x16 | 256 | 64 | Addestramento su larga scala |
I job di addestramento personalizzato in esecuzione sulle VM TPU v5e sono ottimizzati per velocità effettiva e disponibilità. Per ulteriori informazioni, consulta la sezione Tipi di acceleratori di addestramento v5e.
Le macchine TPU v5e sono disponibili in us-west1
e us-west4
per l'addestramento personalizzato di Vertex AI. Per ulteriori informazioni su TPU v5e, consulta
Addestramento di Cloud TPU v5e.
Confronto tra tipi di macchina:
Tipo di macchina | ct5lp-hightpu-1t | ct5lp-hightpu-4t | ct5lp-hightpu-8t |
---|---|---|---|
Numero di chip v5e | 1 | 4 | 8 |
Numero di vCPU | 24 | 112 | 224 |
RAM (GB) | 48 | 192 | 384 |
Numero di nodi NUMA | 1 | 1 | 2 |
Probabilità di prerilascio | Alta | Medie | Basso |
Esempio di CustomJob
che specifica una VM TPU
L'esempio seguente evidenzia come specificare una VM TPU quando crei
un CustomJob
:
gcloud
Per specificare una VM TPU utilizzando lo strumento gcloud CLI, devi utilizzare un
file config.yaml
.
Seleziona una delle seguenti schede per visualizzare un esempio:
TPU v2/v3
workerPoolSpecs:
machineSpec:
machineType: cloud-tpu
acceleratorType: TPU_V2
acceleratorCount: 8
replicaCount: 1
containerSpec:
imageUri: CUSTOM_CONTAINER_IMAGE_URI
TPU v5e
workerPoolSpecs:
machineSpec:
machineType: ct5lp-hightpu-4t
tpuTopology: 4x4
replicaCount: 1
containerSpec:
imageUri: CUSTOM_CONTAINER_IMAGE_URI
Quindi esegui un comando come questo:
gcloud ai custom-jobs create \
--region=LOCATION \
--display-name=JOB_NAME \
--config=config.yaml
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Python Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Per specificare una VM TPU utilizzando l'SDK Vertex AI per Python, guarda l'esempio seguente:
from google.cloud.aiplatform import aiplatform job = aiplatform.CustomContainerTrainingJob( display_name='DISPLAY_NAME', location='us-west1', project='PROJECT_ID', staging_bucket="gs://CLOUD_STORAGE_URI", container_uri='CONTAINER_URI') job.run(machine_type='ct5lp-hightpu-4t', tpu_topology='2x2')
Per ulteriori informazioni sulla creazione di un job di addestramento personalizzato, vedi Creare job di addestramento personalizzato.
Opzioni del disco di avvio
Facoltativamente, puoi personalizzare i dischi di avvio per le VM di addestramento. Tutte le VM in un pool di worker utilizzano lo stesso tipo e dimensione del disco di avvio.
Per personalizzare il tipo di disco di avvio utilizzato da ogni VM di addestramento, specifica il campo
diskSpec.bootDiskType
inWorkerPoolSpec
.Puoi impostare questo campo su
pd-standard
per utilizzare un disco permanente standard supportato da un disco rigido standard oppure puoi impostarlo supd-ssd
per utilizzare un disco permanente SSD supportato da un'unità a stato solido. Il valore predefinito èpd-ssd
.L'utilizzo di
pd-ssd
potrebbe migliorare le prestazioni se il codice di addestramento legge e scrive su disco. Ulteriori informazioni sui tipi di disco.Per personalizzare la dimensione (in GB) del disco di avvio utilizzato da ogni VM di addestramento, specifica il campo
diskSpec.bootDiskSizeGb
nel tuoWorkerPoolSpec
.Puoi impostare questo campo su un numero intero compreso tra 100 e 64.000 inclusi. Il valore predefinito è
100
.Può essere utile aumentare le dimensioni del disco di avvio se il codice di addestramento scrive molti dati temporanei sul disco. Tieni presente che i dati scritti sul disco di avvio sono temporanei e non puoi recuperarli al termine dell'addestramento.
La modifica del tipo e delle dimensioni dei tuoi dischi di avvio influisce sui prezzi dell'addestramento personalizzato.
I seguenti esempi evidenziano dove puoi specificare le opzioni del disco di avvio quando
crei un CustomJob
:
Console
Nella console Google Cloud, non puoi creare direttamente un CustomJob
.
Tuttavia, puoi creare una TrainingPipeline
che crei un
CustomJob
. Quando crei un TrainingPipeline
nella console Google Cloud, puoi specificare le opzioni del disco di avvio per ogni pool di worker nel passaggio Compute e prezzi, nell'elenco a discesa Tipo di disco e nel campo Dimensione disco (GB).
gcloud
Per specificare le opzioni del disco di avvio utilizzando lo strumento Google Cloud CLI, devi utilizzare un
file
config.yaml
. Ad esempio:
config.yaml
workerPoolSpecs:
machineSpec:
machineType: MACHINE_TYPE
diskSpec:
bootDiskType: DISK_TYPE
bootDiskSizeGb: DISK_SIZE
replicaCount: REPLICA_COUNT
containerSpec:
imageUri: CUSTOM_CONTAINER_IMAGE_URI
Quindi esegui un comando come questo:
gcloud ai custom-jobs create \
--region=LOCATION \
--display-name=JOB_NAME \
--config=config.yaml
Per saperne di più, leggi la guida alla creazione di una
CustomJob
.
Passaggi successivi
- Scopri come creare una risorsa permanente per eseguire job di addestramento personalizzato.
- Scopri come eseguire l'addestramento personalizzato creando un
CustomJob
.