Questa pagina spiega lo stato di un cluster di addestramento durante il ciclo di vita di un job di addestramento e come Vertex AI gestisce gli errori di addestramento. Puoi utilizzare queste informazioni per adattare il codice di addestramento di conseguenza.
Ciclo di vita di un job di addestramento
Questa sezione spiega come Vertex AI gestisce le VM worker durante il ciclo di vita di un job di addestramento.
Mettere in coda un nuovo job
Quando crei un CustomJob o un HyperparameterTuningJob, il job potrebbe rimanere
nello stato JOB_STATE_QUEUED per un po' di tempo prima che
Vertex AI lo esegua. Questo periodo è in genere breve, ma se il tuo
Google Cloud progetto non dispone di quote di addestramento personalizzato rimanenti sufficienti per il tuo job, Vertex AI
mantiene il job in coda finché non avrai quote sufficienti.
Avvia i worker in parallelo
Quando viene avviato un job di addestramento, Vertex AI pianifica il maggior numero possibile di worker in breve tempo. Di conseguenza, i worker potrebbero avviarsi in parallelo anziché in sequenza. Per ridurre la latenza di avvio,
Vertex AI inizia a eseguire il codice su ogni worker non appena diventa disponibile. Quando tutti i worker sono disponibili, Vertex AI imposta lo stato del job su JOB_STATE_RUNNING.
Nella maggior parte dei casi, il framework di machine learning gestisce automaticamente l'avvio in parallelo dei worker. Se utilizzi una strategia di distribuzione nel codice di addestramento, potrebbe essere necessario modificarla manualmente per gestire i worker che iniziano in parallelo. Scopri di più sulle strategie di distribuzione in TensorFlow e in PyTorch.
Riavviare i worker durante il job di addestramento
Durante un job di addestramento, Vertex AI può riavviare i worker da qualsiasi pool di worker con lo stesso nome host. Questo può verificarsi per i seguenti motivi:
- Manutenzione della VM: quando la VM che esegue un worker è sottoposta a manutenzione, Vertex AI riavvia il worker su un'altra VM. Scopri di più sulla migrazione live per la manutenzione delle VM.
Uscite diverse da zero: se un worker esce con un codice di uscita diverso da zero, Vertex AI lo riavvia immediatamente nella stessa VM.
- Se un worker non riesce a completare il job a causa di un errore comune, viene trattato come errore permanente e Vertex AI arresta l'intero job. Se i container si riavviano prima che Vertex AI disattivi l'intero job, questi container potrebbero generare log in Cloud Logging.
- Se un worker non funziona a causa di un errore non permanente (qualsiasi errore non elencato tra gli errori comuni), Vertex AI consente al worker riavviato di continuare a funzionare, con un massimo di cinque riavvii per worker. Dopo cinque riavvii, se un worker non riesce di nuovo, Vertex AI ritenta l'intero job fino a tre volte prima di non riuscire nell'intero job.
Per gestire i riavvii dei worker nel codice di addestramento, salva regolarmente i checkpoint durante l'addestramento in modo da poter ripristinare da questi checkpoint quando un worker si riavvia. Se prevedi che l'addestramento richieda più di quattro ore, ti consigliamo di salvare un checkpoint almeno ogni quattro ore. Scopri come utilizzare i checkpoint di addestramento in TensorFlow e in PyTorch.
Completare correttamente un job
Un job di addestramento viene completato correttamente quando la relativa replica principale esce con codice di uscita 0. A quel punto, Vertex AI arresta tutti gli altri worker in esecuzione.
In che modo Vertex AI gestisce gli errori dei job di addestramento
Questa sezione spiega come Vertex AI gestisce gli errori comuni dei job di addestramento e gli errori interni.
Circa un minuto dopo la fine di un job, Vertex AI imposta il codice di errore sull'oggetto job di addestramento in base al codice di uscita.
Gestire gli errori comuni
Vertex AI arresta tutti i worker se riscontra uno dei seguenti problemi:
| Tipo di errore | Messaggio di errore/log | Nota |
| Eccezione codice utente | La replica REPLICA_NAME è uscita con uno stato diverso da zero di EXIT_CODE. Motivo del recesso: REASON. | Se il job ha rilevato codici di uscita che potrebbero essere temporanei,
Vertex AI tenta di riavviare il job fino a tre volte.
I codici di errore potenzialmente temporanei che chiedono a Vertex AI di ritentare il job includono quanto segue:
|
| Memoria insufficiente | La replica REPLICA_NAME ha esaurito la memoria ed è uscita con un stato diverso da zero pari a EXIT_CODE. |
GKE riserva memoria sui nodi Vertex AI. Sui
tipi di macchine più piccoli (ad esempio n1-standard-4),
gli agenti di sistema Vertex AI possono occupare fino al 40% della memoria totale.
Per le VM più grandi, l'overhead è relativamente ridotto. Confronta
la memoria allocatable per i n1-standard tipi di macchine.
|
| Capacità insufficiente nella tua regione (esaurimento scorte di Compute Engine) | Le risorse non sono sufficienti nella regione: REGION_NAME. Prova con un'altra regione o utilizza un altro acceleratore. | Un
esaurimento scorte si verifica quando Compute Engine ha raggiunto la capacità per la CPU o la GPU selezionata nella tua regione. Non è correlata alla quota del progetto.
In questo caso, Vertex AI tenta di riavviare il job fino a tre volte.
Per i job in esecuzione su VM A2 e A3, Dynamic Workload Scheduler ti consente di pianificare i job che vengono eseguiti quando le risorse GPU richieste diventano disponibili, anziché non riuscire a completarli con un errore di esaurimento scorte. Per ulteriori informazioni, consulta Pianificare i job di addestramento in base alla disponibilità delle risorse. |
Gestire gli errori interni
Se Vertex AI presenta un errore interno, tenta di riavviare un job
due volte (tre tentativi in totale). Se anche i tentativi di riavvio non vanno a buon fine,
Vertex AI restituisce un errore interno con il messaggio:
Internal error occurred for the current attempt.