Panoramica dei container personalizzati

Un container personalizzato è un'immagine Docker che crei per eseguire l'applicazione di addestramento. Se esegui il job di addestramento di machine learning (ML) in un container personalizzato, puoi utilizzare framework ML, dipendenze non ML, librerie e file binari altrimenti non supportati su Vertex AI.

Come funziona l'addestramento con i container

L'applicazione di addestramento, implementata nel framework ML che preferisci, è il fulcro del processo di addestramento.

  1. Crea un'applicazione che addestra il modello utilizzando il framework ML che preferisci.

  2. Decidi se utilizzare un container personalizzato. Potrebbe esistere un container predefinito che supporta già le tue dipendenze. In caso contrario, devi creare un container personalizzato per il tuo job di addestramento. Nel tuo container personalizzato, preinstalla l'applicazione di addestramento e tutte le sue dipendenze su un'immagine che viene utilizzata per eseguire il job di addestramento.

  3. Archivia i dati di addestramento e verifica in un'origine a cui Vertex AI può accedere. Per semplificare l'autenticazione e ridurre la latenza, archivia i dati in Cloud Storage, Bigtable o un altro servizio di archiviazioneGoogle Cloud nello stesso Google Cloud progetto e nella stessa regione che utilizzi per Vertex AI. Scopri di più su i modi in cui Vertex AI può caricare i tuoi dati.

  4. Quando l'applicazione è pronta per l'esecuzione, devi creare l'immagine Docker ed eseguirne il push su Artifact Registry o Docker Hub, assicurandoti che Vertex AI possa accedere al registro.

  5. Invia il job di addestramento personalizzato creando un job personalizzato o creando una pipeline di addestramento personalizzata.

  6. Vertex AI configura le risorse per il tuo job. Alloca una o più macchine virtuali (chiamate istanze di addestramento) in base alla configurazione del job. Configuri un'istanza di addestramento utilizzando il container personalizzato che specifichi come parte dell'oggetto WorkerPoolSpec quando invii il job di addestramento personalizzato.

  7. Vertex AI esegue l'immagine Docker, passando tutti gli argomenti della riga di comando specificati durante la creazione del job di addestramento.

  8. Quando il job di addestramento ha esito positivo o si verifica un errore non recuperabile, Vertex AI interrompe tutti i processi del job e pulisce le risorse.

Vantaggi dei container personalizzati

I container personalizzati ti consentono di specificare e preinstallare tutte le dipendenze necessarie per la tua applicazione.

  • Tempo di avvio più rapido. Se utilizzi un container personalizzato con le dipendenze preinstallate, puoi risparmiare il tempo che la tua applicazione di addestramento impiegherebbe altrimenti per installare le dipendenze all'avvio.
  • Utilizza il framework ML che preferisci. Se non riesci a trovare un container predefinito di Vertex AI con il framework ML che vuoi utilizzare, puoi creare un container personalizzato con il framework scelto e utilizzarlo per eseguire job su Vertex AI. Ad esempio, puoi utilizzare un container cliente per l'addestramento con PyTorch.
  • Supporto esteso per l'addestramento distribuito. Con i container personalizzati, puoi eseguire l'addestramento distribuito utilizzando qualsiasi framework ML.
  • Utilizza la versione più recente. Puoi anche utilizzare l'ultima build o versione secondaria di un framework ML. Ad esempio, puoi creare un container personalizzato per l'addestramento con tf-nightly.

Ottimizzazione degli iperparametri con container personalizzati

Per eseguire l'ottimizzazione degli iperparametri su Vertex AI, devi specificare le metriche obiettivo, nonché se minimizzare o massimizzare ciascuna metrica. Ad esempio, potresti voler massimizzare l'accuratezza del modello o ridurre al minimo la perdita del modello. Elenca anche gli iperparametri che vuoi ottimizzare, insieme all'intervallo di valori accettabili per ciascun iperparametro. Vertex AI esegue più prove dell'applicazione di addestramento, monitorando e modificando gli iperparametri dopo ogni prova. Al termine del job di ottimizzazione degli iperparametri, Vertex AI riporta i valori per la configurazione più efficace degli iperparametri e un riepilogo per ogni prova.

Per eseguire l'ottimizzazione degli iperparametri con i container personalizzati, devi apportare le seguenti modifiche:

  • Nel Dockerfile, installa cloudml-hypertune.
  • Nel codice di addestramento:
    • Utilizza cloudml-hypertune per segnalare i risultati di ogni prova chiamando la relativa funzione helper, report_hyperparameter_tuning_metric.
    • Aggiungi argomenti della riga di comando per ogni iperparametro e gestisci l'analisi degli argomenti con un analizzatore di argomenti come argparse.

Scopri come configurare un job di ottimizzazione degli iperparametri che utilizza container personalizzati o scopri di più su come funziona l'ottimizzazione degli iperparametri su Vertex AI.

GPU nei container personalizzati

Per l'addestramento con le GPU, il container personalizzato deve soddisfare alcuni requisiti speciali. Devi creare un'immagine Docker diversa da quella che utilizzeresti per l'addestramento con le CPU.

  • Preinstalla il toolkit CUDA e cuDNN nell'immagine Docker. Il modo consigliato per creare un container personalizzato con supporto per le GPU è utilizzare l'immagine nvidia/cuda come immagine di base per il container personalizzato. L'immagine container nvidia/cuda ha versioni corrispondenti del toolkit CUDA e di cuDNN preinstallate e ti aiuta a configurare correttamente le variabili di ambiente correlate.
  • Installa l'applicazione di addestramento, insieme al framework ML richiesto e ad altre dipendenze nell'immagine Docker.

Consulta un esempio di Dockerfile per l'addestramento con le GPU.

Passaggi successivi