Panoramica dell'ottimizzazione degli iperparametri

L'ottimizzazione degli iperparametri usa l'infrastruttura di elaborazione di Google Cloud per testare diverse configurazioni degli iperparametri durante l'addestramento del modello. Può fornire valori ottimizzati per gli iperparametri, il che massimizza l'accuratezza predittiva del modello.

Che cos'è un iperparametro?

Gli iperparametri contengono i dati che regolano il processo di addestramento stesso.

L'applicazione di addestramento gestisce tre categorie di dati durante l'addestramento del modello:

  • I dati di input (chiamati anche dati di addestramento) sono una raccolta di singoli record (istanze) contenenti le funzionalità importanti per il problema di machine learning. Questi dati vengono utilizzati durante l'addestramento per configurare il modello in modo che effettui previsioni accurate su nuove istanze di dati simili. Tuttavia, i valori nei dati di input non fanno mai parte direttamente del modello.

  • I parametri del modello sono le variabili utilizzate dalla tecnica di machine learning scelta per adattarsi ai dati. Ad esempio, una rete neurale profonda (DNN) è composta da nodi di elaborazione (neuroni), ciascuno con un'operazione eseguita sui dati mentre attraversano la rete. Quando la rete neurale profonda è addestrata, ogni nodo ha un valore di peso che indica al modello l'impatto sulla previsione finale. Questi pesi sono un esempio dei parametri del tuo modello. Per molti versi, i parametri del modello sono il modello: sono ciò che distingue il tuo modello specifico da altri modelli dello stesso tipo che lavorano su dati simili.

  • Gli iperparametri sono le variabili che regolano la procedura di addestramento stessa. Ad esempio, parte della progettazione di una rete neurale profonda consiste nel decidere quanti strati nascosti di nodi utilizzare tra gli strati di input e di output e quanti nodi deve utilizzare ogni strato nascosto. Queste variabili non sono direttamente correlate ai dati di addestramento. Sono variabili di configurazione. Tieni presente che i parametri cambiano durante un job di addestramento, mentre gli iperparametri sono in genere costanti durante un job.

I parametri del modello vengono ottimizzati (si potrebbe dire "ottimizzati") dal processo di addestramento: esegui i dati attraverso le operazioni del modello, confronta la previsione risultante con il valore effettivo per ogni istanza di dati, valuta l'accuratezza e modifica fino a trovare i valori migliori. Gli iperparametri vengono ottimizzati eseguendo l'intero job di addestramento, esaminando l'accuratezza aggregata e apportando le modifiche necessarie. In entrambi i casi, modifichi la composizione del modello per trovare la combinazione migliore per gestire il problema.

Senza una tecnologia automatizzata come l'ottimizzazione degli iperparametri di Vertex AI, devi apportare regolazioni manuali agli iperparametri nel corso di molte esecuzioni di addestramento per ottenere i valori ottimali. L'ottimizzazione degli iperparametri semplifica e velocizza la procedura di determinazione delle impostazioni degli iperparametri migliori.

Come funziona l'ottimizzazione degli iperparametri

L'ottimizzazione degli iperparametri funziona eseguendo più prove dell'applicazione di addestramento con i valori degli iperparametri scelti, impostati entro i limiti specificati. Vertex AI tiene traccia dei risultati di ogni prova e apporta modifiche per le prove successive. Al termine del job, puoi visualizzare un riepilogo di tutte le prove, nonché la configurazione più efficace dei valori in base ai criteri specificati.

L'ottimizzazione degli iperparametri richiede una comunicazione esplicita tra Vertex AI e la tua applicazione di addestramento. L'applicazione di addestramento definisce tutte le informazioni necessarie al modello. Definisci gli iperparametri (variabili) che vuoi modificare e le variabili target utilizzate per valutare ogni prova.

Scopri di più sull'ottimizzazione bayesiana per l'ottimizzazione degli iperparametri.

Oltre all'ottimizzazione bayesiana, Vertex AI esegue l'ottimizzazione tra i job di ottimizzazione degli iperparametri. Se esegui l'ottimizzazione degli iperparametri rispetto a modelli simili, modificando solo la funzione obiettivo o aggiungendo una nuova colonna di input, Vertex AI è in grado di migliorare nel tempo e rendere più efficiente l'ottimizzazione degli iperparametri.

Che cosa ottimizza l'ottimizzazione degli iperparametri

L'ottimizzazione degli iperparametri ottimizza le variabili target specificate, chiamate metriche degli iperparametri. L'accuratezza del modello, calcolata da un passaggio di valutazione, è una metrica comune. Le metriche devono essere numeriche.

Quando configuri un job di ottimizzazione degli iperparametri, definisci il nome e l'obiettivo di ogni metrica. L'obiettivo specifica se vuoi ottimizzare il modello per massimizzare o minimizzare il valore di questa metrica.

In che modo Vertex AI ottiene le tue metriche

Utilizza il pacchetto Python cloudml-hypertune per trasmettere le metriche a Vertex AI. Questa libreria fornisce funzioni di supporto per la generazione di report sulle metriche in Vertex AI.

Scopri di più sulle metriche degli iperparametri dei report.

Il flusso dei valori degli iperparametri

Senza l'ottimizzazione degli iperparametri, puoi impostarli come preferisci nell'applicazione di addestramento. Ad esempio, puoi configurare gli iperparametri passando gli argomenti della riga di comando al modulo dell'applicazione principale o fornirli all'applicazione in un file di configurazione.

Quando utilizzi l'ottimizzazione degli iperparametri, devi utilizzare la seguente procedura per impostare i valori degli iperparametri che utilizzi per l'ottimizzazione:

  • Definisci un argomento della riga di comando nel modulo di addestramento principale per ogni iperparametro ottimizzato.

  • Utilizza il valore passato in questi argomenti per impostare l'iperparametro corrispondente nel codice della tua applicazione.

Quando configuri un job di ottimizzazione degli iperparametri, definisci ogni iperparametro da ottimizzare, il relativo tipo di dati e l'intervallo di valori da provare. Identifica ogni iperparametro utilizzando lo stesso nome dell'argomento corrispondente che hai definito nel modulo principale. Il servizio di addestramento include argomenti della riga di comando che utilizzano questi nomi quando esegue l'applicazione.

Scopri di più sui requisiti per l'analisi sintattica degli argomenti della riga di comando.

Seleziona gli iperparametri da ottimizzare

Esistono pochi consigli universali su come scegliere gli iperparametri da ottimizzare. Se hai esperienza con la tecnica di machine learning che stai utilizzando, potresti avere informazioni sul comportamento dei suoi iperparametri. Potresti anche trovare consigli nelle community di machine learning.

Qualunque sia la tua scelta, è importante comprenderne le implicazioni. Ogni iperparametro che scegli di ottimizzare ha il potenziale di aumentare il numero di prove necessarie per un job di ottimizzazione riuscito. Quando esegui un job di ottimizzazione degli iperparametri su Vertex AI, l'importo che ti viene addebitato si basa sulla durata delle prove avviate dal job di ottimizzazione degli iperparametri. Una scelta attenta degli iperparametri da ottimizzare può ridurre il tempo e il costo del job di ottimizzazione degli iperparametri.

Tipi di dati degli iperparametri

In un oggetto ParameterSpec, specifichi il tipo di dato dell'iperparametro come istanza di una specifica del valore parametro. La tabella seguente elenca le specifiche valore parametro supportati.

Tipo Tipo di dati Intervalli di valori Dati del valore
DoubleValueSpec DOUBLE minValue e maxValue Valori in virgola mobile
IntegerValueSpec INTEGER minValue e maxValue Valori interi
CategoricalValueSpec CATEGORICAL categoricalValues Elenco di stringhe di categoria
DiscreteValueSpec DISCRETE discreteValues Elenco di valori in ordine crescente

Iperparametri di scala

In un oggetto ParameterSpec, puoi specificare che la scala deve essere eseguita su questo iperparametro. La scalabilità è consigliata per i tipi di dati DOUBLE e INTEGER. I tipi di scalabilità disponibili sono:

  • SCALE_TYPE_UNSPECIFIED: a questo iperparametro non viene applicato alcun ridimensionamento.
  • UNIT_LINEAR_SCALE: scala lo spazio fattibile in modo lineare da 0 a 1.
  • UNIT_LOG_SCALE: scala lo spazio fattibile in modo logaritmico da 0 a 1. L'intero spazio fattibile deve essere strettamente positivo.
  • UNIT_REVERSE_LOG_SCALE: scala lo spazio possibile "inverso" in modo logaritmico da 0 a 1. Il risultato è che i valori vicini alla parte superiore dello spazio possibile sono più diffusi rispetto ai punti vicino alla parte inferiore. L'intero spazio possibile deve essere strettamente positivo.

Iperparametri condizionali

L'oggetto ConditionalParameterSpec ti consente di aggiungere iperparametri a un esperimento quando il valore dell'iperparametro principale corrisponde a una condizione specificata.

Ad esempio, puoi definire un job di ottimizzazione degli iperparametri con l'obiettivo di trovare un modello ottimale utilizzando la regressione lineare o una rete neurale profonda (DNN). Per consentire al job di ottimizzazione di specificare il metodo di addestramento, definisci un iperparametro categorico denominato training_method con le seguenti opzioni:LINEAR_REGRESSION e DNN. Quando training_method è LINEAR_REGRESSION, il job di ottimizzazione deve specificare un iperparametro per il tasso di apprendimento. Quando training_method è DNN, il job di ottimizzazione deve specificare i parametri per il tasso di apprendimento e il numero di strati nascosti.

Poiché il numero di livelli nascosti è applicabile solo quando il valore training_method di un esperimento è DNN, definisci un parametro condizionale che aggiunge un iperparametro denominato num_hidden_layers quando training_method è DNN.

Poiché il tasso di apprendimento viene utilizzato da entrambe le opzioni training_method, devi decidere se questo iperparametro condizionale deve essere condiviso. Se l'iperparametro è condiviso, il job di ottimizzazione utilizza ciò che ha appreso dalle prove LINEAR_REGRESSION e DNN per ottimizzare il tasso di apprendimento. In questo caso, è più sensato avere tassi di apprendimento separati per ogni training_method, poiché il tasso di apprendimento per l'addestramento di un modello che utilizza LINEAR_REGRESSION non deve influire sul tasso di apprendimento per l'addestramento di un modello che utilizza DNN. Pertanto, definisci i seguenti iperparametri condizionali:

  • Un iperparametro denominato learning_rate che viene aggiunto quando training_method è LINEAR_REGRESSION.
  • Un iperparametro denominato learning_rate che viene aggiunto quando training_method è DNN.

Gli iperparametri condizionali ti consentono di definire gli iperparametri per il job di ottimizzazione come grafico. In questo modo puoi ottimizzare il processo di addestramento utilizzando diverse tecniche di addestramento, ciascuna con le proprie dipendenze dagli iperparametri.

Algoritmi della Ricerca

Puoi specificare un algoritmo di ricerca nell'oggetto StudySpec. Se non specifichi un algoritmo, il job utilizza l'algoritmo Vertex AI predefinito. L'algoritmo predefinito applica l'ottimizzazione bayesiana per arrivare alla soluzione ottimale con una ricerca più efficace nello spazio dei parametri.

I valori disponibili sono:

  • ALGORITHM_UNSPECIFIED: come se non fosse stato specificato alcun algoritmo. Vertex AI sceglie il miglior algoritmo di ricerca tra i banditi con processo gaussiano, la ricerca di combinazioni lineari o le relative varianti.

  • GRID_SEARCH: una semplice ricerca a griglia all'interno dello spazio possibile. Questa opzione è particolarmente utile se vuoi specificare una quantità di prove superiore al numero di punti nello spazio disponibile. In questi casi, se non specifichi una ricerca a griglia, l'algoritmo predefinito di Vertex AI potrebbe generare suggerimenti duplicati. Per utilizzare la ricerca a griglia, tutti i parametri devono essere di tipo INTEGER, CATEGORICAL o DISCRETE.

  • RANDOM_SEARCH: una semplice ricerca casuale all'interno dello spazio disponibile.

Passaggi successivi