Addestrare un modello con AutoML end-to-end

Questa pagina mostra come addestrare un modello di classificazione o regressione da un set di dati tabulare con il flusso di lavoro tabulare per AutoML end-to-end.

Prima di iniziare

Prima di poter addestrare un modello, devi completare i seguenti passaggi:

Se ricevi un errore relativo alle quote durante l'esecuzione di Tabular Workflow per AutoML end-to-end, potrebbe essere necessario richiedere una quota più alta. Per scoprire di più, consulta Gestire le quote per i flussi di lavoro tabulari.

Recupera l'URI del risultato dell'ottimizzazione degli iperparametri precedente

Se hai già completato un'esecuzione del flusso di lavoro AutoML end-to-end, puoi utilizzare il risultato dell'ottimizzazione degli iperparametri dell'esecuzione precedente per risparmiare tempo e risorse di addestramento. Puoi trovare il risultato dell'ottimizzazione degli iperparametri precedente utilizzando la console Google Cloud o caricandolo in modo programmatico con l'API.

Console Google Cloud

Per trovare l'URI del risultato dell'ottimizzazione degli iperparametri utilizzando la console Google Cloud, segui questi passaggi:

  1. Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Pipeline.

    Vai alla pagina Pipeline

  2. Seleziona la scheda Esecuzioni.

  3. Seleziona l'esecuzione della pipeline che vuoi utilizzare.

  4. Seleziona Espandi elementi.

  5. Fai clic sul componente exit-handler-1.

  6. Fai clic sul componente stage_1_tuning_result_artifact_uri_empty.

  7. Trova il componente automl-tabular-cv-trainer-2.

  8. Fai clic sull'elemento associato tuning_result_output.

  9. Seleziona la scheda Informazioni sul nodo.

  10. Copia l'URI da utilizzare nel passaggio Addestramento di un modello.

risultato di ricerca dell'architettura

API: Python

Il seguente codice campione mostra come caricare il risultato dell'ottimizzazione degli iperparametri utilizzando l'API. La variabile job fa riferimento all'esecuzione precedente della pipeline di addestramento del modello.


def get_task_detail(
  task_details: List[Dict[str, Any]], task_name: str
) -> List[Dict[str, Any]]:
  for task_detail in task_details:
      if task_detail.task_name == task_name:
          return task_detail

pipeline_task_details = job.gca_resource.job_detail.task_details

stage_1_tuner_task = get_task_detail(
    pipeline_task_details, "automl-tabular-stage-1-tuner"
)
stage_1_tuning_result_artifact_uri = (
    stage_1_tuner_task.outputs["tuning_result_output"].artifacts[0].uri
)

Addestra un modello

Console Google Cloud

Per addestrare un modello utilizzando la console Google Cloud, segui questi passaggi:

  1. Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Pipeline.

    Vai alla pagina Pipeline

  2. Seleziona la scheda Galleria modelli.

  3. Nella scheda AutoML per la classificazione tabulare / regressione, fai clic su Crea esecuzione.

  4. Nella pagina Dettagli esecuzione, configura come segue:

    1. Inserisci un nome per l'esecuzione della pipeline.
    2. Facoltativo:se vuoi impostare l'account di servizio Vertex AI Pipelines o l'account di servizio worker Dataflow, apri le Opzioni avanzate. Scopri di più sugli account di servizio.
    3. Fai clic su Continua.

  5. Nella pagina Configurazione di runtime, configura come segue:

    1. Inserisci un bucket Cloud Storage o una cartella all'interno del bucket da utilizzare come directory di output principale. Questa directory verrà utilizzata per salvare i file intermedi, come il set di dati materializzato e il modello. Ricordati di ripulire la directory al termine dell'addestramento e di copiare il modello e altri artefatti importanti in un altro bucket Cloud Storage. In alternativa, imposta una durata (TTL) per il bucket Cloud Storage.

      I bucket per il tuo progetto sono elencati nella sezione Cloud Storage della console Google Cloud.

      Vai alla pagina Bucket

    2. Fai clic su Continua.

  6. Nella pagina Metodo di addestramento, configura come segue:

    1. Seleziona il nome del set di dati da utilizzare per addestrare il modello.
    2. Seleziona la colonna di destinazione. La colonna target è il valore che il modello prevederà. Scopri di più sui requisiti delle colonne target.
    3. Inserisci il nome visualizzato per il nuovo modello.
    4. Facoltativo: per scegliere come suddividere i dati tra i set di addestramento, test e convalida, apri le Opzioni avanzate. Puoi scegliere tra le seguenti opzioni di suddivisione dei dati:
      • Casuale (predefinito): Vertex AI seleziona in modo casuale le righe associate a ciascuno dei set di dati. Per impostazione predefinita, Vertex AI seleziona l'80% delle righe di dati per il set di addestramento, il 10% per il set di convalida e il 10% per il set di test. Imposta la percentuale di righe di dati da associare a ciascun set di dati.
      • Manuale: Vertex AI seleziona le righe di dati per ciascuno dei set di dati in base ai valori di una colonna di suddivisione dati. Specifica il nome della colonna di suddivisione dei dati.
      • Cronologico: Vertex AI suddivide i dati in base al timestamp in una colonna del tempo. Specifica il nome della colonna della data e dell'ora. Puoi anche impostare la percentuale di righe di dati da associare al set di addestramento, al set di convalida e al set di test.
      • Stratificata: Vertex AI seleziona in modo casuale le righe associate a ciascuno dei set di dati, ma mantiene la distribuzione dei valori delle colonne target. Specifica il nome della colonna di destinazione. Puoi anche impostare la percentuale di righe di dati da associare al set di addestramento, al set di convalida e al set di test.
      Scopri di più sulle suddivisioni dei dati.
    5. Facoltativo:puoi eseguire la pipeline senza la ricerca dell'architettura. Se scegli Salta la ricerca dell'architettura, nella pagina Opzioni di addestramento ti verrà chiesto di fornire un insieme di iperparametri di una pipeline eseguita in precedenza.
    6. Fai clic su Continua.

  7. Nella pagina Opzioni di addestramento, configura come segue:

    1. (Facoltativo) Fai clic su Genera statistiche. La generazione delle statistiche compila i menu a discesa Trasformazione.
    2. Esamina l'elenco delle colonne ed escludi dall'addestramento le colonne che non devono essere utilizzate per addestrare il modello.
    3. Rivedi le trasformazioni selezionate per le funzionalità incluse, oltre a verificare se sono consentiti dati non validi, e apporta gli aggiornamenti necessari. Scopri di più sulle trasformazioni e sui dati non validi.
    4. Se hai scelto di saltare la ricerca dell'architettura nella pagina Metodo di addestramento, fornisci il percorso del risultato dell'ottimizzazione degli iperparametri di un'esecuzione precedente della pipeline.
    5. Facoltativo:se vuoi specificare la colonna del peso, apri le Opzioni avanzate ed effettua la selezione. Scopri di più sulle colonne di peso.
    6. (Facoltativo) Se vuoi modificare l'obiettivo di ottimizzazione predefinito, apri le Opzioni avanzate ed effettua la selezione. Scopri di più sugli obiettivi di ottimizzazione.
    7. Facoltativo:se scegli di eseguire la ricerca dell'architettura nella pagina Metodo di addestramento, puoi specificare il numero di prove parallele. Apri le Opzioni avanzate e inserisci il valore.
    8. Facoltativo:puoi fornire valori fissi per un sottoinsieme di iperparametri. Vertex AI cerca i valori ottimali degli iperparametri rimanenti non fissati. Questa opzione è una buona scelta se hai una preferenza decisa per il tipo di modello. Puoi scegliere tra reti neurali e alberi con boosting per il tipo di modello. Apri le Opzioni avanzate e fornisci un'override delle specifiche dello studio in formato JSON.

      Ad esempio, se vuoi impostare il tipo di modello su reti neurali (NN), inserisci quanto segue:

      [
  {
    "parameter_id": "model_type",
    "categorical_value_spec": {
      "values": ["nn"]
    }
  }
]

    9. Fai clic su Continua.

  8. Nella pagina Compute e prezzi, configura come segue:

    1. Inserisci il numero massimo di ore per cui vuoi addestrare il modello. Scopri di più sui prezzi.
    2. Facoltativo: nella sezione Impostazioni di calcolo, puoi configurare i tipi di macchine e il numero di macchine per ogni fase del flusso di lavoro. Questa opzione è una buona scelta se hai un set di dati di grandi dimensioni e vuoi ottimizzare di conseguenza l'hardware della macchina.

  9. Fai clic su Invia.

API: Python

Il seguente codice campione mostra come eseguire una pipeline di addestramento del modello:

job = aiplatform.PipelineJob(
    ...
    template_path=template_path,
    parameter_values=parameter_values,
    ...
)
job.run(service_account=SERVICE_ACCOUNT)

Il parametro facoltativo service_account in job.run() ti consente di impostare l'account di servizio Vertex AI Pipelines su un account a tua scelta.

La pipeline e i valori dei parametri sono definiti dalla seguente funzione. I dati di addestramento possono essere un file CSV in Cloud Storage o una tabella in BigQuery.

template_path, parameter_values = automl_tabular_utils.get_automl_tabular_pipeline_and_parameters(...)

Di seguito è riportato un sottoinsieme di parametri get_automl_tabular_pipeline_and_parameters:

Nome parametro Tipo Definizione
data_source_csv_filenames Stringa Un URI per un file CSV archiviato in Cloud Storage.
data_source_bigquery_table_path Stringa Un URI per una tabella BigQuery.
dataflow_service_account Stringa (Facoltativo) Account di servizio personalizzato per eseguire i job Dataflow. Il job Dataflow può essere configurato per utilizzare IP privati e una subnet VPC specifica. Questo parametro funge da override per l'account di servizio worker Dataflow predefinito.
prediction_type Stringa Scegli classification per addestrare un modello di classificazione o regression per addestrare un modello di regressione.
optimization_objective Stringa Se stai addestrando un modello di classificazione binaria, l'obiettivo predefinito è AUC ROC. Se stai addestrando un modello di regressione, l'obiettivo predefinito è RMSE. Se vuoi un obiettivo di ottimizzazione diverso per il tuo modello, scegli una delle opzioni in Obiettivi di ottimizzazione per i modelli di classificazione o di regressione.
enable_probabilistic_inference Booleano Se stai addestrando un modello di regressione e imposti questo valore su true, Vertex AI modella la distribuzione di probabilità della previsione. L'inferenza probabilistica può migliorare la qualità del modello gestendo i dati con rumore e quantificando l'incertezza. Se vengono specificati quantiles, Vertex AI restituisce anche i quantili della distribuzione.
quantiles List[float] Quantili da utilizzare per l'inferenza probabilistica. Un quantile indica la probabilità che un target sia inferiore a un determinato valore. Fornisci un elenco di massimo cinque numeri univoci compresi tra 0 e 1, esclusi.

Opzioni di personalizzazione del flusso di lavoro

Puoi personalizzare il flusso di lavoro AutoML end-to-end definendo i valori degli argomenti passati durante la definizione della pipeline. Puoi personalizzare il tuo flusso di lavoro nei seguenti modi:

  • Sostituire lo spazio di ricerca
  • Configura hardware
  • Distilla il modello
  • Salta ricerca architettura

Eseguire l'override dello spazio di ricerca

Il seguente parametro get_automl_tabular_pipeline_and_parameters consente di fornire valori fissi per un sottoinsieme di iperparametri. Vertex AI cerca i valori ottimali degli iperparametri rimanenti non fissati. Utilizza questo parametro se vuoi scegliere tra reti neurali e alberi con boosting per il tipo di modello.

Nome parametro Tipo Definizione
study_spec_parameters_override List[Dict[String, Any]] (Facoltativo) Sottoinsieme personalizzato di iperparametri. Questo parametro configura il componente automl-tabular-stage-1-tuner della pipeline.

Il seguente codice mostra come impostare il tipo di modello su reti neurali (NN):

study_spec_parameters_override = [
  {
    "parameter_id": "model_type",
    "categorical_value_spec": {
      "values": ["nn"] # The default value is ["nn", "boosted_trees"], this reduces the search space
    }
  }
]

Configurare l'hardware

I seguenti parametri get_automl_tabular_pipeline_and_parameters ti consentono di configurare i tipi di macchine e il numero di macchine per l'addestramento. Questa opzione è una buona scelta se hai un set di dati di grandi dimensioni e vuoi ottimizzare di conseguenza l'hardware della macchina.

Nome parametro Tipo Definizione
stage_1_tuner_worker_pool_specs_override Dict[String, Any] (Facoltativo) Configurazione personalizzata dei tipi di macchine e del numero di macchine per l'addestramento. Questo parametro configura il componente automl-tabular-stage-1-tuner della pipeline.
cv_trainer_worker_pool_specs_override Dict[String, Any] (Facoltativo) Configurazione personalizzata dei tipi di macchine e del numero di macchine per l'addestramento. Questo parametro configura il componente automl-tabular-stage-1-tuner della pipeline.

Il codice seguente mostra come impostare il tipo di macchina n1-standard-8 per il nodo principale di TensorFlow e il tipo di macchina n1-standard-4 per il nodo valutatore di TensorFlow:

worker_pool_specs_override = [
  {"machine_spec": {"machine_type": "n1-standard-8"}}, # override for TF chief node
  {},  # override for TF worker node, since it's not used, leave it empty
  {},  # override for TF ps node, since it's not used, leave it empty
  {
    "machine_spec": {
        "machine_type": "n1-standard-4" # override for TF evaluator node
    }
  }
]

Distilla il modello

Il seguente parametro get_automl_tabular_pipeline_and_parameters consente di creare una versione più piccola del modello dell'ensemble. Un modello più piccolo riduce la latenza e i costi per la previsione.

Nome parametro Tipo Definizione
run_distillation Booleano Se TRUE, viene creata una versione più piccola del modello di ensemble.

Salta la ricerca dell'architettura

Il seguente parametro get_automl_tabular_pipeline_and_parameters consente di eseguire la pipeline senza la ricerca dell'architettura e di fornire un insieme di iperparametri da un'esecuzione precedente della pipeline.

Nome parametro Tipo Definizione
stage_1_tuning_result_artifact_uri Stringa (Facoltativo) URI del risultato dell'ottimizzazione degli iperparametri di un'esecuzione della pipeline precedente.

Obiettivi di ottimizzazione per i modelli di classificazione o regressione

Quando addestri un modello, Vertex AI seleziona un obiettivo di ottimizzazione predefinito in base al tipo di modello e al tipo di dati utilizzati per la colonna di destinazione.

I modelli di classificazione sono ideali per:
Obiettivo ottimizzazione Valore dell'API Utilizza questo obiettivo se vuoi…
AUC ROC maximize-au-roc Massimizza l'area sotto la curva della caratteristica operativa del ricevitore (ROC). Distingue tra le classi. Valore predefinito per la classificazione binaria.
Perdita logaritmica minimize-log-loss Mantieni accurate per quanto possibile le probabilità delle previsioni. Unico obiettivo supportato per la classificazione multiclasse.
AUC PR maximize-au-prc Massimizza l'area sotto la curva di precisione-richiamo. Ottimizza i risultati per le previsioni della classe meno comune.
Precisione al richiamo maximize-precision-at-recall Ottimizza la precisione per un valore di richiamo specifico.
Richiamo alla precisione maximize-recall-at-precision Ottimizza il richiamo a un valore di precisione specifico.
I modelli di regressione sono ideali per:
Obiettivo ottimizzazione Valore dell'API Utilizza questo obiettivo se vuoi…
RMSE minimize-rmse Riduci al minimo l'errore quadratico medio (RMSE). Acquisisce con precisione valori più estremi. Valore predefinito.
MAE minimize-mae Riduci al minimo l'errore assoluto medio (MAE). Visualizza i valori estremi come outlier con un minore impatto sul modello.
RMSLE minimize-rmsle Riduci al minimo l'errore logaritmico quadratico medio (RMSLE). Penalizza l'errore sulla dimensione relativa anziché sul valore assoluto. Utile quando i valori previsti ed effettivi possono essere molto grandi.

Passaggi successivi