Flusso di lavoro tabulare per Wide and Deep

Questo documento fornisce una panoramica del flusso di lavoro tabulare per le pipeline e i componenti Wide & Deep. Per informazioni su come addestrare un modello con Wide and Deep, consulta Addestra un modello con Wide and Deep.

Wide & Deep addestra congiuntamente modelli lineari ampi e reti neurali profonde. Combina i vantaggi della memorizzazione e della generalizzazione. I risultati di alcuni esperimenti online hanno mostrato che Wide & Deep ha aumentato significativamente le acquisizioni di applicazioni del Google Store rispetto ai modelli wide-only e solo deep.

Vantaggi

  • Integrazione con Vertex AI. Il modello addestrato è un modello Vertex AI. Puoi eseguire previsioni batch o eseguire immediatamente il deployment del modello per le previsioni online.

Wide and Deep sulle pipeline di Vertex AI

Tabular Workflow for Wide & Deep è un'istanza gestita di Vertex AI Pipelines.

Vertex AI Pipelines è un servizio serverless che esegue pipeline Kubeflow. Puoi usare le pipeline per automatizzare e monitorare le attività di machine learning e preparazione dei dati. Ogni passaggio di una pipeline esegue parte del flusso di lavoro della pipeline. Ad esempio, una pipeline può includere passaggi per suddividere i dati, trasformare i tipi di dati e addestrare un modello. Poiché i passaggi sono istanze dei componenti della pipeline, hanno input, output e un'immagine container. Gli input dei passaggi possono essere impostati dagli input della pipeline o dipendono dall'output di altri passaggi all'interno della pipeline. Queste dipendenze definiscono il flusso di lavoro della pipeline come un grafo diretto aciclico.

Sono disponibili due versioni del flusso di lavoro tabulare per Wide & Deep:

  • HyperparameterTuningJob cerca il set migliore di valori degli iperparametri da utilizzare per l'addestramento del modello.
  • CustomJob consente di specificare i valori degli iperparametri da utilizzare per l'addestramento del modello. Se conosci esattamente i valori degli iperparametri di cui hai bisogno, puoi specificarli invece di cercarli e risparmiare sulle risorse di addestramento.

Panoramica della pipeline Wide & Deep CustomJob e dei componenti

La pipeline Wide & Deep CustomJob può essere illustrata dal seguente diagramma:

Pipeline per CustomJob Wide & Deep 

I componenti della pipeline sono:

  1. feature-transform-engine: esegue il feature engineering. Per ulteriori dettagli, consulta Motore per la trasformazione delle funzionalità.
  2. split-materialized-data: suddivide i dati materializzati in un set di addestramento, un set di valutazione e un set di test.

    Ingresso:

    • Dati materializzati materialized_data.

    Output:

    • Divisione materializzata dell'addestramento materialized_train_split.
    • Suddivisione di valutazione materializzata materialized_eval_split.
    • Set di test materializzato materialized_test_split.
  3. wide-and-deep-trainer: esegui l'addestramento del modello.

    Ingresso:

    • Base di riferimento dell'istanza instance_baseline.
    • Schema di addestramento training_schema.
    • Trasforma l'output transform_output.
    • Suddivisione del treno materializzato materialized_train_split.
    • Suddivisione di valutazione materializzata materialized_eval_split.
    • Set di test materializzato materialized_test_split.

    Output:

    • Modello finale
  4. automl-tabular-infra-validator: convalida il modello addestrato inviando una richiesta di previsione e controllando se viene completato correttamente.
  5. model-upload: carica il modello dal bucket Cloud Storage dell'utente in Vertex AI come modello Vertex AI.
  6. condition-run-evaluation-2: condition-run-evaluation-2. Utilizza il set di test per calcolare le metriche di valutazione. Viene eseguita solo quando run_evaluation è impostato su true.

Panoramica dei componenti e della pipeline Wide & Deep HyperparameterTuningJob

La pipeline Wide & Deep HyperparameterTuningJob può essere illustrata dal seguente diagramma:

Pipeline per HyperparameterTuningJob Wide and Deep 

  1. feature-transform-engine: esegue il feature engineering. Per ulteriori dettagli, consulta Motore per la trasformazione delle funzionalità.
  2. split-materialized-data: suddivide i dati materializzati in un set di addestramento, un set di valutazione e un set di test.

    Ingresso:

    • Dati materializzati materialized_data.

    Output:

    • Divisione materializzata dell'addestramento materialized_train_split.
    • Suddivisione di valutazione materializzata materialized_eval_split.
    • Set di test materializzato materialized_test_split.
  3. get-wide-and-deep-study-spec-parameters: genera la specifica dello studio in base a una configurazione della pipeline di addestramento. Se l'utente fornisce valori per study_spec_parameters_override, utilizzali per sostituire i valori delle specifiche dello studio.

    Ingresso:

    • Override facoltativo dei parametri delle specifiche dello studio study_spec_parameters_override.

    Output:

    • Elenco finale degli iperparametri e dei relativi intervalli per il job di ottimizzazione degli iperparametri.
  4. wide-and-deep-hyperparameter-tuning-job: Esegui una o più prove di ottimizzazione degli iperparametri.

    Ingresso:

    • Base di riferimento dell'istanza instance_baseline.
    • Schema di addestramento training_schema.
    • Trasforma l'output transform_output.
    • Suddivisione del treno materializzato materialized_train_split.
    • Suddivisione di valutazione materializzata materialized_eval_split.
    • Set di test materializzato materialized_test_split.
    • Elenco degli iperparametri e dei relativi intervalli per il job di ottimizzazione degli iperparametri.
  5. get-best-hyperparameter-tuning-job-trial: seleziona il modello dalla prova migliore del job di ottimizzazione degli iperparametri del passaggio precedente.

    Output:

    • Modello finale
  6. automl-tabular-infra-validator: convalida il modello addestrato inviando una richiesta di previsione e controllando se viene completato correttamente.
  7. model-upload: carica il modello dal bucket Cloud Storage dell'utente in Vertex AI come modello Vertex AI.
  8. condition-run-evaluation-2: condition-run-evaluation-2. Utilizza il set di test per calcolare le metriche di valutazione. Viene eseguita solo quando run_evaluation è impostato su true.

Passaggi successivi