Tabular Workflows su Vertex AI

I flussi di lavoro tabulari sono un insieme di pipeline integrate, completamente gestite e scalabili per il ML end-to-end con dati tabulari. Sfrutta la tecnologia di Google per creare modelli sviluppo e offre opzioni di personalizzazione su misura per le tue esigenze.

Vantaggi

  • Completamente gestito: non devi preoccuparti di aggiornamenti, dipendenze e conflitti.
  • Facile da scalare: non è necessario riprogettare l'infrastruttura man mano che i carichi di lavoro o i set di dati aumentano.
  • Ottimizzato per le prestazioni: viene configurato automaticamente l'hardware giusto in base ai requisiti del flusso di lavoro.
  • Integrazione profonda: la compatibilità con i prodotti della suite MLOps di Vertex AI, come Vertex AI Pipelines e Vertex AI Experiments, ti consente di eseguire molti esperimenti in poco tempo.

Panoramica tecnica

Ogni flusso di lavoro è un'istanza gestita di Vertex AI Pipelines.

Vertex AI Pipelines è un servizio serverless che esegue le pipeline Kubeflow. Puoi usare le pipeline per automatizzare e monitorare le attività di machine learning e preparazione dei dati. Ogni passaggio di una pipeline esegue parte del flusso di lavoro della pipeline. Ad esempio: una pipeline può includere passaggi per suddividere i dati, trasformare i tipi di dati e addestrare un modello. Poiché i passaggi sono istanze di componenti della pipeline, hanno input, output e un'immagine container. Gli input dei passaggi possono essere impostati dagli input della pipeline o possono dipendere dall'output di altri passaggi all'interno di questa pipeline. Queste dipendenze definiscono il flusso di lavoro della pipeline come grafo diretti aciclico.

flussi di lavoro tabulari come grafo diretto aciclico

Come iniziare

Nella maggior parte dei casi, devi definire ed eseguire la pipeline utilizzando SDK dei componenti della pipeline di Google Cloud. Le seguenti codice campione fornisce un'illustrazione. Tieni presente che l'implementazione effettiva del codice potrebbe essere diversa.

  // Define the pipeline and the parameters
  template_path, parameter_values = tabular_utils.get_default_pipeline_and_parameters(
     …
      optimization_objective=optimization_objective,
      data_source=data_source,
      target_column_name=target_column_name
     …)

  // Run the pipeline
  job = pipeline_jobs.PipelineJob(..., template_path=template_path, parameter_values=parameter_values)
  job.run(...)

Per colab e notebook di esempio, contatta il tuo rappresentante di vendita o compila un modulo di richiesta.

Controllo delle versioni e manutenzione

I flussi di lavoro tabulari hanno un sistema di gestione delle versioni efficace che consente aggiornamenti e miglioramenti continui senza interrompere le modifiche alle applicazioni.

Ogni flusso di lavoro viene rilasciato e aggiornato nell'ambito dell'SDK Google Cloud Pipeline Components. Aggiornamenti e modifiche a qualsiasi flusso di lavoro vengono rilasciate come nuove versioni un flusso di lavoro di machine learning. Le versioni precedenti di ogni flusso di lavoro sono sempre disponibili tramite le versioni precedenti dell'SDK. Se la versione dell'SDK è bloccata, lo è anche la versione del flusso di lavoro.

Flussi di lavoro disponibili

Vertex AI fornisce i seguenti flussi di lavoro tabulari:

Nome Tipo Disponibilità
Motore di trasformazione delle caratteristiche Feature Engineering Anteprima pubblica
AutoML end-to-end Classificazione e regressione Generalmente disponibile
TabNet Classificazione e Regressione Anteprima pubblica
Wide and Deep Classificazione e regressione Anteprima pubblica
Previsione Previsione Anteprima pubblica

Per ulteriori informazioni e notebook di esempio, contatta il tuo rappresentante di vendita o compila un modulo di richiesta.

Motore di trasformazione delle caratteristiche

Il motore di trasformazione delle caratteristiche esegue la selezione delle caratteristiche e le trasformazioni delle caratteristiche. Se la selezione delle caratteristiche è abilitata, il motore di trasformazione delle caratteristiche crea un insieme classificato di le funzionalità di machine learning. Se le trasformazioni delle funzionalità sono attivate, il motore di trasformazione delle funzionalità elabora le funzionalità per garantire la coerenza dell'input per l'addestramento e il servizio del modello. Feature Transform Engine può essere utilizzato da solo o insieme a uno dei flussi di lavoro di addestramento tabulari. Supporta sia i framework TensorFlow che quelli non TensorFlow.

Per ulteriori informazioni, consulta Feature engineering.

Flussi di lavoro tabulari per classificazione e regressione

Flusso di lavoro tabulare per AutoML end-to-end

Il flusso di lavoro tabulare per AutoML end-to-end è una pipeline AutoML completa per attività di classificazione e regressione. È simile API AutoML, ma consente di scegliere cosa controllare e cosa automatizzare. Invece di avere controlli per l'intera pipeline, hai controlli per ogni passaggio della pipeline. Questi controlli della pipeline includono:

  • Suddivisione dei dati
  • Feature engineering
  • Ricerca dell'architettura
  • Addestramento del modello
  • Assemblaggio del modello
  • Distillazione del modello

Vantaggi

  • Supporta set di dati di grandi dimensioni con dimensioni diverse da più TB e fino a 1000 colonne.
  • Consente di migliorare la stabilità e ridurre i tempi di addestramento limitando lo spazio di ricerca per i tipi di architettura o saltando questa ricerca.
  • Consente di migliorare la velocità di addestramento selezionando manualmente l'hardware utilizzato per l'addestramento e la ricerca dell'architettura.
  • Consente di ridurre le dimensioni del modello e migliorare la latenza mediante la distillazione o modificando le dimensioni dell'ensemble.
  • Ogni componente AutoML può essere esaminato in una potente interfaccia di grafici delle pipeline che ti consente di visualizzare le tabelle di dati trasformati, le architetture dei modelli valutate e molti altri dettagli.
  • Ogni componente AutoML offre flessibilità e trasparenza estese, ad esempio la possibilità di personalizzare parametri, hardware, visualizzare stato di processo, log e altro ancora.

Ingresso-uscita

  • Prende una tabella BigQuery o un file CSV da Cloud Storage come input.
  • Genera un modello Vertex AI come output.
  • Gli output intermedi includono le statistiche del set di dati e le suddivisioni del set di dati.

Per ulteriori informazioni, vedi Tabular Workflow for end-to-end AutoML (Flusso di lavoro tabulare per AutoML end-to-end).

Flusso di lavoro tabulare per TabNet

Il flusso di lavoro tabulare per TabNet è una pipeline che puoi utilizzare per addestrare modelli di classificazione o regressione. TabNet utilizza l'attenzione sequenziale per scegliere le caratteristiche su cui basare il ragionamento in ogni fase decisionale. Ciò favorisce l'interpretabilità un apprendimento più efficiente perché la capacità di apprendimento viene utilizzata per le caratteristiche più importanti.

Vantaggi

  • Seleziona automaticamente lo spazio di ricerca degli iperparametri appropriato in base alle dimensioni del set di dati, al tipo di previsione e al budget di addestramento.
  • Integrazione con Vertex AI. Il modello addestrato è un modello Vertex AI. Puoi eseguire previsioni batch o eseguire subito il deployment del modello per le previsioni online.
  • Fornisce un'interpretabilità intrinseca del modello. Puoi ottenere informazioni sulle funzionalità utilizzate da TabNet per prendere la decisione.
  • Supporta l'addestramento delle GPU.

Input-Output

Prende una tabella BigQuery o un file CSV da Cloud Storage come input e fornisce un modello Vertex AI come output.

Per ulteriori informazioni, vedi Flusso di lavoro tabulare per TabNet.

Flusso di lavoro tabulare per Wide and Profondo

Flusso di lavoro tabulare per Wide and Deep è una pipeline che puoi utilizzare per addestrare di classificazione o regressione. Grandangolare e Deep addestra congiuntamente modelli lineari ampi e in reti neurali profonde. Combina i vantaggi della memorizzazione e della generalizzazione. In alcuni esperimenti online, i risultati hanno mostrato che Wide & Deep ha incrementato in modo significativo le acquisizioni di applicazioni del Google Store rispetto ai modelli solo wide e solo deep.

Vantaggi

  • Integrazione con Vertex AI. Il modello addestrato è un modello Vertex AI. Puoi eseguire previsioni batch o eseguire subito il deployment del modello per le previsioni online.

Ingresso-uscita

Prende una tabella BigQuery o un file CSV da Cloud Storage come input e fornisce un modello Vertex AI come output.

Per saperne di più, consulta Flusso di lavoro tabulare per Wide & Deep.

Flussi di lavoro tabulari per la previsione

Flusso di lavoro tabulare per la previsione

Il flusso di lavoro tabulare per la previsione è la pipeline completa per le attività di previsione. È simile API AutoML, ma consente di scegliere cosa controllare e cosa automatizzare. Invece di dover per l'intera pipeline, hai a disposizione dei controlli per ogni passaggio una pipeline o un blocco note personalizzato. Questi controlli della pipeline includono:

  • Suddivisione dei dati
  • Feature engineering
  • Ricerca dell'architettura
  • Addestramento del modello
  • Ensemble di modelli

Vantaggi

  • Supporta set di dati di grandi dimensioni fino a 1 TB e con un massimo di 200 colonne.
  • Ti consente di migliorare la stabilità e ridurre i tempi di addestramento limitando lo spazio di ricerca dei tipi di architettura o saltando la ricerca dell'architettura.
  • Ti consente di migliorare la velocità di addestramento selezionando manualmente l'hardware utilizzato per l'addestramento e la ricerca dell'architettura.
  • Per alcuni metodi di addestramento del modello, ti consente di ridurre le dimensioni del modello e migliorare la latenza modificando le dimensioni dell'ensemble.
  • Ogni componente può essere ispezionato in una potente interfaccia a grafico delle pipeline che ti consente di vedere le tabelle di dati trasformati, le architetture dei modelli valutate e molti altri dettagli.
  • Ogni componente offre flessibilità e trasparenza estese, ad esempio la possibilità di personalizzare parametri, hardware, visualizzare lo stato del processo, i log e altro ancora.

Ingresso-uscita

  • Prende una tabella BigQuery o un file CSV da Cloud Storage come input.
  • Genera un modello Vertex AI come output.
  • Gli output intermedi includono le statistiche e le suddivisioni dei set di dati.

Per ulteriori informazioni, consulta Flusso di lavoro tabulare per la previsione.

Passaggi successivi