Introduzione a Vertex AI

Vertex AI è una piattaforma di machine learning (ML) che consente di addestrare ed eseguire il deployment di modelli ML e applicazioni IA, nonché di personalizzare i modelli linguistici di grandi dimensioni (LLM) da utilizzare nelle applicazioni basate sull'IA. Vertex AI combina flussi di lavoro di data engineering, data science e ML engineering, consentendo ai tuoi team di collaborare utilizzando un set di strumenti comune e scalare le applicazioni sfruttando i vantaggi di Google Cloud.

Vertex AI offre diverse opzioni per l'addestramento e il deployment dei modelli:

  • AutoML ti consente di addestrare dati tabulari, di immagini, testo o video senza scrivere codice o preparare le suddivisioni dei dati.

  • L'addestramento personalizzato offre il controllo completo sul processo di addestramento, compresi l'utilizzo del framework ML preferito, la scrittura di codice di addestramento personalizzato e la scelta delle opzioni di ottimizzazione degli iperparametri.

  • Model Garden consente di scoprire, testare, personalizzare ed eseguire il deployment di Vertex AI e selezionare modelli e asset open source (OSS).

  • L'IA generativa consente di accedere ai modelli di IA generativa di grandi dimensioni di Google per molteplici modalità (testo, codice, immagini, parlato). Puoi ottimizzare gli LLM di Google in base alle tue esigenze, quindi eseguirne il deployment per l'utilizzo nelle tue applicazioni basate sull'AI.

Dopo aver eseguito il deployment dei modelli, usa gli strumenti MLOps end-to-end di Vertex AI per automatizzare e scalare i progetti durante il ciclo di vita ML. Questi strumenti MLOps vengono eseguiti su un'infrastruttura completamente gestita che puoi personalizzare in base alle tue esigenze di prestazioni e budget.

Puoi utilizzare l'SDK Vertex AI per Python per eseguire l'intero flusso di lavoro di machine learning in Vertex AI Workbench, un ambiente di sviluppo Jupyter basato su blocchi note. Puoi collaborare con un team per sviluppare il tuo modello in Colab Enterprise, una versione di Colaboratory integrata con Vertex AI. Altre interfacce disponibili includono la Google Cloud Console, lo strumento a riga di comando gcloud, le librerie client e Terraform (supporto limitato).

Flusso di lavoro di Vertex AI e machine learning (ML)

Questa sezione fornisce una panoramica del flusso di lavoro di machine learning e di come puoi usare Vertex AI per creare modelli ed eseguirne il deployment.

diagramma del flusso di lavoro ML

  1. Preparazione dei dati: dopo aver estratto e ripulito il set di dati, esegui l'analisi esplorativa dei dati (EDA) per comprendere lo schema di dati e le caratteristiche previste dal modello di ML. Applica al modello le trasformazioni dei dati e il feature engineering e suddividi i dati in set di addestramento, convalida e test.

    • Esplora e visualizza i dati utilizzando i blocchi note di Vertex AI Workbench. Vertex AI Workbench si integra con Cloud Storage e BigQuery per aiutarti ad accedere ai dati ed elaborarli più rapidamente.

    • Per set di dati di grandi dimensioni, utilizza Dataproc Serverless Spark da un blocco note Vertex AI Workbench per eseguire carichi di lavoro Spark senza dover gestire i tuoi cluster Dataproc.

  2. Addestramento di un modello: scegli un metodo di addestramento per addestrare un modello e ottimizzarlo per le prestazioni.

    • Per addestrare un modello senza scrivere codice, consulta la panoramica di AutoML. AutoML supporta dati tabulari, di immagini, testo e video.

    • Per scrivere il tuo codice di addestramento e addestrare modelli personalizzati utilizzando il framework ML che preferisci, consulta la panoramica sull'addestramento personalizzato.

    • Ottimizza gli iperparametri per i modelli addestrati personalizzati utilizzando job di ottimizzazione personalizzati.

    • Vertex AI Vizier ottimizza automaticamente gli iperparametri in modelli complessi di machine learning (ML).

    • Usa Vertex AI Experiments per addestrare il modello utilizzando diverse tecniche di ML e confrontare i risultati.

    • Registra i tuoi modelli addestrati in Vertex AI Model Registry per il controllo delle versioni e il passaggio alla produzione. Vertex AI Model Registry si integra con funzionalità di convalida e deployment, come la valutazione dei modelli e gli endpoint.

  3. Valutazione e iterazione del modello: valuta il modello addestrato, apporta aggiustamenti ai tuoi dati in base alle metriche di valutazione ed esegui l'iterazione del modello.

    • Utilizza le metriche di valutazione del modello, come precisione e richiamo, per valutare e confrontare le prestazioni dei tuoi modelli. Crea valutazioni tramite Vertex AI Model Registry o includile nel flusso di lavoro di Vertex AI Pipelines.
  4. Pubblicazione del modello: esegui il deployment del modello in produzione e ottieni previsioni.

    • Esegui il deployment del tuo modello con addestramento personalizzato utilizzando container prebuilt o personalizzati per ricevere previsioni online in tempo reale (talvolta chiamata previsione HTTP).

    • Ricevi previsioni batch asincrone, che non richiedono il deployment negli endpoint.

    • Il runtime TensorFlow ottimizzato consente di pubblicare i modelli TensorFlow a un costo inferiore e con una latenza inferiore rispetto ai container predefiniti di TensorFlow Serving basati su open source.

    • Per le richieste di pubblicazione online con modelli tabulari, utilizza Vertex AI Feature Store per gestire le funzionalità da un repository centrale e monitorarne l'integrità.

    • Vertex Explainable AI ti aiuta a comprendere in che modo ogni caratteristica contribuisce alla previsione del modello (attribuzione delle caratteristiche) e a trovare dati etichettati in modo errato dal set di dati di addestramento (spiegazione basata su esempi).

    • Esegui il deployment e ottieni previsioni online per modelli addestrati con BigQuery ML.

  5. Monitoraggio del modello: monitora le prestazioni del modello di cui hai eseguito il deployment. Utilizza i dati di previsione in arrivo per riaddestrare il modello e migliorare le prestazioni.

    • Vertex AI Model Monitoring monitora i modelli per il disallineamento addestramento/produzione e la deviazione della previsione e invia avvisi quando i dati di previsione in arrivo si discostano troppo dalla base di addestramento.

Passaggi successivi