Introduzione a Vertex AI

Vertex AI è una piattaforma di machine learning (ML) che consente di addestrare ed eseguire il deployment di modelli ML e applicazioni di IA, nonché di personalizzare i modelli linguistici di grandi dimensioni (LLM) da utilizzare nelle applicazioni basate sull'IA. Vertex AI combina flussi di lavoro di data engineering, data science e ML engineering consentendo ai tuoi team di collaborare utilizzando un set di strumenti comune e scalare le applicazioni sfruttando i vantaggi di Google Cloud.

Vertex AI offre diverse opzioni per l'addestramento e il deployment dei modelli:

  • AutoML consente di addestrare dati tabulari, di immagine, testo o video senza scrivere codice o preparare suddivisioni di dati.

  • L'addestramento personalizzato offre il controllo completo sul processo di addestramento, tra cui l'utilizzo del framework ML preferito, la scrittura del codice di addestramento e la scelta delle opzioni di ottimizzazione degli iperparametri.

  • Model Garden consente di scoprire, testare, personalizzare ed eseguire il deployment di Vertex AI, nonché di selezionare modelli e asset open source (OSS).

  • L'IA generativa ti dà accesso ai grandi modelli di IA generativa di Google per diverse modalità (testo, codice, immagini, parlato). Puoi ottimizzare gli LLM di Google in base alle tue esigenze e poi eseguirne il deployment per l'utilizzo nelle tue applicazioni basate sull'AI.

Dopo aver eseguito il deployment dei modelli, utilizza gli strumenti MLOps end-to-end di Vertex AI per automatizzare e scalare i progetti durante il ciclo di vita del machine learning. Questi strumenti MLOps vengono eseguiti su un'infrastruttura completamente gestita che puoi personalizzare in base alle tue esigenze di prestazioni e budget.

Puoi utilizzare l'SDK Vertex AI per Python per eseguire l'intero flusso di lavoro di machine learning in Vertex AI Workbench, un ambiente di sviluppo basato su blocchi note Jupyter. Puoi collaborare con un team per sviluppare il tuo modello in Colab Enterprise, una versione di Colaboratory integrata con Vertex AI. Altre interfacce disponibili includono la Google Cloud Console, lo strumento a riga di comando gcloud, le librerie client e Terraform (supporto limitato).

Vertex AI e il flusso di lavoro di machine learning (ML)

Questa sezione fornisce una panoramica del flusso di lavoro di machine learning e di come puoi utilizzare Vertex AI per creare ed eseguire il deployment dei tuoi modelli.

diagramma del flusso di lavoro ML

  1. Preparazione dei dati: dopo aver estratto e pulito il set di dati, esegui l'analisi esplorativa dei dati (EDA) per comprendere lo schema dei dati e le caratteristiche previste dal modello ML. Applica le trasformazioni dei dati e il feature engineering al modello e suddividi i dati in set di addestramento, convalida e test.

    • Esplora e visualizza i dati con i blocchi note di Vertex AI Workbench. Vertex AI Workbench si integra con Cloud Storage e BigQuery per aiutarti ad accedere ai tuoi dati ed elaborarli più velocemente.

    • Per set di dati di grandi dimensioni, utilizza Dataproc Serverless Spark da un blocco note di Vertex AI Workbench per eseguire carichi di lavoro Spark senza dover gestire i tuoi cluster Dataproc.

  2. Addestramento del modello: scegli un metodo di addestramento per addestrare un modello e ottimizzalo per le prestazioni.

    • Per addestrare un modello senza scrivere codice, consulta la panoramica di AutoML. AutoML supporta dati tabulari, di immagine, testo e video.

    • Per scrivere il codice di addestramento e addestrare modelli personalizzati utilizzando il framework ML che preferisci, consulta la Panoramica dell'addestramento personalizzato.

    • Ottimizza gli iperparametri per i modelli con addestramento personalizzato utilizzando job di ottimizzazione personalizzati.

    • Vertex AI Vizier ottimizza gli iperparametri per te in modelli di machine learning (ML) complessi.

    • Usa Vertex AI Experiments per addestrare il tuo modello con diverse tecniche di ML e confrontare i risultati.

    • Registra i tuoi modelli addestrati in Vertex AI Model Registry per il controllo delle versioni e il passaggio alla produzione. Vertex AI Model Registry si integra con funzionalità di convalida e deployment,

  3. Valutazione e iterazione del modello: valuta il modello addestrato, apporta modifiche ai dati in base alle metriche di valutazione ed esegui l'iterazione sul modello.

    • Utilizzare le metriche di valutazione del modello, come precisione e richiamo, per valutare e confrontare le prestazioni dei modelli. Crea valutazioni tramite Vertex AI Model Registry oppure includile nel tuo flusso di lavoro Vertex AI Pipelines.

  4. Distribuzione del modello: esegui il deployment del modello in produzione e ricevi previsioni.

    • Esegui il deployment del tuo modello con addestramento personalizzato utilizzando container prebuilt o personalizzati per ottenere previsioni online in tempo reale (a volte chiamate previsione HTTP).

    • Ottieni previsioni batch asincrone, che non richiedono il deployment negli endpoint.

    • Il runtime TensorFlow ottimizzato ti consente di pubblicare modelli TensorFlow a un costo inferiore e con una latenza inferiore rispetto ai container TensorFlow Serving predefiniti basati su open source.

    • Per casi di distribuzione online con modelli tabulari, utilizza Vertex AI Feature Store per gestire le caratteristiche da un repository centrale e monitorare l'integrità delle caratteristiche.

    • Vertex Explainable AI aiuta a comprendere in che modo ciascuna caratteristica contribuisce alla previsione del modello (attribuzione delle caratteristiche) e a trovare dati etichettati in modo errato dal set di dati di addestramento (spiegazione basata su esempi).

    • Esegui il deployment e ricevi previsioni online per i modelli addestrati con BigQuery ML.

  5. Monitoraggio del modello: monitora le prestazioni del modello di cui hai eseguito il deployment. Utilizza i dati di previsione in arrivo per riaddestrare il modello e migliorare le prestazioni.

    • Vertex AI Model Monitoring monitora i modelli per rilevare il disallineamento tra addestramento e distribuzione e la deviazione della previsione e invia avvisi quando i dati di previsione in arrivo sono troppo distanti dalla base di riferimento dell'addestramento.

Passaggi successivi