Introduzione a Vertex AI

Vertex AI è una piattaforma di machine learning (ML) che ti consente di addestrare ed eseguire il deployment di modelli ML e applicazioni AI e personalizzare modelli linguistici di grandi dimensioni (LLM) da utilizzare nelle tue applicazioni basate sull'AI. Vertex AI combina i workflow di data engineering, data science e ML engineering per consentire ai team di collaborare utilizzando una serie comune di strumenti, nonché scalare le applicazioni sfruttando i vantaggi di Google Cloud.

Vertex AI fornisce varie opzioni per addestrare un modello ed eseguirne il deployment:

Dopo aver eseguito il deployment dei modelli, utilizza gli strumenti MLOps end-to-end di Vertex AI per automatizzare e scalare i progetti durante l'intero ciclo di vita ML. Questi strumenti MLOps vengono eseguiti su un'infrastruttura completamente gestita che puoi personalizzare in base alle tue esigenze di rendimento e budget.

Puoi utilizzare l'SDK Vertex AI per Python per eseguire l'intero flusso di lavoro di machine learning in Vertex AI Workbench, un ambiente di sviluppo basato su blocchi note Jupyter. Puoi collaborare con un team per sviluppare il tuo modello in Colab Enterprise, una versione di Colaboratory integrata con Vertex AI. Altre interfacce disponibili includono la console Google Cloud , lo strumento a riga di comando Google Cloud CLI, le librerie client e Terraform (supporto limitato).

Vertex AI e il flusso di lavoro di machine learning (ML)

Questa sezione fornisce una panoramica del flusso di lavoro di machine learning e di come puoi utilizzare Vertex AI per creare ed eseguire il deployment dei tuoi modelli.

diagramma del flusso di lavoro ML

  1. Preparazione dei dati: dopo aver estratto e pulito il set di dati, esegui l'analisi esplorativa dei dati (EDA) per comprendere lo schema dei dati e le caratteristiche previste dal modello ML. Applica trasformazioni dei dati efeature engineeringà al modello e suddividi i dati in set di addestramento, convalida e test.

    • Esplora e visualizza i dati utilizzando i notebook di Vertex AI Workbench. Vertex AI Workbench si integra con Cloud Storage e BigQuery per aiutarti ad accedere ed elaborare i dati più rapidamente.

    • Per i set di dati di grandi dimensioni, utilizza Dataproc Serverless Spark da un blocco note Vertex AI Workbench per eseguire i workload Spark senza dover gestire i tuoi cluster Dataproc.

  2. Addestramento del modello: scegli un metodo di addestramento per addestrare un modello e ottimizzarlo per le prestazioni.

    • Per addestrare un modello senza scrivere codice, consulta la panoramica di AutoML. AutoML supporta dati tabulari, immagini e video.

    • Per scrivere il tuo codice di addestramento e addestrare modelli personalizzati utilizzando il framework ML che preferisci, consulta la panoramica dell'addestramento personalizzato.

    • Ottimizza gli iperparametri per i modelli con addestramento personalizzato utilizzando i job di ottimizzazione personalizzata.

    • Vertex AI Vizier ottimizza gli iperparametri per te in modelli di machine learning (ML) complessi.

    • Utilizza Vertex AI Experiments per addestrare il modello utilizzando diverse tecniche di ML e confrontare i risultati.

    • Registra i modelli addestrati in Vertex AI Model Registry per il controllo delle versioni e il trasferimento alla produzione. Vertex AI Model Registry si integra con le funzionalità di convalida e deployment, come la valutazione dei modelli e gli endpoint.

  3. Valutazione e iterazione del modello: valuta il modello addestrato, apporta modifiche ai dati in base alle metriche di valutazione e itera il modello.

    • Utilizza le metriche di valutazione del modello, come precisione e richiamo, per valutare e confrontare le prestazioni dei tuoi modelli. Crea valutazioni tramite Vertex AI Model Registry o includile nel flusso di lavoro di Vertex AI Pipelines.

  4. Servizio di modelli: esegui il deployment del modello in produzione e ottieni inferenze online o esegui query direttamente per le inferenze batch.

    • Esegui il deployment del modello con addestramento personalizzato utilizzando container predefiniti o personalizzati per ottenere inferenze online in tempo reale (a volte chiamate inferenze HTTP).

    • Ottieni inferenze batch asincrone, che non richiedono il deployment negli endpoint.

    • Il runtime TensorFlow ottimizzato ti consente di pubblicare modelli TensorFlow a un costo inferiore e con una latenza inferiore rispetto ai container di pubblicazione TensorFlow precompilati basati su open source.

    • Per i casi di pubblicazione online con modelli tabellari, utilizza Vertex AI Feature Store per pubblicare le caratteristiche da un repository centrale e monitorare l'integrità delle caratteristiche.

    • Vertex Explainable AI ti aiuta a capire in che modo ogni caratteristica contribuisce all'inferenza del modello (attribuzione delle caratteristiche) e a trovare dati etichettati in modo errato dal set di dati di addestramento (spiegazione basata su esempi).

    • Esegui il deployment e ottieni inferenze online per i modelli addestrati con BigQuery ML.

  5. Monitoraggio del modello: monitora le prestazioni del modello di cui è stato eseguito il deployment. Utilizza i dati di inferenza in entrata per eseguire il retraining del modello e migliorare le prestazioni.

    • Vertex AI Model Monitoring monitora i modelli per il disallineamento tra addestramento e gestione e la deviazione dell'inferenza e ti invia avvisi quando i dati di inferenza in entrata si discostano troppo dalla baseline di addestramento.

Passaggi successivi