Esplora i modelli AI in Model Garden

Model Garden nella console Google Cloud è una libreria di modelli ML che consente di scoprire, testare, personalizzare ed eseguire il deployment di modelli e asset OSS di proprietà di Google e selezionati.

Gli argomenti seguenti introducono i modelli AI disponibili in Model Garden e come utilizzarli.

Esplora i modelli

Per visualizzare l'elenco dei modelli di base Vertex AI e open source, ottimizzabili e specifici per le attività disponibili, vai alla pagina di Model Garden nella console Google Cloud.

Vai a Model Garden

Le categorie di modelli disponibili in Model Garden sono:

Categoria Descrizione
Modelli di base Modelli di grandi dimensioni multitasking preaddestrati che possono essere ottimizzati o personalizzati per attività specifiche utilizzando Vertex AI Studio, l'API Vertex AI e l'SDK Vertex AI per Python.
Modelli ottimizzabili Modelli che puoi ottimizzare utilizzando un blocco note o una pipeline personalizzati.
Soluzioni specifiche per le attività La maggior parte di questi modelli predefiniti è pronta per l'uso. Molti possono essere personalizzati utilizzando i tuoi dati.

Per filtrare i modelli nel riquadro dei filtri, specifica quanto segue:

  • Modalità: fai clic sulle modalità (tipi di dati) che vuoi includere nel modello.
  • Attività: fai clic sull'attività che vuoi venga eseguita dal modello.
  • Funzionalità: fai clic sulle caratteristiche che vuoi includere nel modello.

Per saperne di più su ciascun modello, fai clic sulla relativa scheda.

Modelli disponibili in Model Garden

Puoi trovare i modelli proprietari di Google e selezionare modelli open source in Model Garden.

Elenco dei modelli proprietari di Google

La seguente tabella elenca i modelli proprietari di Google disponibili in Model Garden:

Nome modello Modalità Descrizione Guide rapide
Gemini 1.0 Pro Lingua Progettato per gestire attività con linguaggio naturale, chat di testo e codice in più passaggi e generazione di codice. Scheda del modello
Gemini 1.0 Pro Vision Lingua, visione Modello multimodale che supporta l'aggiunta di immagini e video in prompt di testo o chat per una risposta di testo o codice. Scheda del modello
PaLM 2 per il testo Lingua È ottimizzato per seguire le istruzioni del linguaggio naturale ed è adatto a una varietà di attività relative alle lingue. Scheda del modello
PaLM 2 per la chat Lingua Ottimizzato per condurre conversazioni naturali. Usa questo modello per creare e personalizzare la tua applicazione chatbot. Scheda del modello
Codey per il completamento del codice Lingua Genera codice in base a richieste di codice. Ideale per suggerimenti di codice e riduzione al minimo dei bug nel codice. Scheda del modello
Codey per la generazione del codice Lingua Genera codice basato su input in linguaggio naturale. Ideale per scrivere funzioni, corsi, test delle unità e altro ancora. Scheda del modello
Codey per la chat di codice Lingua Ricevi assistenza relativa al codice tramite conversazioni naturali. Ideale per domande su un'API, sintassi in una lingua supportata e altro ancora. Scheda del modello
Incorporamenti per il testo Lingua Converte i dati testuali in vettori numerici che possono essere elaborati dagli algoritmi di machine learning, in particolare i modelli di grandi dimensioni. Scheda del modello
Imagen per la generazione di immagini Visione artificiale Crea o modifica immagini di livello professionale su larga scala utilizzando i prompt di testo. Scheda del modello
Imagen per sottotitoli e VQA Lingua Genera una descrizione pertinente per una determinata immagine. Scheda del modello
Incorporamenti per multimodale Visione artificiale Genera vettori basati su immagini, che possono essere utilizzati per attività downstream come la classificazione e la ricerca di immagini. Scheda del modello
Sec-PaLM2 Lingua Preaddestrato su una serie di attività specifiche per la sicurezza, come intelligence sulle minacce, operazioni di sicurezza e analisi dei malware. Scheda del modello
Cicalino Parlato Una versione di un Universal Speech Model con oltre 2 miliardi di parametri e in grado di eseguire trascrizioni in oltre 100 lingue all'interno di un singolo modello. Scheda del modello

Elenco di modelli con ottimizzazione open source o ricette di pubblicazione in Model Garden

Nella tabella seguente sono elencati i modelli OSS che supportano l'ottimizzazione o la pubblicazione di ricette open source in Model Garden:

Nome modello Modalità Descrizione Guida rapida
Gemma Lingua Modelli a peso aperto (2B, 7B) basati sulla stessa ricerca e tecnologia utilizzati per creare i modelli Gemini di Google. Scheda del modello
Vicuna v1.5 Lingua Esegui il deployment dei modelli della serie Vicuna v1.5, che sono modelli di base perfezionati da LLama2 per la generazione di testo. Scheda del modello
NLLB Lingua Esegui il deployment dei modelli della serie LLB per la traduzione in più lingue. Scheda del modello
Colab
Mistral-7B Lingua Esegui il deployment di Mistral-7B, un modello di base per la generazione di testo. Scheda del modello
Colab
BioGPT Lingua Esegui il deployment di BioGPT, un modello testuale generativo per il dominio biomedico. Scheda del modello
Colab
BiomedCLIP Lingua, visione Esegui il deployment di BiomedCLIP, un modello di base multimodale per il dominio biomedico. Scheda del modello
Colab
ImageBind Lingua, visione artificiale,
audio
Esegui il deployment di ImageBind, un modello di base per l'incorporamento multimodale. Scheda del modello
Colab
DITO Lingua, visione Perfeziona ed esegui il deployment di DITO, un modello di base multimodale per attività di rilevamento di oggetti vocabolari aperti. Scheda del modello
Colab
OWL-ViT v2 Lingua, visione Esegui il deployment di OWL-ViT v2, un modello di base multimodale per attività aperte di rilevamento di oggetti del vocabolario. Scheda del modello
Colab
FaceStylizer (Mediapipe) Visione artificiale Una pipeline generativa per trasformare le immagini dei volti umani in un nuovo stile. Scheda del modello
Colab
Llama 2 Lingua Perfeziona ed esegui il deployment dei modelli di base Llama 2 di Meta (7B, 13B, 70B) su Vertex AI. Scheda del modello
Code Llama Lingua Esegui il deployment dei modelli di base Code Llama di Meta (7B, 13B, 34B) su Vertex AI. Scheda del modello
Istruttore di falcon Lingua Perfeziona ed esegui il deployment dei modelli Falcon-instruct (7B, 40B) utilizzando PEFT. Colab
Scheda del modello
OpenLLaMA Lingua Perfeziona ed esegui il deployment di modelli OpenLLaMA (3B, 7B, 13B) tramite PEFT. Colab
Scheda del modello
T5-FLAN Lingua Ottimizzare e implementare T5-FLAN (base, piccolo, grande). Scheda del modello (pipeline di ottimizzazione inclusa)
BERT Lingua Perfeziona ed esegui il deployment di BERT tramite PEFT. Colab
Scheda del modello
BART-large-cnn Lingua Esegui il deployment di BART, un modello encoder-encoder (seq2seq) con trasformatore bidirezionale (simile a BERT) e un decoder autoregressivo (simile a GPT). Colab
Scheda del modello
RoBERTa-large Lingua Perfeziona ed esegui il deployment di RoBERTa-large mediante PEFT. Colab
Scheda del modello
XLM-RoBERTa-large Lingua Perfeziona ed esegui il deployment di XLM-RoBERTa-large (una versione multilingue di RoBERTa) utilizzando PEFT. Colab
Scheda del modello
Carrello-v2-7b Lingua Esegui il deployment di Dolly-v2-7b, un modello linguistico di grandi dimensioni che segue le istruzioni e con 6,9 miliardi di parametri. Colab
Scheda del modello
Stabile Diffusion XL v1.0 Lingua, visione Esegui il deployment di Stable Diffusion XL v1.0, che supporta la generazione da testo a immagine. Colab
Scheda del modello
Stable Diffusion v2.1 Lingua, visione Ottimizza e distribuisci Stable Diffusion v2.1 (supporta la generazione da testo a immagine) utilizzando Dreambooth. Colab
Scheda del modello
Perfezionatore di diffusione stabile 4x Lingua, visione Esegui il deployment dell'opzione di scaletta Stable Diffusion 4x, che supporta la superrisoluzione delle immagini condizionate dal testo. Colab
Scheda del modello
InstructPix2Pix Lingua, visione Esegui il deployment di InstructPix2Pix, che supporta la modifica delle immagini utilizzando un prompt di testo. Colab
Scheda del modello
Inpainting per diffusione stabile Lingua, visione Ottimizza ed esegui il deployment di Stable Diffusion Inpainting, che supporta l'inpainting di un'immagine mascherata utilizzando un prompt di testo. Colab
Scheda del modello
SAM Lingua, visione Esegui il deployment di Segment Anything, che supporta la segmentazione delle immagini zero-shot. Colab
Scheda del modello
Da testo a video (ModelScope) Lingua, visione Esegui il deployment da testo a video di ModelScope, che supporta la generazione da testo a video. Colab
Scheda del modello
Zero-shot da testo a video Lingua, visione Implementazione di generatori da testo a video di Stable Diffusion che supportano la generazione da testo a video zero-shot. Colab
Scheda del modello
Recupero di immagini create in Pic2Word Lingua, visione Esegui il deployment di Pic2Word, che supporta il recupero di immagini composto da immagini multimodali. Colab
Scheda del modello
BLIP2 Lingua, visione Distribuisci BLIP2, che supporta le didascalie delle immagini e la risposta a domande visive. Colab
Scheda del modello
Apri-CLIP Lingua, visione Ottimizzare ed eseguire il deployment di Open-CLIP, che supporta la classificazione zero-shot. Colab
Scheda del modello
F-VLM Lingua, visione Esegui il deployment di F-VLM, che supporta il rilevamento di oggetti immagine aperti. Colab
Scheda del modello
tfhub/EfficientNetV2 Visione artificiale Perfeziona ed esegui il deployment dell'implementazione Tensorflow Vision del modello di classificazione delle immagini EfficientNetV2. Colab
Scheda del modello
TIMM (EfficientNetV2) Visione artificiale Perfeziona ed esegui il deployment dell'implementazione PyTorch del modello di classificazione delle immagini EfficientNetV2. Colab
Scheda del modello
Proprietario/EfficientNetV2 Visione artificiale Perfeziona ed esegui il deployment del checkpoint di proprietà di Google del modello di classificazione delle immagini EfficientNetV2. Colab
Scheda del modello
EfficientNetLite (MediaPipe) Visione artificiale Perfeziona il modello di classificazione delle immagini EfficientNetLite tramite il creatore di modelli MediaPipe. Colab
Scheda del modello
tfvision/vit Visione artificiale Perfeziona ed esegui il deployment dell'implementazione di TensorFlow Vision del modello di classificazione delle immagini ViT. Colab
Scheda del modello
ViT (TIMM) Visione artificiale Perfeziona ed esegui il deployment dell'implementazione PyTorch del modello di classificazione delle immagini ViT. Colab
Scheda del modello
Proprietario/ViT Visione artificiale Perfeziona ed esegui il deployment del checkpoint di proprietà di Google del modello di classificazione delle immagini ViT. Colab
Scheda del modello
Proprietario/MaxViT Visione artificiale Perfeziona ed esegui il deployment del checkpoint di proprietà di Google del modello di classificazione delle immagini ibrido (CNN + ViT) MaxViT. Colab
Scheda del modello
ViT (JAX) Visione artificiale Perfezionare ed eseguire il deployment dell'implementazione JAX del modello di classificazione delle immagini ViT. Colab
Scheda del modello
tfvision/SpineNet Visione artificiale Perfeziona ed esegui il deployment dell'implementazione Tensorflow Vision del modello di rilevamento degli oggetti SpineNet. Colab
Scheda del modello
Proprietario/Spinenet Visione artificiale Perfeziona ed esegui il deployment del checkpoint di proprietà di Google del modello di rilevamento degli oggetti SpineNet. Colab
Scheda del modello
tfvision/YOLO Visione artificiale Perfeziona ed esegui il deployment dell'implementazione di TensorFlow Vision del modello di rilevamento degli oggetti a una fase di YOLO. Colab
Scheda del modello
Proprietario/YOLO Visione artificiale Metti a punto ed esegui il deployment del checkpoint di proprietà di Google del modello di rilevamento degli oggetti a una fase di YOLO. Colab
Scheda del modello
YOLOv8 (Keras) Visione artificiale Ottimizzare ed eseguire il deployment dell'implementazione Keras del modello YOLOv8 per il rilevamento degli oggetti. Colab
Scheda del modello
tfvision/YOLOv7 Visione artificiale Perfeziona ed esegui il deployment del modello YOLOv7 per il rilevamento di oggetti. Colab
Scheda del modello
Monitoraggio oggetti video ByteTrack Visione artificiale Esegui la previsione batch per il monitoraggio degli oggetti video utilizzando il tracker ByteTrack. Colab
Scheda del modello
ResNeSt (TIMM) Visione artificiale Perfeziona ed esegui il deployment dell'implementazione PyTorch del modello di classificazione delle immagini ResNeSt. Colab
Scheda del modello
ConvNeXt (TIMM) Visione artificiale Perfeziona ed esegui il deployment di ConvNeXt, un modello convoluzionale puro per la classificazione delle immagini ispirato al design di Vision Transformers. Colab
Scheda del modello
CspNet (TIMM) Visione artificiale Perfeziona ed esegui il deployment del modello di classificazione delle immagini CSPNet (Cross Stage Partial Network). Colab
Scheda del modello
Inception (TIMM) Visione artificiale Perfeziona ed esegui il deployment del modello di classificazione delle immagini Inception. Colab
Scheda del modello
DeepLabv3+ (con checkpoint) Visione artificiale Perfeziona ed esegui il deployment del modello DeepLab-v3 Plus per la segmentazione semantica delle immagini. Colab
Scheda del modello
R-CNN più veloce (Detectron2) Visione artificiale Ottimizza ed esegui il deployment dell'implementazione Detectron2 del modello R-CNN più veloce per il rilevamento di oggetti immagine. Colab
Scheda del modello
RetinaNet (Detectron2) Visione artificiale Ottimizzare e implementare l'implementazione Detectron2 del modello RetinaNet per il rilevamento di oggetti immagine. Colab
Scheda del modello
Maschera R-CNN (Detectron2) Visione artificiale Ottimizzare e implementare l'implementazione Detectron2 del modello Mask R-CNN per il rilevamento e la segmentazione degli oggetti immagine. Colab
Scheda del modello
ControlNet Visione artificiale Perfeziona ed esegui il deployment del modello di generazione da testo a immagine ControlNet. Colab
Scheda del modello
MobileNet (TIMM) Visione artificiale Perfeziona ed esegui il deployment dell'implementazione PyTorch del modello di classificazione delle immagini MobileNet. Colab
Scheda del modello
Classificazione delle immagini MobileNetV2 (MediaPipe) Visione artificiale Perfeziona il modello di classificazione delle immagini MobileNetV2 utilizzando il creatore di modelli MediaPipe. Colab
Scheda del modello
Rilevamento di oggetti MobileNetV2 (MediaPipe) Visione artificiale Perfeziona il modello di rilevamento degli oggetti MobileNetV2 utilizzando il creatore di modelli MediaPipe. Colab
Scheda del modello
MobileNet-MultiHW-AVG (MediaPipe) Visione artificiale Perfeziona il modello di rilevamento degli oggetti MobileNet-MultiHW-AVG utilizzando il creatore di modelli MediaPipe. Colab
Scheda del modello
DeiT Visione artificiale Perfeziona ed esegui il deployment del modello DeiT (Data-efficient Image Transformers) per la classificazione delle immagini. Colab
Scheda del modello
BEIT Visione artificiale Ottimizza ed esegui il deployment del modello BEiT (Bidirectional Encoder from Image Transformers) per la classificazione delle immagini. Colab
Scheda del modello
Riconoscimento dei gesti della mano (MediaPipe) Visione artificiale Perfeziona e implementa sul dispositivo i modelli di riconoscimento dei gesti della mano utilizzando MediaPipe. Colab
Scheda del modello
Classificatore medio di incorporamento di parole (MediaPipe) Visione artificiale Perfeziona ed esegui il deployment sul dispositivo dei modelli di classificazione MediaPipe di incorporamento di parole. Colab
Scheda del modello
Classificatore MobileBERT (MediaPipe) Visione artificiale Perfeziona e distribuisci on-device i modelli di classificatori MobileBERT utilizzando MediaPipe. Colab
Scheda del modello
Classificazione dei video clip MoViNet Video Ottimizza ed esegui il deployment di modelli di classificazione dei video clip MoViNet. Colab
Scheda del modello
Riconoscimento video di azione MoViNet Video Perfeziona ed esegui il deployment di modelli MoViNet per l'inferenza del riconoscimento delle azioni. Colab
Scheda del modello
LCM stabile a diffusione XL Visione artificiale Esegui il deployment di questo modello che utilizza il modello di coerenza latente (LCM) per migliorare la generazione da testo a immagine nei modelli di diffusione latente consentendo una creazione di immagini più rapida e di alta qualità con meno passaggi. Colab
Scheda del modello
LLaVA 1.5 Visione, lingua Esegui il deployment di modelli LLaVA 1.5. Colab
Scheda del modello
Pytorch-ZipNeRF Visione, video Addestra il modello Pytorch-ZipNeRF, un'implementazione all'avanguardia dell'algoritmo ZipNeRF nel framework Pytorch, progettato per una ricostruzione 3D efficiente e accurata a partire da immagini 2D. Colab
Scheda del modello
WizardLM Lingua Esegui il deployment di NodeLM, che è un modello linguistico di grandi dimensioni (LLM) sviluppato da Microsoft e perfezionato in base a istruzioni complesse adattando il metodo Evol-Instruct. Colab
Scheda del modello
WizardCoder Lingua Esegui il deployment di AssistantCoder, un modello linguistico di grandi dimensioni (LLM) sviluppato da Microsoft e perfezionato in base a istruzioni complesse adattando il metodo Evol-Instruct al dominio del codice. Colab
Scheda del modello
Mixtral 8x7B Lingua Esegui il deployment del modello Mixtral 8x7B, un modello linguistico di grandi dimensioni (LLM) misto di esperti (MoE) sviluppato da Mistral AI. Si tratta di un modello solo decoder con 46,7 miliardi di parametri ed è stato segnalato che corrisponde o supera le prestazioni di LLaMA 2 70B e GPT 3.5 su molti benchmark. Colab
Scheda del modello
Lama 2 (quantizzato) Lingua Perfeziona ed esegui il deployment di una versione quantizzata dei modelli Lama 2 di Meta. Colab
Scheda del modello
LaMa (maschera grande inpainting) Visione artificiale Esegui il deployment di LaMa, che utilizza convoluzioni di Fourier (FFCs) veloci, un'elevata perdita percettiva del campo ricettivo e maschere di addestramento di grandi dimensioni che consentono una solida risoluzione delle immagini inpainting. Colab
Scheda del modello
AutoGluon Tabulari Con AutoGluon puoi addestrare ed eseguire il deployment di modelli di machine learning e deep learning ad alta precisione per i dati tabulari. Colab
Scheda del modello

Elenco dei modelli dei partner disponibili in Model Garden

Nella tabella seguente sono elencati i modelli disponibili presso i partner di Google in Model Garden:

Nome modello Modalità Descrizione Guida rapida
Sonetto antropico di Claude 3 Lingua Un modello di visione e testo bilanciato che unisce intelligenza e velocità per i carichi di lavoro aziendali. È progettato per deployment di AI scalati e a basso costo. Scheda del modello
Haiku Claude 3 antropico Lingua La visione e le risposte rapide dei modelli di testo più veloci e compatte di Anthropic a query semplici. È concepito per esperienze di AI che imitano le interazioni umane. Scheda del modello

Come utilizzare le schede dei modelli

Fai clic sulla scheda di un modello per utilizzare il modello associato. Ad esempio, puoi fare clic sulla scheda di un modello per testare i prompt, ottimizzare un modello, creare applicazioni e visualizzare esempi di codice.

Per scoprire come utilizzare i modelli associati alle schede dei modelli, fai clic su una delle seguenti schede:

Testa i prompt

Utilizza la scheda del modello dell'API Vertex AI PaLM per testare i prompt.

  1. Nella console Google Cloud, vai alla pagina Model Garden.

    Vai a Model Garden

  2. Trova un modello supportato che vuoi testare e fai clic su Visualizza dettagli.

  3. Fai clic su Apri progettazione prompt.

    Si apre la pagina Progettazione prompt.

  4. In Prompt, inserisci il prompt che vuoi verificare.

  5. (Facoltativo) Configura i parametri del modello.

  6. Fai clic su Invia.

Ottimizza un modello

Per ottimizzare i modelli supportati, utilizza una pipeline Vertex AI o un blocco note.

Ottimizza utilizzando una pipeline

I modelli BERT e T5-FLAN supportano l'ottimizzazione dei modelli utilizzando una pipeline.

  1. Nella console Google Cloud, vai alla pagina Model Garden.

    Vai a Model Garden

  2. In Cerca modelli, inserisci BERT o T5-FLAN, quindi fai clic sulla lente d'ingrandimento per eseguire la ricerca.

  3. Fai clic su Visualizza dettagli sulla scheda del modello T5-FLAN o BERT.

  4. Fai clic su Apri pipeline di ottimizzazione.

    Viene visualizzata la pagina delle pipeline di Vertex AI.

  5. Per avviare l'ottimizzazione, fai clic su Crea esecuzione.

Sintonizza un blocco note

Le schede dei modelli per la maggior parte dei modelli di base open source e ottimizzabili supportano l'ottimizzazione in un blocco note.

  1. Nella console Google Cloud, vai alla pagina Model Garden.

    Vai a Model Garden

  2. Trova un modello supportato che vuoi ottimizzare e fai clic su Visualizza dettagli.

  3. Fai clic su Apri blocco note.

Deployment di un modello

La scheda del modello stabile di diffusione supporta il deployment in un endpoint.

  1. Nella console Google Cloud, vai alla pagina Model Garden.

    Vai a Model Garden

  2. Trova un modello supportato di cui vuoi eseguire il deployment. Nella scheda del modello, fai clic su Visualizza dettagli.

  3. Fai clic su Esegui il deployment.

    Ti viene chiesto di salvare una copia del modello nel registro dei modelli.

  4. In Nome modello, inserisci un nome per il modello.

  5. Fai clic su Salva.

    Viene visualizzato il riquadro Esegui il deployment nell'endpoint.

  6. Definisci l'endpoint come segue:

    • Nome endpoint: inserisci un nome per l'endpoint.
    • Regione: seleziona una regione in cui creare l'endpoint.
    • Accesso: per rendere l'endpoint accessibile tramite un'API REST, seleziona Standard. Per creare una connessione privata all'endpoint, seleziona Privato.
  7. Fai clic su Continua.

  8. Segui le istruzioni nella console Google Cloud e configura le impostazioni del tuo modello.

  9. Fai clic su Continua.

  10. (Facoltativo) Fai clic sul pulsante di attivazione/disattivazione Abilita il monitoraggio del modello per questo endpoint per abilitare il monitoraggio del modello.

  11. Fai clic su Esegui il deployment.

Visualizza esempi di codice

La maggior parte delle schede dei modelli di soluzioni specifiche per le attività contiene esempi di codice che puoi copiare e testare.

  1. Nella console Google Cloud, vai alla pagina Model Garden.

    Vai a Model Garden

  2. Trova un modello supportato per il quale vuoi visualizzare esempi di codice e fai clic sulla scheda Documentazione.

  3. La pagina scorre fino alla sezione della documentazione con il codice campione incorporato.

Crea un'app per la visione artificiale

Le schede dei modelli applicabili di visione artificiale supportano la creazione di un'applicazione di visione artificiale.

  1. Nella console Google Cloud, vai alla pagina Model Garden.

    Vai a Model Garden

  2. Trova un modello di visione artificiale nella sezione Soluzioni specifiche per le attività che vuoi utilizzare per creare un'applicazione di visione artificiale e fai clic su Visualizza dettagli.

  3. Fai clic su Crea app.

    Si aprirà Vertex AI Vision.

  4. In Nome applicazione, inserisci un nome per l'applicazione e fai clic su Continua.

  5. Seleziona un piano di fatturazione e fai clic su Crea.

    Si aprirà Vertex AI Vision Studio, dove potrai continuare a creare la tua applicazione di visione artificiale.

Prezzi

Per i modelli open source in Model Garden, ti viene addebitato l'utilizzo di quanto segue su Vertex AI:

Passaggi successivi