Model Garden è una libreria di modelli AI/ML che ti aiuta a scoprire, testare, personalizzare ed eseguire il deployment di modelli e asset di Google e dei suoi partner.
Vantaggi di Model Garden
Quando lavori con i modelli di AI, Model Garden offre i seguenti vantaggi:
- I modelli disponibili sono tutti raggruppati in un'unica posizione
- Model Garden fornisce un pattern di deployment coerente per diversi tipi di modelli
- Model Garden fornisce un'integrazione integrata con altre parti di Vertex AI, come l'ottimizzazione, la valutazione e la pubblicazione dei modelli
- L'erogazione di modelli di AI generativa può essere difficile. Vertex AI gestisce il deployment e l'erogazione dei modelli per te
Esplorare i modelli
Per visualizzare l'elenco dei modelli Vertex AI e open source (di base, ottimizzabili e specifici per le attività), vai alla pagina Model Garden nella consoleGoogle Cloud .
Le categorie dei modelli disponibili in Model Garden sono:
Categoria | Descrizione |
---|---|
Modelli di base | Modelli di grandi dimensioni preaddestrati e multitasking che possono essere ottimizzati o personalizzati per attività specifiche utilizzando Vertex AI Studio, l'API Vertex AI e l'SDK Vertex AI per Python. |
Modelli ottimizzabili | Modelli che possono essere ottimizzati mediante una pipeline o un notebook personalizzati. |
Soluzioni specifiche per le attività | La maggior parte di questi modelli predefiniti può essere usata subito. Molti possono essere personalizzati usando i tuoi dati. |
Per filtrare i modelli nel riquadro dei filtri, specifica quanto segue:
- Attività: fai clic sull'attività che vuoi che il modello esegua.
- Raccolte di modelli: fai clic per scegliere i modelli gestiti da Google, dai partner o da te.
- Fornitori: fai clic sul fornitore del modello.
- Funzionalità: fai clic sulle funzionalità che vuoi includere nel modello.
Per saperne di più su ciascun modello, fai clic sulla relativa scheda.
Per un elenco dei modelli disponibili in Model Garden, consulta Modelli disponibili in Model Garden.
Analisi della sicurezza del modello
Google esegue test e benchmark approfonditi sui container di serving e tuning che forniamo. La scansione attiva delle vulnerabilità viene applicata anche agli artefatti container.
I modelli di terze parti dei partner in evidenza vengono sottoposti a scansioni dei checkpoint del modello per garantirne l'autenticità. I modelli di terze parti di Hugging Face Hub vengono analizzati direttamente da Hugging Face e dal relativo scanner di terze parti per rilevare malware, file pickle, livelli Keras Lambda e segreti. I modelli ritenuti non sicuri da queste scansioni vengono segnalati da Hugging Face e il loro deployment in Model Garden viene bloccato. I modelli ritenuti sospetti o quelli che hanno la capacità di eseguire potenzialmente codice remoto sono indicati in Model Garden, ma possono comunque essere implementati. Ti consigliamo di eseguire una revisione approfondita di qualsiasi modello sospetto prima di eseguirne il deployment in Model Garden.
Prezzi
Per i modelli open source in Model Garden, ti viene addebitato l'utilizzo di quanto segue su Vertex AI:
- Ottimizzazione del modello: ti vengono addebitate le risorse di calcolo utilizzate alla stessa tariffa dell'addestramento personalizzato. Consulta i prezzi dell'addestramento personalizzato.
- Deployment del modello: ti vengono addebitate le risorse di calcolo utilizzate per eseguire il deployment del modello in un endpoint. Consulta i prezzi delle previsioni.
- Colab Enterprise: consulta i prezzi di Colab Enterprise.
Controllare l'accesso a modelli specifici
Puoi impostare un criterio dell'organizzazione Model Garden a livello di organizzazione, cartella o progetto per controllare l'accesso a modelli specifici in Model Garden. Ad esempio, puoi consentire l'accesso a modelli specifici che hai esaminato e negare l'accesso a tutti gli altri.
Scopri di più su Model Garden
Per saperne di più sulle opzioni di deployment e sulle personalizzazioni che puoi eseguire con i modelli in Model Garden, consulta le risorse nelle sezioni seguenti, che includono link a tutorial, riferimenti, blocchi note e video di YouTube.
Esegui il deployment e distribuisci
Scopri di più sulla personalizzazione delle implementazioni e sulle funzionalità avanzate di pubblicazione.
- Esegui il deployment e l'erogazione di un modello open source utilizzando l'SDK Python, l'interfaccia a riga di comando, l'API REST o la console
- Deployment e messa a punto di Gemma 3 nel video di Model Garden su YouTube
- Deployment di Gemma e formulazione di previsioni
- Eroga modelli aperti con un container Hex-LLM su Cloud TPU
- Notebook del tutorial sul deployment dei modelli Llama utilizzando Hex-LLM
- Utilizza la memorizzazione nella cache dei prefissi e la decodifica speculativa con il notebook del tutorial Hex-LLM o vLLM
- Utilizza vLLM per erogare modelli linguistici solo testuali e multimodali nelle GPU Cloud
- Utilizza il container xDiT di erogazione delle GPU per la generazione di immagini e video
- Come erogare Gemma 2 con più adattatori LoRA e DLC HuggingFace per l'inferenza PyTorch (tutorial su Medium)
- Utilizza i gestori personalizzati per erogare PaliGemma per le didascalie delle immagini con HuggingFace DLC per l'inferenza PyTorch (tutorial su LinkedIn)
- Esegui il deployment e l'erogazione di un modello che utilizza VM spot o un notebook del tutorial sulle prenotazioni di Compute Engine
- Esegui il deployment e l'erogazione di un modello Hugging Face
Conformità dei contenitori
Model Garden offre i seguenti container conformi a FedRAMP High per la pubblicazione dei modelli.
Ottimizzazione
Scopri di più sull'ottimizzazione dei modelli per personalizzare le risposte per casi d'uso specifici.
- Notebook del tutorial sull'ottimizzazione di Workbench
- Notebook del tutorial su ottimizzazione e valutazione
- Deployment e messa a punto di Gemma 3 nel video di Model Garden su YouTube
Valutazione
Scopri di più sulla valutazione delle risposte del modello con Vertex AI
Risorse aggiuntive
- Notebook di Model Garden specifici per il modello e il percorso dell'utente
- Notebook Vertex AI su erogazione, ottimizzazione e valutazione dei modelli aperti