Gemma è un insieme di intelligenza artificiale (AI) generativa leggera modelli aperti. I modelli Gemma sono disponibili per l'esecuzione su hardware, dispositivi mobili o servizi in hosting. Puoi anche personalizzare questi modelli utilizzando tecniche di ottimizzazione in modo che eccellono eseguire attività importanti per te e i tuoi utenti. I modelli Gemma basate sui modelli Gemini e sono destinate la community di sviluppo dell'AI può ampliare e andare oltre.
Il perfezionamento può aiutare a migliorare le prestazioni di un modello in attività specifiche. Poiché nella famiglia di modelli Gemma sono open-weight, puoi ottimizzare utilizzando il framework IA che preferisci e l'SDK Vertex AI. Puoi aprire un esempio di blocco note per ottimizzare il modello Gemma utilizzando un link disponibile nella scheda del modello Gemma in Model Garden.
I seguenti modelli Gemma sono disponibili per l'uso con Vertex AI. Per scoprire di più sui modelli Gemma e testarli, consulta Schede dei modelli di Model Garden.
| Nome modello | Casi d'uso | Scheda del modello di Model Garden |
|---|---|---|
| Gemma 2 | Ideale per la generazione, il riassunto e l'estrazione di testo. | Vai alla scheda del modello Gemma 2 |
| Gemma | Ideale per la generazione, il riassunto e l'estrazione di testo. | Vai alla scheda del modello Gemma |
| CodeGemma | Ideale per la generazione e il completamento del codice. | Vai alla scheda del modello CodeGemma |
| PaliGemma | Ideale per le didascalie delle immagini e per le attività di domande e risposte visive. | Vai alla scheda del modello PaliGemma |
Di seguito sono riportate alcune opzioni per l'utilizzo di Gemma:
Utilizzare Gemma con Vertex AI
Vertex AI offre una piattaforma gestita per creare e scalare rapidamente per i progetti di machine learning senza bisogno di competenze MLOps interne. Puoi utilizzare Vertex AI come applicazione downstream che gestisce Modelli Gemma. Ad esempio, potresti trasferire i pesi da Keras implementazione di Gemma. Poi puoi utilizzare Vertex AI per pubblicare quella versione di Gemma per ottenere previsioni. È consigliabile utilizzare Vertex AI se vuoi funzionalità MLOps end-to-end, ML a valore aggiunto e un'esperienza serverless per uno sviluppo semplificato.
Per iniziare a utilizzare Gemma, consulta i seguenti blocchi note:
Ottimizza Gemma utilizzando PEFT ed esegui il deployment su Vertex AI da Vertex
Ottimizza Gemma utilizzando PEFT ed esegui il deployment su Vertex AI da Huggingface
Ottimizza Gemma utilizzando KerasNLP ed esegui il deployment su Vertex AI
Ottimizza Gemma con Ray su Vertex AI ed esegui il deployment su Vertex AI
Utilizzare Gemma in altri prodotti Google Cloud
Puoi utilizzare Gemma con altri prodotti Google Cloud, come Google Kubernetes Engine e Dataflow.
Utilizzare Gemma con GKE
Google Kubernetes Engine (GKE) è la soluzione Google Cloud per Kubernetes gestito che offre scalabilità, sicurezza, resilienza e costi efficace. Ti consigliamo questa opzione se hai degli asset Kubernetes esistenti, investimenti, la tua organizzazione dispone di competenze MLOps interne o se hai bisogno un controllo granulare sui carichi di lavoro di AI/ML complessi con sicurezza, dati pipeline e requisiti di gestione delle risorse. Per saperne di più, consulta quanto segue: tutorial nella documentazione di GKE:
- Servi Gemma con vLLM
- Gestisci Gemma con TGI
- Serviamo Gemma con Triton e TensorRT-LLM
- Serviamo Gemma con JetStream
- Servi Gemma con Saxml
Utilizzare Gemma con Dataflow
Puoi utilizzare i modelli Gemma con Dataflow per analisi del sentiment. Usa Dataflow per eseguire pipeline di inferenza che utilizzano Modelli Gemma. Per saperne di più, vedi Esegui pipeline di inferenza con i modelli aperti di Gemma.
Usa Gemma con Colab
Puoi usare Gemma con Colaboratory per creare la tua Gemma soluzione. In Colab, puoi usare Gemma con il framework come PyTorch e JAX. Per saperne di più, consulta:
- Iniziare a utilizzare Gemma con Keras.
- Inizia a utilizzare Gemma con PyTorch.
- Ottimizzazione di base con Gemma utilizzando Keras.
- Ottimizzazione distribuita con Gemma utilizzando Keras.
Dimensioni e funzionalità del modello Gemma
I modelli Gemma sono disponibili in diverse dimensioni per consentirti soluzioni di AI generativa a tua disposizione, le funzionalità di cui hai bisogno e dove vuoi eseguirle. Ogni modello è disponibile in una versione ottimizzata e in una versione non ottimizzata:
Preaddestrata: questa versione del modello non è stata addestrata su attività specifiche o istruzioni al di là del set di dati di addestramento di base di Gemma. Non consigliamo di utilizzare questo modello senza eseguire alcune ottimizzazioni.
Ottimizzato per le istruzioni: questa versione del modello è stata addestrata con il linguaggio umano interazioni in modo da poter partecipare a una conversazione, come di chat.
Mix ottimizzato: questa versione del modello è ottimizzata su una combinazione di accademici e accetta prompt in linguaggio naturale.
Dimensioni dei parametri inferiori significano requisiti di risorse inferiori e più deployment una maggiore flessibilità.
| Nome modello | Dimensioni dei parametri | Input | Output | Versioni ottimizzate | Piattaforme di destinazione |
|---|---|---|---|---|---|
| Gemma 2 | |||||
| Gemma 27B | 27 miliardi | Testo | Testo |
|
Server o cluster di server di grandi dimensioni |
| Gemma 9B | 9 miliardi di | Testo | Testo |
|
Computer e server desktop di fascia alta |
| Gemma | |||||
| Gemma 7B | 7 miliardi | Testo | Testo |
|
Computer desktop e piccoli server |
| Gemma 2B | 2,2 miliardi | Testo | Testo |
|
Dispositivi mobili e laptop |
| CodeGemma | |||||
| CodeGemma 7B | 7 miliardi | Testo | Testo |
|
Computer desktop e piccoli server |
| CodeGemma 2B | 2 miliardi | Testo | Testo |
|
Computer desktop e piccoli server |
| PaliGemma | |||||
| PaliGemma 3B | 3 miliardi | Testo | Testo |
|
Computer desktop e piccoli server |
Gemma è stato testato utilizzando hardware TPU v5e appositamente realizzato da Google e hardware GPU NVIDIA L4(G2), A100(A2) e H100(A3 standard).
Passaggi successivi
- Consulta la documentazione di Gemma.