Gemma è un insieme di modelli aperti di intelligenza artificiale generativa (AI). I modelli Gemma sono disponibili per l'esecuzione nelle tue applicazioni e sui tuoi hardware, dispositivi mobili o servizi in hosting. Puoi anche personalizzare questi modelli utilizzando tecniche di ottimizzazione in modo che siano eccellenti nello svolgere attività importanti per te e i tuoi utenti. I modelli Gemma si basano su modelli Gemini e sono destinati alla community di sviluppo AI da ampliare e ampliare.
Il perfezionamento può aiutare a migliorare le prestazioni di un modello in attività specifiche. Poiché i modelli della famiglia Gemma sono a peso aperto, puoi ottimizzarli utilizzando il framework IA di tua scelta e l'SDK Vertex AI. Puoi aprire un esempio di blocco note per perfezionare il modello Gemma utilizzando un link disponibile nella scheda del modello Gemma in Model Garden.
I seguenti modelli Gemma sono disponibili per l'uso con Vertex AI. Per saperne di più e testare i modelli Gemma, consulta le schede dei modelli di Model Garden.
| Nome del modello | Casi d'uso | Scheda del modello di Model Garden |
|---|---|---|
| Gemma | Ideale per la generazione, il riassunto e l'estrazione del testo. | Vai alla scheda del modello Gemma |
| CodeGemma | Ideale per la generazione e il completamento del codice. | Vai alla scheda del modello CodeGemma |
| PaliGemma | Ideale per aggiungere sottotitoli alle immagini e per attività di domande e risposte visive. | Vai alla scheda del modello PaliGemma |
Di seguito sono riportate alcune opzioni su dove puoi utilizzare Gemma:
Utilizzare Gemma con Vertex AI
Vertex AI offre una piattaforma gestita per creare e scalare rapidamente progetti di machine learning senza bisogno di competenze MLOps interne. Puoi utilizzare Vertex AI come applicazione downstream che gestisce i modelli Gemma. Ad esempio, puoi trasferire i pesi dall'implementazione Keras di Gemma. Poi puoi usare Vertex AI per fornire la versione di Gemma e ottenere previsioni. Ti consigliamo di utilizzare Vertex AI se vuoi funzionalità MLOps end-to-end, funzionalità ML a valore aggiunto e un'esperienza serverless per uno sviluppo semplificato.
Per iniziare a utilizzare Gemma, consulta i seguenti blocchi note:
Ottimizza Gemma utilizzando PEFT ed eseguine il deployment su Vertex AI da Vertex
Ottimizza Gemma utilizzando PEFT e poi esegui il deployment su Vertex AI da Huggingface
Ottimizza Gemma utilizzando KerasNLP e quindi esegui il deployment su Vertex AI
Ottimizza Gemma con Ray su Vertex AI ed esegui il deployment su Vertex AI
Utilizzare Gemma in altri prodotti Google Cloud
Puoi utilizzare Gemma con altri prodotti Google Cloud, come Google Kubernetes Engine e Dataflow.
Utilizzo di Gemma con GKE
Google Kubernetes Engine (GKE) è la soluzione Google Cloud per Kubernetes gestito che offre scalabilità, sicurezza, resilienza ed efficienza in termini di costi. Ti consigliamo questa opzione se disponi di investimenti Kubernetes esistenti, se la tua organizzazione dispone di competenze MLOps interne o se hai bisogno di un controllo granulare su carichi di lavoro AI/ML complessi con requisiti esclusivi di sicurezza, pipeline dei dati e gestione delle risorse. Per saperne di più, guarda i seguenti tutorial nella documentazione di GKE:
- Gestire Gemma con vLLM
- Al servizio di Gemma con TGI
- Gestire Gemma con Triton e TensorRT-LLM
- Pubblicare Gemma con JetStream
- Pubblicare Gemma con Saxml
Utilizza Gemma con Dataflow
Puoi utilizzare i modelli Gemma con Dataflow per l'analisi del sentiment. Utilizza Dataflow per eseguire pipeline di inferenza che utilizzano i modelli Gemma. Per saperne di più, consulta Eseguire pipeline di inferenza con i modelli aperti di Gemma.
Utilizzare Gemma con Colab
Puoi usare Gemma con Colaboratory per creare la tua soluzione Gemma. In Colab, puoi usare Gemma con opzioni di framework come PyTorch e JAX. Per scoprire di più, vedi:
- Inizia a utilizzare Gemma con Keras.
- Inizia a utilizzare Gemma con PyTorch.
- Ottimizzazione di base con Gemma utilizzando Keras.
- Ottimizzazione distribuita con Gemma utilizzando Keras.
Dimensioni e funzionalità del modello Gemma
I modelli Gemma sono disponibili in diverse dimensioni per consentirti di creare soluzioni di AI generativa in base alle risorse di calcolo disponibili, alle funzionalità necessarie e a dove vuoi eseguirle. Ogni modello è disponibile in una versione ottimizzata e non ottimizzata:
Preaddestrato: questa versione del modello non è stata addestrata su attività o istruzioni specifiche oltre il set di addestramento dei dati principali di Gemma. È sconsigliato usare questo modello senza eseguire qualche ottimizzazione.
Ottimizzato per le istruzioni: questa versione del modello è stata addestrata con interazioni tramite il linguaggio umano per poter partecipare a una conversazione, come in un bot di chat di base.
Mix ottimizzato: questa versione del modello è stata ottimizzata su una combinazione di set di dati accademici e accetta prompt in linguaggio naturale.
Se devi scegliere tra Gemma 2B e Gemma 7B, prendi in considerazione Gemma 2B. Le dimensioni inferiori dei parametri di Gemma 2B indicano che ha requisiti di risorse inferiori e una maggiore flessibilità di deployment rispetto a Gemma 7B.
| Nome del modello | Dimensione parametri | Input | Output | Versioni ottimizzate | Piattaforme previste |
|---|---|---|---|---|---|
| Gemma 2B | 2,2 miliardi | Testo | Testo |
|
Dispositivi mobili e laptop |
| Gemma 7B | 7 miliardi | Testo | Testo |
|
Computer desktop e server di piccole dimensioni |
| CodeGemma 2B | 2 miliardi | Testo | Testo |
|
Computer desktop e server di piccole dimensioni |
| CodeGemma 7B | 7 miliardi | Testo | Testo |
|
Computer desktop e server di piccole dimensioni |
| PaliGemma 3B | 3 miliardi | Testo | Testo |
|
Computer desktop e server di piccole dimensioni |
Gemma è stata testata utilizzando l'hardware TPU v5e di Google appositamente creato e l'hardware GPU NVIDIA L4(standard G2), A100(A2 standard), H100(A3 standard).