Utilizzare i modelli aperti di Gemma

Gemma è un insieme di modelli aperti di intelligenza artificiale generativa AIA) leggeri. I modelli Gemma sono disponibili per l'esecuzione nelle tue applicazioni e su hardware, dispositivi mobili o servizi in hosting. Puoi anche personalizzare questi modelli utilizzando tecniche di ottimizzazione per eccellere nell'esecuzione di attività importanti per te e i tuoi utenti. I modelli Gemma si basano su modelli Gemini e sono destinati alla community di sviluppo dellAI, che può essere esteso e andare oltre.

Il perfezionamento può aiutare a migliorare le prestazioni di un modello in attività specifiche. Poiché i modelli nella famiglia di modelli Gemma sono a peso aperto, puoi ottimizzarli utilizzando il framework IA che preferisci e l'SDK Vertex AI. Puoi aprire un esempio di blocco note per ottimizzare il modello Gemma utilizzando un link disponibile nella scheda del modello Gemma in Model Garden.

I seguenti modelli Gemma sono disponibili per l'uso con Vertex AI. Per scoprire di più sui modelli Gemma e testarli, consulta le schede dei modelli di Model Garden.

Nome modello	Casi d'uso	Scheda del modello di Model Garden
Gemma	Ideale per la generazione, il riassunto e l'estrazione di testo.	Vai alla scheda del modello Gemma
CodeGemma	Ideale per la generazione e il completamento del codice.	Vai alla scheda del modello CodeGemma
PaliGemma	Ideale per le didascalie delle immagini e per le attività di domande e risposte visive.	Vai alla scheda del modello PaliGemma

Di seguito sono riportate alcune opzioni per l'utilizzo di Gemma:

Utilizzare Gemma con Vertex AI

Vertex AI offre una piattaforma gestita per creare e scalare rapidamente progetti di machine learning senza bisogno di competenze MLOps interne. Puoi utilizzare Vertex AI come applicazione downstream che gestisce i modelli Gemma. Ad esempio, puoi trasferire i pesi dall'implementazione di Keras di Gemma. Poi puoi usare Vertex AI per fornire quella versione di Gemma e ottenere previsioni. Ti consigliamo di utilizzare Vertex AI se cerchi funzionalità MLOps end-to-end, funzionalità ML a valore aggiunto e un'esperienza serverless per uno sviluppo semplificato.

Per iniziare a utilizzare Gemma, consulta i seguenti blocchi note:

• Pubblica Gemma in Vertex AI

• Ottimizza Gemma utilizzando PEFT ed esegui il deployment su Vertex AI da Vertex

• Ottimizza Gemma utilizzando PEFT ed esegui il deployment su Vertex AI da Huggingface

• Ottimizza Gemma utilizzando KerasNLP ed esegui il deployment su Vertex AI

• Ottimizza Gemma con Ray su Vertex AI ed esegui il deployment su Vertex AI

Utilizzare Gemma in altri prodotti Google Cloud

Puoi utilizzare Gemma con altri prodotti Google Cloud, come Google Kubernetes Engine e Dataflow.

Utilizzare Gemma con GKE

Google Kubernetes Engine (GKE) è la soluzione Google Cloud per Kubernetes gestito che offre scalabilità, sicurezza, resilienza ed economicità. Ti consigliamo questa opzione se hai già investimenti Kubernetes, la tua organizzazione ha competenze MLOps interne o se hai bisogno di un controllo granulare su carichi di lavoro di AI/ML complessi con requisiti unici di sicurezza, pipeline di dati e gestione delle risorse. Per saperne di più, guarda i seguenti tutorial nella documentazione di GKE:

• Servi Gemma con vLLM
• Gestisci Gemma con TGI
• Serviamo Gemma con Triton e TensorRT-LLM
• Serviamo Gemma con JetStream
• Servi Gemma con Saxml

Utilizzare Gemma con Dataflow

Puoi utilizzare i modelli Gemma con Dataflow per l'analisi del sentiment. Usa Dataflow per eseguire pipeline di inferenza che usano i modelli Gemma. Per scoprire di più, consulta Eseguire pipeline di inferenza con i modelli aperti di Gemma.

Usa Gemma con Colab

Puoi usare Gemma con Colaboratory per creare la tua soluzione Gemma. In Colab puoi usare Gemma con opzioni di framework come PyTorch e JAX. Per saperne di più, consulta:

• Iniziare a utilizzare Gemma con Keras.
• Inizia a utilizzare Gemma con PyTorch.
• Ottimizzazione di base con Gemma utilizzando Keras.
• Ottimizzazione distribuita con Gemma utilizzando Keras.

Dimensioni e funzionalità del modello Gemma

I modelli Gemma sono disponibili in diverse dimensioni per consentirti di creare soluzioni di AI generativa in base alle risorse di calcolo disponibili, alle funzionalità di cui hai bisogno e a dove vuoi eseguirle. Ogni modello è disponibile in una versione ottimizzata e in una non ottimizzata:

• Preaddestrato: questa versione del modello non è stata addestrata su istruzioni o attività specifiche oltre al set di addestramento dei dati principali di Gemma. È sconsigliato utilizzare questo modello senza eseguire alcune ottimizzazioni.

• Ottimizzata per le istruzioni: questa versione del modello è stata addestrata con interazioni con il linguaggio umano per poter partecipare a una conversazione, come per un bot di chat di base.

• Mix ottimizzato: questa versione del modello è ottimizzata su una combinazione di set di dati accademici e accetta prompt in linguaggio naturale.

Se devi scegliere tra Gemma 2B e Gemma 7B, valuta Gemma 2B. Le dimensioni dei parametri inferiori di Gemma 2B significano che ha requisiti di risorse inferiori e una maggiore flessibilità di deployment rispetto a Gemma 7B.

Nome modello	Dimensioni dei parametri	Input	Output	Versioni ottimizzate	Piattaforme di destinazione
Gemma 2B	2,2 miliardi	Testo	Testo	Preaddestrati Ottimizzato per le istruzioni	Dispositivi mobili e laptop
Gemma 7B	7 miliardi	Testo	Testo	Preaddestrati Ottimizzato per le istruzioni	Computer desktop e piccoli server
CodeGemma 2B	2 miliardi	Testo	Testo	Preaddestrati	Computer desktop e piccoli server
CodeGemma 7B	7 miliardi	Testo	Testo	Preaddestrati Ottimizzato per le istruzioni	Computer desktop e piccoli server
PaliGemma 3B	3 miliardi	Testo	Testo	Preaddestrati Mix perfezionato	Computer desktop e piccoli server

Gemma è stato testato utilizzando l'hardware TPU v5e di Google appositamente realizzato e l'hardware GPU NVIDIA L4(G2), A100(A2) e H100(A3 standard).