Utilizzare i modelli aperti di Gemma

Gemma è un insieme di modelli aperti di intelligenza artificiale (AI) generativa leggeri. I modelli Gemma possono essere eseguiti nelle tue applicazioni e sul tuo hardware, sui tuoi dispositivi mobili o sui tuoi servizi ospitati. Puoi anche personalizzare questi modelli utilizzando tecniche di ottimizzazione in modo che eccellono nell'eseguire le attività importanti per te e per i tuoi utenti. I modelli Gemma si basano su quelli di Gemini e sono pensati per essere estesi e sviluppati ulteriormente dalla community di sviluppo dell'IA.

Il perfezionamento può contribuire a migliorare le prestazioni di un modello in attività specifiche. Poiché i modelli della famiglia Gemma sono a pesi aperti, puoi ottimizzarne uno qualsiasi utilizzando il framework di IA che preferisci e l'SDK Vertex AI. Puoi aprire un esempio di notebook per perfezionare il modello Gemma utilizzando un link disponibile nella scheda del modello Gemma in Model Garden.

I seguenti modelli Gemma sono disponibili per l'utilizzo con Vertex AI. Per scoprire di più e testare i modelli Gemma, consulta le relative schede in Model Garden.

Nome modello Casi d'uso Scheda del modello di Model Garden
Gemma 2 Ideale per la generazione, il riepilogo e l'estrazione di testo. Vai alla scheda del modello Gemma 2
Gemma Ideale per la generazione, il riepilogo e l'estrazione di testo. Vai alla scheda del modello Gemma
CodeGemma Ideale per la generazione e il completamento del codice. Vai alla scheda del modello CodeGemma
PaliGemma Ideale per attività di sottotitolazione delle immagini e di domanda e risposta visiva. Vai alla scheda del modello PaliGemma

Di seguito sono riportate alcune opzioni per l'utilizzo di Gemma:

Utilizzare Gemma con Vertex AI

Vertex AI offre una piattaforma gestita per creare e scalare rapidamente i progetti di machine learning senza bisogno di competenze MLOps interne. Puoi utilizzare Vertex AI come applicazione a valle che pubblica i modelli Gemma. Ad esempio, potresti eseguire il porting dei pesi dall'implementazione di Keras di Gemma. Successivamente, puoi utilizzare Vertex AI per eseguire la pubblicazione di questa versione di Gemma e ottenere le previsioni. Ti consigliamo di utilizzare Vertex AI se vuoi funzionalità MLOps end-to-end, funzionalità di ML con valore aggiunto e un'esperienza serverless per lo sviluppo semplificato.

Per iniziare a utilizzare Gemma, consulta i seguenti notebook:

Utilizzare Gemma in altri Google Cloud prodotti

Puoi utilizzare Gemma con altri Google Cloud prodotti, come Google Kubernetes Engine e Dataflow.

Utilizzare Gemma con GKE

Google Kubernetes Engine (GKE) è la Google Cloud soluzione per Kubernetes gestito che offre scalabilità, sicurezza, resilienza e costi effettivi. Ti consigliamo questa opzione se hai già investimenti in Kubernetes, la tua organizzazione dispone di competenze MLOps interne o se hai bisogno di un controllo granulare su carichi di lavoro di AI/ML complessi con requisiti unici di sicurezza, pipeline di dati e gestione delle risorse. Per saperne di più, consulta i seguenti tutorial nella documentazione di GKE:

Utilizzare Gemma con Dataflow

Puoi utilizzare i modelli Gemma con Dataflow per l'analisi del sentiment. Utilizza Dataflow per eseguire pipeline di inferenza che utilizzano i modelli Gemma. Per scoprire di più, consulta Eseguire pipeline di inferenza con i modelli aperti di Gemma.

Utilizzare Gemma con Colab

Puoi utilizzare Gemma con Colaboratory per creare la tua soluzione Gemma. In Colab, puoi utilizzare Gemma con opzioni di framework come PyTorch e JAX. Per scoprire di più, consulta:

Dimensioni e funzionalità dei modelli Gemma

I modelli Gemma sono disponibili in diverse dimensioni, quindi puoi creare soluzioni di AI generativa in base alle risorse di calcolo disponibili, alle funzionalità di cui hai bisogno e a dove vuoi eseguirle. Ogni modello è disponibile in una versione ottimizzata e una non ottimizzata:

  • Preaddestrato: questa versione del modello non è stata addestrata su attività o istruzioni specifiche oltre al set di dati di addestramento di Gemma. Ti consigliamo di non utilizzare questo modello senza eseguire alcune ottimizzazioni.

  • Tarato in base alle istruzioni: questa versione del modello è stata addestrata con interazioni linguistiche umane in modo da poter partecipare a una conversazione, in modo simile a un bot di chat di base.

  • Ottimizzato per più tipi di dati: questa versione del modello è ottimizzata su un mix di set di dati accademici e accetta prompt in linguaggio naturale.

Dimensioni dei parametri inferiori significano requisiti di risorse inferiori e maggiore flessibilità di implementazione.

Nome modello Dimensioni dei parametri Input Output Versioni ottimizzate Piattaforme previste
Gemma 2
Gemma 27B 27 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Server o cluster di server di grandi dimensioni
Gemma 9B 9 miliardi di Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Computer e server di fascia più alta
Gemma 2B 2 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Dispositivi mobili e laptop
Gemma
Gemma 7B 7 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Computer desktop e piccoli server
Gemma 2B 2,2 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Dispositivi mobili e laptop
CodeGemma
CodeGemma 7B 7 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Computer desktop e piccoli server
CodeGemma 2B 2 miliardi Testo Testo
  • Preaddestrati
 Computer desktop e piccoli server
PaliGemma
PaliGemma 3B 3 miliardi Testo Testo
  • Preaddestrati
  • Mix ottimizzato
 Computer desktop e piccoli server

Gemma è stata testata utilizzando l'hardware TPU v5e appositamente progettato da Google e l'hardware GPU L4(G2 Standard), A100(A2 Standard), H100(A3 High) di NVIDIA.

Passaggi successivi