Utilizzare i modelli aperti di Gemma

Gemma è un insieme di intelligenza artificiale (AI) generativa leggera modelli aperti. I modelli Gemma possono essere eseguiti nelle tue applicazioni e sul tuo hardware, sui tuoi dispositivi mobili o sui tuoi servizi ospitati. Puoi anche personalizzare questi modelli utilizzando tecniche di ottimizzazione in modo che eccellono nell'eseguire le attività importanti per te e per i tuoi utenti. I modelli Gemma basate sui modelli Gemini e sono destinate la community di sviluppo dell'AI può ampliare e andare oltre.

Il perfezionamento può aiutare a migliorare le prestazioni di un modello in attività specifiche. Poiché i modelli della famiglia Gemma sono a pesi aperti, puoi ottimizzarne uno qualsiasi utilizzando il framework di IA che preferisci e l'SDK Vertex AI. Puoi aprire un esempio di notebook per perfezionare il modello Gemma utilizzando un link disponibile nella scheda del modello Gemma in Model Garden.

I seguenti modelli Gemma sono disponibili per l'utilizzo con Vertex AI. Per scoprire di più e testare i modelli Gemma, consulta le relative schede in Model Garden.

Nome modello Casi d'uso Scheda del modello di Model Garden
Gemma 2 Ideale per la generazione, il riepilogo e l'estrazione di testo. Vai alla scheda del modello Gemma 2
Gemma Ideale per la generazione, il riepilogo e l'estrazione di testo. Vai alla scheda del modello Gemma
CodeGemma Ideale per la generazione e il completamento del codice. Vai alla scheda del modello CodeGemma
PaliGemma Ideale per attività di sottotitolazione delle immagini e di domanda e risposta visive. Vai alla scheda del modello PaliGemma

Di seguito sono riportate alcune opzioni per l'utilizzo di Gemma:

Utilizzare Gemma con Vertex AI

Vertex AI offre una piattaforma gestita per creare e scalare rapidamente i progetti di machine learning senza bisogno di competenze MLOps interne. Puoi utilizzare la modalità Vertex AI come applicazione downstream che gestisce Modelli Gemma. Ad esempio, potresti trasferire i pesi da Keras implementazione di Gemma. Successivamente, puoi utilizzare Vertex AI per eseguire la pubblicazione di questa versione di Gemma e ottenere le previsioni. Ti consigliamo di utilizzare Vertex AI se vuoi funzionalità MLOps end-to-end, ML a valore aggiunto e un'esperienza serverless per uno sviluppo semplificato.

Per iniziare a utilizzare Gemma, consulta i seguenti blocchi note:

Utilizzare Gemma in altri prodotti Google Cloud

Puoi utilizzare Gemma con altri prodotti Google Cloud, come Google Kubernetes Engine e Dataflow.

Utilizzare Gemma con GKE

Google Kubernetes Engine (GKE) è la soluzione Google Cloud per Kubernetes gestito che offre scalabilità, sicurezza, resilienza ed economicità. Ti consigliamo questa opzione se hai già investimenti in Kubernetes, la tua organizzazione dispone di competenze MLOps interne o se hai bisogno di un controllo granulare su carichi di lavoro di IA/ML complessi con requisiti unici di sicurezza, pipeline di dati e gestione delle risorse. Per saperne di più, consulta quanto segue: tutorial nella documentazione di GKE:

Utilizzare Gemma con Dataflow

Puoi utilizzare i modelli Gemma con Dataflow per analisi del sentiment. Utilizza Dataflow per eseguire pipeline di inferenza che utilizzano i modelli Gemma. Per scoprire di più, consulta Eseguire pipeline di inferenza con i modelli aperti di Gemma.

Utilizzare Gemma con Colab

Puoi utilizzare Gemma con Colaboratory per creare la tua soluzione Gemma. In Colab, puoi utilizzare Gemma con opzioni di framework come PyTorch e JAX. Per saperne di più, consulta:

Dimensioni e funzionalità dei modelli Gemma

I modelli Gemma sono disponibili in diverse dimensioni per consentirti soluzioni di AI generativa a tua disposizione, le funzionalità di cui hai bisogno e dove vuoi eseguirle. Ogni modello è disponibile in una versione ottimizzata e una non ottimizzata:

  • Preaddestrata: questa versione del modello non è stata addestrata su attività specifiche o istruzioni al di là del set di dati di addestramento di base di Gemma. Ti consigliamo di non utilizzare questo modello senza eseguire alcune ottimizzazioni.

  • Tarato sulle istruzioni: questa versione del modello è stata addestrata con interazioni in linguaggio umano in modo da poter partecipare a una conversazione, in modo simile a un bot di chat di base.

  • Mix ottimizzato: questa versione del modello è ottimizzata su una combinazione di accademici e accetta prompt in linguaggio naturale.

Dimensioni dei parametri inferiori significano requisiti di risorse inferiori e più deployment una maggiore flessibilità.

Nome modello Dimensioni dei parametri Input Output Versioni ottimizzate Piattaforme di destinazione
Gemma 2
Gemma 27B 27 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Server o cluster di server di grandi dimensioni
Gemma 9B 9 miliardi di Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Computer e server di fascia più alta
Gemma 2B 2 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Dispositivi mobili e laptop
Gemma
Gemma 7B 7 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Computer desktop e piccoli server
Gemma 2B 2,2 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Dispositivi mobili e laptop
CodeGemma
CodeGemma 7B 7 miliardi Testo Testo
  • Preaddestrati
  • Ottimizzato per le istruzioni
 Computer desktop e piccoli server
CodeGemma 2B 2 miliardi Testo Testo
  • Preaddestrati
 Computer desktop e piccoli server
PaliGemma
PaliGemma 3B 3 miliardi Testo Testo
  • Preaddestrati
  • Mix ottimizzato
 Computer desktop e piccoli server

Gemma è stata testata utilizzando l'hardware TPU v5e appositamente progettato da Google e l'hardware GPU L4(G2 Standard), A100(A2 Standard), H100(A3 High) di NVIDIA.

Passaggi successivi