Offene Gemma-Modelle verwenden

Gemma ist eine Reihe einfacher, offener generativer KI-Modelle (künstliche Intelligenz). Gemma-Modelle können in Ihren Anwendungen und auf Ihrer Hardware, Mobilgeräten oder gehosteten Diensten ausgeführt werden. Sie können diese Modelle auch mithilfe von Abstimmungstechniken anpassen, damit sie hervorragende Aufgaben ausführen, die für Sie und Ihre Nutzer relevant sind. Gemma-Modelle basieren auf Gemini-Modellen und sind für die Erweiterung der KI-Entwicklungscommunity vorgesehen.

Optimierung kann die Leistung eines Modells bei bestimmten Aufgaben verbessern. Da die Modelle in der Gemma-Modellfamilie offen gewichtet sind, können Sie sie mit dem KI-Framework Ihrer Wahl und dem Vertex AI SDK optimieren. Sie können ein Notebook-Beispiel öffnen, um das Gemma-Modell mithilfe eines Links auf der Gemma-Modellkarte in Model Garden abzustimmen.

Die folgenden Gemma-Modelle können mit Vertex AI verwendet werden. Weitere Informationen zu den Gemma-Modellen finden Sie auf den entsprechenden Model Garden-Modellkarten.

Modellname Anwendungsfälle Model Garden-Modellkarte
Gemma 2 Optimal für die Textgenerierung, -zusammenfassung und -extraktion. Zur Gemma 2-Modellkarte
Gemma Optimal für die Textgenerierung, -zusammenfassung und -extraktion. Zur Gemma-Modellkarte
CodeGemma Optimal für die Codegenerierung und -vervollständigung. Zur CodeGemma-Modellkarte
PaliGemma Optimal für Aufgaben zur Bilduntertitelung und visuelle Fragen und Antworten. Zur PaliGemma-Modellkarte

Im Folgenden finden Sie einige Optionen, wo Sie Gemma verwenden können:

Gemma mit Vertex AI verwenden

Vertex AI bietet eine verwaltete Plattform zum schnellen Erstellen und Skalieren von ML-Projekten, ohne dass interne MLOps-Kenntnisse erforderlich sind. Sie können Vertex AI als nachgelagerte Anwendung verwenden, die die Gemini-Modelle bereitstellt. Sie können beispielsweise Gewichtungen aus der Keras-Implementierung von Gemma portieren. Als Nächstes können Sie Vertex AI verwenden, um diese Version von Gemma für Vorhersagen bereitzustellen. Wir empfehlen die Verwendung von Vertex AI, wenn Sie End-to-End-MLOps-Funktionen, Mehrwert-ML-Features und eine serverlose Umgebung für eine optimierte Entwicklung wünschen.

Informationen zu den ersten Schritten mit Gemma finden Sie in den folgenden Notebooks:

Gemma in anderen Google Cloud-Produkten verwenden

Sie können Gemma mit anderen Google Cloud-Produkten wie Google Kubernetes Engine und Dataflow verwenden.

Gemma mit GKE verwenden

Google Kubernetes Engine (GKE) ist die Google Cloud-Lösung für verwaltete Kubernetes, die Skalierbarkeit, Sicherheit, Robustheit und Kosteneffizienz bietet. Wir empfehlen diese Option, wenn Sie bereits Kubernetes-Investitionen haben, Ihre Organisation über interne MLOps-Kenntnisse verfügt oder wenn Sie eine detaillierte Kontrolle über komplexe KI/ML-Arbeitslasten mit besonderer Sicherheit, Datenpipeline und Ressourcen benötigen Managementanforderungen. Weitere Informationen finden Sie in den folgenden Anleitungen der GKE-Dokumentation:

Gemma mit Dataflow verwenden

Sie können Gemma-Modelle mit Dataflow für die Sentimentanalyse verwenden. Mit Dataflow Inferenz-Pipelines ausführen, die die Gemini-Modelle verwenden. Weitere Informationen finden Sie unter Inferenzpipelines mit offenen Gemma-Modellen ausführen.

Gemma mit Colab verwenden

Sie können Gemma mit Colaboratory verwenden, um Ihre Gemma-Lösung zu erstellen. In Colab können Sie Gemma mit Framework-Optionen wie PyTorch und JAX verwenden. Weitere Informationen erhalten Sie unter:

Gemma-Modellgrößen und -funktionen

Gemma-Modelle sind in verschiedenen Größen verfügbar. So können Sie generative KI-Lösungen basierend auf Ihren verfügbaren Rechenressourcen, den benötigten Funktionen und der Umgebung erstellen, in der Sie sie ausführen möchten. Jedes Modell ist in einer abgestimmten und einer nicht abgestimmten Version verfügbar:

  • Vortrainiert: Diese Version des Modells wurde nicht mit bestimmten Aufgaben oder Anweisungen über das Trainings-Dataset Gemma-Kerndaten trainiert. Wir empfehlen, dieses Modell nicht ohne Abstimmung zu verwenden.

  • Anleitung abgestimmt – Diese Version des Modells wurde mit Interaktionen in menschlicher Sprache trainiert, damit es an einer Unterhaltung teilnehmen kann, ähnlich wie ein einfacher Chatbot.

  • Mix-Feinabstimmung: Diese Version des Modells wurde mit einer Mischung aus akademischen Datasets optimiert und akzeptiert Prompts in natürlicher Sprache.

Niedrigere Parametergrößen bedeuten geringere Ressourcenanforderungen und mehr Flexibilität bei der Bereitstellung.

Modellname Parametergröße Eingabe Ausgabe Abgestimmte Versionen Vorhergesehene Plattformen
Gemma 2
Gemma 27B 27 Milliarden Text Text
  • Vortrainiert
  • Anleitungsabgestimmt
 Große Server oder Servercluster
Gemma 9B 9 Milliarden Text Text
  • Vortrainiert
  • Anleitungsabgestimmt
 Hochwertige Computer und Server
Gemma 2B 2 Milliarden Text Text
  • Vortrainiert
  • Anleitungsabgestimmt
 Mobilgeräte und Laptops
Gemma
Gemma 7B 7 Milliarden Text Text
  • Vortrainiert
  • Anleitungsabgestimmt
 Computer und kleine Server
Gemma 2B 2,2 Milliarden Text Text
  • Vortrainiert
  • Anleitungsabgestimmt
 Mobilgeräte und Laptops
CodeGemma
CodeGemma 7B 7 Milliarden Text Text
  • Vortrainiert
  • Anleitungsabgestimmt
 Computer und kleine Server
CodeGemma 2B 2 Milliarden Text Text
  • Vortrainiert
 Computer und kleine Server
PaliGemma
PaliGemma 3B 3 Milliarden Text Text
  • Vortrainiert
  • Abgestimmter Mix
 Computer und kleine Server

Gemma wurde mit der maßgeschneiderten V5e-TPU-Hardware von Google und der NVIDIA L4(G2-Standard), A100(A2-Standard) und H100(A3-High)-GPU-Hardware getestet.

Nächste Schritte