Gemma ist eine Reihe einfacher, offener generativer KI-Modelle (künstliche Intelligenz). Gemma-Modelle können in Ihren Anwendungen und auf Ihrer Hardware, Mobilgeräten oder gehosteten Diensten ausgeführt werden. Sie können diese Modelle auch mithilfe von Abstimmungstechniken anpassen, damit sie hervorragende Aufgaben ausführen, die für Sie und Ihre Nutzer relevant sind. Gemma-Modelle basieren auf Gemini-Modellen und sind für die Erweiterung der KI-Entwicklungscommunity vorgesehen.
Optimierung kann die Leistung eines Modells bei bestimmten Aufgaben verbessern. Da die Modelle in der Gemma-Modellfamilie offen gewichtet sind, können Sie sie mit dem KI-Framework Ihrer Wahl und dem Vertex AI SDK optimieren. Sie können ein Notebook-Beispiel öffnen, um das Gemma-Modell über einen Link zu optimieren, der auf der Gemma-Modellkarte in Model Garden verfügbar ist.
Die folgenden Gemma-Modelle können mit Vertex Generative AI verwendet werden. Weitere Informationen zu den Gemma-Modellen finden Sie auf den entsprechenden Model Garden-Modellkarten.
| Modellname | Anwendungsfälle | Model Garden-Modellkarte |
|---|---|---|
| Gemma | Optimal für die Textgenerierung, -zusammenfassung und -extraktion. | Zur Gemma-Modellkarte |
| CodeGemma | Optimal für die Codegenerierung und -vervollständigung. | Zur CodeGemma-Modellkarte |
| PaliGemma | Optimal für Aufgaben zur Bilduntertitelung und visuelle Fragen und Antworten. | Zur PaliGemma-Modellkarte |
Im Folgenden finden Sie einige Optionen, wo Sie Gemma verwenden können:
Gemma mit Vertex Generative AI verwenden
Vertex Generative AI bietet eine verwaltete Plattform zum schnellen Erstellen und Skalieren von ML-Projekten, ohne dass interne MLOps-Kenntnisse erforderlich sind. Sie können Vertex Generative AI als nachgelagerte Anwendung verwenden, die die Gemini-Modelle bereitstellt. Sie können beispielsweise Gewichtungen aus der Keras-Implementierung von Gemma portieren. Als Nächstes können Sie Vertex AI verwenden, um diese Version von Gemma für Vorhersagen bereitzustellen. Wir empfehlen die Verwendung von Vertex Generative AI, wenn Sie End-to-End-MLOps-Funktionen, Mehrwert-ML-Features und eine serverlose Umgebung für eine optimierte Entwicklung wünschen.
Informationen zu den ersten Schritten mit Gemma finden Sie in den folgenden Notebooks:
Gemma mit PEFT optimieren und dann über Vertex in Vertex Generative AI bereitstellen
Gemma mit PEFT optimieren und dann über Huggingface in Vertex Generative AI bereitstellen
Gemma mit KerasNLP optimieren und dann in Vertex Generative AI bereitstellen
Gemma mit Ray in Vertex AI optimieren und dann in Vertex Generative AI bereitstellen
Gemma in anderen Google Cloud-Produkten verwenden
Sie können Gemma mit anderen Google Cloud-Produkten wie Google Kubernetes Engine und Dataflow verwenden.
Gemma mit GKE verwenden
Google Kubernetes Engine (GKE) ist die Google Cloud-Lösung für verwaltete Kubernetes, die Skalierbarkeit, Sicherheit, Robustheit und Kosteneffizienz bietet. Wir empfehlen diese Option, wenn Sie bereits Kubernetes-Investitionen haben, Ihre Organisation über interne MLOps-Kenntnisse verfügt oder wenn Sie eine detaillierte Kontrolle über komplexe KI/ML-Arbeitslasten mit besonderer Sicherheit, Datenpipeline und Ressourcen benötigen Managementanforderungen. Weitere Informationen finden Sie in den folgenden Anleitungen der GKE-Dokumentation:
- Gemma mit vLLM bereitstellen
- Gemma mit TGI bereitstellen
- Gemma mit Triton und TensorRT-LLM bereitstellen
- Gemma mit JetStream bereitstellen
- Gemma mit Saxml bereitstellen
Gemma mit Dataflow verwenden
Sie können Gemma-Modelle mit Dataflow für die Sentimentanalyse verwenden. Mit Dataflow Inferenz-Pipelines ausführen, die die Gemini-Modelle verwenden. Weitere Informationen finden Sie unter Inferenzpipelines mit offenen Gemma-Modellen ausführen.
Gemma mit Colab verwenden
Sie können Gemma mit Colaboratory verwenden, um Ihre Gemma-Lösung zu erstellen. In Colab können Sie Gemma mit Framework-Optionen wie PyTorch und JAX verwenden. Weitere Informationen erhalten Sie unter:
- Erste Schritte mit Gemma mit Keras
- Erste Schritte mit Gemma mit PyTorch.
- Grundlegende Abstimmung mit Gemma unter Verwendung von Keras.
- Verteilte Abstimmung mit Gemma unter Verwendung von Keras.
Gemma-Modellgrößen und -funktionen
Gemma-Modelle sind in verschiedenen Größen verfügbar. So können Sie generative KI-Lösungen basierend auf Ihren verfügbaren Rechenressourcen, den benötigten Funktionen und der Umgebung erstellen, in der Sie sie ausführen möchten. Jedes Modell ist in einer abgestimmten und einer nicht abgestimmten Version verfügbar:
Vortrainiert: Diese Version des Modells wurde nicht mit bestimmten Aufgaben oder Anweisungen über das Trainings-Dataset Gemma-Kerndaten trainiert. Wir empfehlen, dieses Modell nicht ohne Abstimmung zu verwenden.
Anleitung abgestimmt – Diese Version des Modells wurde mit Interaktionen in menschlicher Sprache trainiert, damit es an einer Unterhaltung teilnehmen kann, ähnlich wie ein einfacher Chatbot.
Feinabstimmung des Modells: Diese Version des Modells wurde mit einer Mischung aus akademischen Datasets optimiert und akzeptiert Aufforderungen in natürlicher Sprache.
Wenn Sie sich zwischen Gemma 2B und Gemma 7B entscheiden müssen, sollten Sie Gemma 2B in Betracht ziehen. Die niedrigeren Parametergrößen von Gemma 2B bedeuten, dass es niedrigere Ressourcenanforderungen und mehr Flexibilität bei der Bereitstellung hat als Gemma 7B.
| Modellname | Parametergröße | Eingabe | Ausgabe | Abgestimmte Versionen | Vorhergesehene Plattformen |
|---|---|---|---|---|---|
| Gemma 2B | 2,2 Milliarden | Text | Text |
|
Mobilgeräte und Laptops |
| Gemma 7B | 7 Milliarden | Text | Text |
|
Computer und kleine Server |
| CodeGemma 2B | 2 Milliarden | Text | Text |
|
Computer und kleine Server |
| CodeGemma 7B | 7 Milliarden | Text | Text |
|
Computer und kleine Server |
| PaliGemma 3B | 3 Milliarden | Text | Text |
|
Computer und kleine Server |
Gemma wurde mit der maßgeschneiderten V5e-TPU-Hardware von Google und der NVIDIA L4(G2-Standard), A100(A2-Standard) und H100(A3-Standard)-GPU-Hardware getestet.