Einführung in die Feinabstimmung

Die Modellabstimmung ist ein wichtiger Prozess bei der Anpassung von Gemini, um bestimmte Aufgaben mit höherer Präzision und Genauigkeit auszuführen. Bei der Modellabstimmung wird einem Modell ein Trainings-Dataset bereitgestellt, das eine Reihe von Beispielen für bestimmte nachgelagerte Aufgaben enthält.

Diese Seite bietet einen Überblick über die Modellabstimmung für Gemini, beschreibt die für Gemini verfügbaren Abstimmungsoptionen und hilft Ihnen dabei, festzustellen, wann die einzelnen Abstimmungsoptionen verwendet werden sollten.

Vorteile der Modelloptimierung

Die Modellabstimmung ist eine effektive Möglichkeit, große Modelle an Ihre Aufgaben anzupassen. Dies ist ein wichtiger Schritt, um die Qualität und Effizienz des Modells zu verbessern. Die Modellabstimmung bietet folgende Vorteile:

  • Höhere Qualität für Ihre spezifischen Aufgaben
  • Erhöhte Robustheit des Modells
  • Niedrigere Inferenzlatenz und Kosten aufgrund kürzerer Prompts

Abstimmung im Vergleich zum Prompt-Design

  • Prompts mit vortrainierten Gemini-Modellen erstellen: Prompts sind effektive Anweisungen, mit denen KI-Modelle wie Gemini die gewünschten Ergebnisse generieren. Dazu müssen Sie Prompts entwickeln, die die Aufgabe, das gewünschte Format und den relevanten Kontext klar vermitteln. Sie können die Funktionen von Gemini mit minimalem Aufwand einrichten. Sie eignet sich am besten für:
    • Wenig beschriftete Daten: Wenn Sie nur wenige beschriftete Daten haben oder sich keine lange Feinabstimmung leisten können.
    • Schnelles Prototyping: Wenn Sie ein Konzept schnell testen oder eine Referenzleistung ohne hohe Investitionen in die Feinabstimmung erzielen möchten.
  • Individuelle Feinabstimmung von Gemini-Modellen: Sie können Ihre Modelle mit Gemini auf Ihre spezifischen Datasets abstimmen, um individuelle Ergebnisse zu erhalten. Wenn Sie ein KI-Modell erstellen möchten, das in Ihrer spezifischen Domain funktioniert, sollten Sie eine Feinabstimmung in Betracht ziehen. Dazu wird das Basismodell anhand Ihres eigenen Datasets mit Labels neu trainiert und die Gewichtungen an Ihre Aufgabe und Daten angepasst. Sie können Gemini an Ihre Anwendungsfälle anpassen. Die Feinabstimmung ist am effektivsten, wenn Folgendes zutrifft:
    • Sie haben beschriftete Daten: Ein umfangreicher Dataset zum Trainieren (z. B. 100 Beispiele oder mehr), mit dem das Modell die Besonderheiten Ihrer Aufgabe genau lernen kann.
    • Komplexe oder einzigartige Aufgaben: Für Szenarien, in denen erweiterte Prompt-Strategien nicht ausreichen und ein auf Ihre Daten zugeschnittenes Modell erforderlich ist.

Wir empfehlen, mit Prompts zu beginnen, um den optimalen Prompt zu finden. Fahren Sie dann bei Bedarf mit der Feinabstimmung fort, um die Leistung weiter zu steigern oder wiederkehrende Fehler zu beheben. Das Hinzufügen weiterer Beispiele kann zwar von Vorteil sein, aber es ist wichtig, zu bewerten, wo das Modell Fehler macht, bevor Sie weitere Daten hinzufügen. Hochwertige und gut mit Labels versehene Daten sind für eine gute Leistung und besser als die Menge entscheidend. Außerdem sollten die Daten, die Sie für die Feinabstimmung verwenden, der Verteilung, dem Format und dem Kontext der Prompts entsprechen, die dem Modell in der Produktion begegnen.

Die Abstimmung bietet folgende Vorteile gegenüber dem Prompt-Design:

  • Sie ermöglicht eine tiefgreifende Anpassung des Modells und führt zu einer besseren Leistung bei bestimmten Aufgaben.
  • Passen Sie das Modell an benutzerdefinierte Syntax, Anweisungen und domainspezifische semantische Regeln an.
  • Sie bietet einheitlichere und zuverlässigere Ergebnisse.
  • Sie kann eine größere Anzahl von Beispielen gleichzeitig verarbeiten.
  • Kosten bei der Inferenz sparen, indem Sie Beispiele für Few-Shot-Lernen und lange Anleitungen aus den Prompts entfernen

Ansätze zur Abstimmung

Die parametereffiziente Abstimmung und die vollständige Feinabstimmung sind zwei Ansätze zur Anpassung großer Modelle. Beide Methoden haben Vor- und Nachteile in Bezug auf Modellqualität und Ressourceneffizienz.

Parametereffiziente Abstimmung

Die parametereffiziente Abstimmung, auch Adapterabstimmung genannt, ermöglicht eine effiziente Anpassung großer Modelle an Ihre spezifischen Aufgaben oder Domains. Bei der parametereffizienten Abstimmung wird während des Abgleichs ein relativ kleiner Teil der Modellparameter aktualisiert.

Weitere Informationen dazu, wie Vertex AI die Adapterabstimmung und -bereitstellung unterstützt, finden Sie im folgenden Whitepaper Anpassung großer Basismodelle.

Vollständige Optimierung

Bei der vollständigen Feinabstimmung werden alle Parameter des Modells aktualisiert. Sie eignet sich daher zur Anpassung des Modells an hoch komplexe Aufgaben, wodurch eine höhere Qualität erzielt werden kann. Eine vollständige Feinabstimmung erfordert jedoch höhere Rechenressourcen sowohl für die Abstimmung als auch für die Bereitstellung, was zu höheren Gesamtkosten führt.

Parametereffiziente Abstimmung im Vergleich zur vollständigen Feinabstimmung

Die parametereffiziente Abstimmung ist im Vergleich zur vollständigen Feinabstimmung ressourceneffizienter und kostengünstiger. Für das Training werden deutlich weniger Rechenressourcen benötigt. Mit ihr kann das Modell mit einem kleineren Dataset schneller angepasst werden. Die Flexibilität der parametereffizienten Abstimmung bietet eine Lösung für das Multi-Task-Lernen, ohne dass ein umfassendes erneutes Training erforderlich ist.

Unterstützte Abstimmungsmethoden

Vertex AI unterstützt die überwachte Feinabstimmung zur Anpassung von Foundation Models.

Überwachte Feinabstimmung

Die überwachte Feinabstimmung verbessert die Leistung des Modells, indem sie ihm eine neue Fähigkeit vermittelt. Daten, die Hunderte von mit Labels versehenen Beispielen enthalten, werden verwendet, um dem Modell beizubringen, ein gewünschtes Verhalten oder eine gewünschte Aufgabe nachzuahmen. Jedes mit einem Label versehene Beispiel zeigt, was das Modell während der Inferenz ausgeben soll.

Wenn Sie einen überwachten Feinabstimmungsjob ausführen, lernt das Modell zusätzliche Parameter, die ihm dabei helfen, die erforderlichen Informationen zu codieren, um die gewünschte Aufgabe auszuführen oder das gewünschte Verhalten zu erlernen. Diese Parameter werden während der Inferenz verwendet. Die Ausgabe des Abstimmungsjobs ist ein neues Modell, das die neu erlernten Parameter mit dem ursprünglichen Modell kombiniert.

Die überwachte Feinabstimmung eines Textmodells ist eine gute Option, wenn die Ausgabe Ihres Modells nicht komplex und relativ einfach zu definieren ist. Die überwachte Feinabstimmung wird für Klassifizierung, Sentimentanalyse, Entitätsextraktion, Zusammenfassung von Inhalten, die nicht komplex sind, und das Schreiben domainspezifischer Abfragen empfohlen. Bei Codemodellen ist die überwachte Abstimmung die einzige Option.

Modelle, die die überwachte Feinabstimmung unterstützen

  • gemini-1.5-pro-002 (in GA)
  • gemini-1.5-flash-002(In GA)
  • gemini-1.0-pro-002 (In der Vorabversion, unterstützt nur die Textabstimmung)

Weitere Informationen zur Verwendung der überwachten Feinabstimmung mit den einzelnen Modellen finden Sie auf den folgenden Seiten: Text, Bild, Audio und Dokument.

Nächste Schritte