PaLM-Modelle abstimmen – Übersicht

Die Abstimmung eines Foundation Models kann seine Leistung verbessern. Foundation Models werden für allgemeine Zwecke trainiert und führen manchmal Aufgaben nicht so gut aus, wie Sie es sich wünschen würden. Das kann daran liegen, dass die Aufgaben, die das Modell ausführen soll, spezielle Aufgaben sind, bei denen es schwierig ist, ein Modell nur mit Prompt-Design zu trainieren. In diesen Fällen können Sie die Modellabstimmung verwenden, um die Leistung eines Modells für bestimmte Aufgaben zu verbessern. Die Modellabstimmung kann ihm auch dabei helfen, bestimmte Ausgabeanforderungen einzuhalten, wenn die Anleitungen nicht ausreichen. Diese Seite bietet Ihnen einen Überblick über die Modellabstimmung, beschreibt die in Vertex AI verfügbaren Abstimmungsoptionen und hilft Ihnen dabei, zu ermitteln, wann die einzelnen Abstimmungsoptionen verwendet werden sollen.

Modellabstimmung – Übersicht

Bei der Modellabstimmung wird einem Modell ein Trainings-Dataset zur Verfügung gestellt, das viele Beispiele für eine einzelne Aufgabe enthält. Für eindeutige oder Nischenaufgaben können Sie erhebliche Verbesserungen der Modellleistung erzielen, wenn Sie das Modell mit einer kleinen Anzahl von Beispielen abstimmen. Nach der Abstimmung eines Modells sind weniger Beispiele in seinen Prompts erforderlich.

Vertex AI unterstützt die folgenden Methoden zur Abstimmung von Foundation Models:

  • Überwachte Abstimmung: Die überwachte Abstimmung eines Textmodells ist eine gute Option, wenn die Ausgabe Ihres Modells nicht komplex ist und relativ einfach zu definieren ist. Die überwachte Abstimmung wird für Klassifizierung, Sentimentanalyse, Entitätsextraktion, Zusammenfassung von Inhalten, die nicht komplex sind, und das Schreiben domainspezifischer Abfragen empfohlen. Bei Codemodellen ist die überwachte Abstimmung die einzige Option.

  • Bestärkendes Lernen durch menschliches Feedback (RLHF): Die RLHF-Abstimmung ist eine gute Option, wenn die Ausgabe Ihres Modells komplex ist und mit der überwachten Abstimmung nicht einfach erreicht werden kann. Die RLHF-Abstimmung wird für die Beantwortung von Fragen, zur Zusammenfassung komplexer Inhalte und für die Erstellung von Inhalten empfohlen, z. B. eine Umschreibung. Die RLHF-Abstimmung wird von Codemodellen nicht unterstützt.

  • Modelldestillation: Die Destillation ist eine gute Option, wenn Sie ein großes Modell haben, das Sie kleiner werden möchten, ohne die Fähigkeit des Modells zu beeinträchtigen, was Sie möchten. Durch das Destillieren eines Modells wird ein neues, kleineres trainiertes Modell erstellt, das weniger betriebsbereit ist und eine geringere Latenz als das ursprüngliche Modell hat.

Kontingent

Jedes Google Cloud-Projekt benötigt ein ausreichendes Kontingent zum Ausführen eines Abstimmungsjobs. Ein Abstimmungsjob verwendet 8 GPUs. Wenn Ihr Projekt nicht ein ausreichendes Kontingent für einen Abstimmungsjob hat oder Sie mehrere gleichzeitige Abstimmungsjobs in Ihrem Projekt ausführen möchten, müssen Sie zusätzliche Kontingente anfordern.

In der folgenden Tabelle sind der Typ und die Menge des anzufordernden Kontingents abhängig von der Region aufgeführt, in der Sie die Feinabstimmung angegeben haben:

Region Ressourcenkontingent Menge pro gleichzeitigem Job

us-central1

Restricted image training Nvidia A100 80GB GPUs per region

8

Restricted image training CPUs for A2 CPU types per region

96

europe-west4

Restricted image training TPU V3 pod cores per region

64

Preise

Wenn Sie ein Foundation Model optimieren oder destillieren, bezahlen Sie die Kosten für die Ausführung der Abstimmungs- oder Destillationspipeline. Wenn Sie ein abgestimmtes oder destilliertes Grundlagenmodell für einen Vertex AI-Endpunkt bereitstellen, fallen für das Hosting keine Gebühren an. Für die Bereitstellung von Vorhersagen zahlen Sie denselben Preis wie für die Bereitstellung von Vorhersagen mit einem unbearbeiteten Foundation Model (zur Feinabstimmung) oder des Schülermodells (zur Destillation). Informationen zu den Foundation Models, die optimiert und destilliert werden können, finden Sie unter Foundation Models. Preisinformationen finden Sie unter Preise für Generative AI in Vertex AI.

Nächste Schritte