Generative KI basiert oft auf großen Modellen für maschinelles Lernen (ML), die mit riesigen Datenmengen vortrainiert wurden. Diese werden als Foundation-Modelle bezeichnet und dienen als Grundlage für verschiedene Aufgaben. Es gibt zahlreiche Möglichkeiten, Basismodelle mithilfe von generativer KI in Vertex AI anzupassen:
Abstimmung: Bei der Abstimmung wird einem Modell ein Trainings-Dataset mit bestimmten Beispielen zur Verfügung gestellt, die für die ausgewählte nachgelagerte Aufgabe relevant sind.
- Überwachte Abstimmung: Bei dieser Methode werden beschriftete Beispiele verwendet, um ein Modell zu optimieren. Jedes Beispiel zeigt die ausgewählte Ausgabe für eine bestimmte Eingabe während der Inferenz. Die überwachte Abstimmung ist effektiv für Aufgaben, bei denen die erwartete Ausgabe nicht übermäßig komplex ist und klar definiert werden kann, z. B. Klassifizierung, Sentimentanalyse, Entitätsextraktion, Zusammenfassung weniger komplexer Inhalte und Generieren domainspezifischer Abfragen. Sie können Text-, Bild-, Audio- und Dokumentdatentypen mithilfe von überwachtem Lernen optimieren.
- Bestärkendes Lernen durch menschliches Feedback (RLHF): Diese Methode eignet sich, wenn die ausgewählte Modellausgabe komplexer ist. Die RLHF-Abstimmung eignet sich gut für Ziele, die sich durch überwachte Abstimmung nicht leicht unterscheiden lassen, z. B. die Beantwortung von Fragen, die Zusammenfassung komplexer Inhalte und die Erstellung kreativer Inhalte.
Destillation: Bei der Destillation wird oft ein kleineres „Schülermodell“ trainiert, um das Verhalten eines größeren, leistungsfähigeren „Lehrermodells“ nachzuahmen.
Training von Adaptermodellen: Dabei werden kleinere Adaptermodelle (oder Schichten) trainiert, die in Verbindung mit einem Foundation Model die Leistung bei bestimmten Aufgaben verbessern. Die Parameter des ursprünglichen Foundation-Modells bleiben oft unverändert und nur die Gewichte des Adapters werden während des Trainings aktualisiert.
Grounding: Auch wenn es sich nicht um eine Trainingsmethode handelt, ist Grounding ein entscheidender Aspekt, um die Zuverlässigkeit der Ausgaben generativer KI zu gewährleisten. Bei der Fundierung wird die Ausgabe des Modells mit überprüfbaren Informationsquellen verbunden, um die Wahrscheinlichkeit zu verringern, dass Inhalte erfunden werden. Dazu muss dem Modell während der Inferenz häufig Zugriff auf bestimmte Datenquellen gewährt werden.