Überwachte Feinabstimmung für LLM-Modelle für Übersetzungen

Die überwachte Feinabstimmung ist eine gute Option, wenn Sie eine Übersetzungsaufgabe mit verfügbaren gelabelten Textdaten haben. Sie ist besonders effektiv bei domainspezifischen Anwendungen, bei denen sich die Übersetzung erheblich von den allgemeinen Daten unterscheidet, mit denen das große Modell ursprünglich trainiert wurde.

Bei der überwachten Feinabstimmung wird das Modellverhalten mit einem mit Labels versehenen Dataset angepasst. Bei diesem Prozess wird die Gewichtung des Modells angepasst, um den Unterschied zwischen den Vorhersagen und den tatsächlichen Labels zu minimieren.

Unterstützte Modelle

Die folgenden Translation LLM-Modelle unterstützen die überwachte Abstimmung:

  • translation-llm-002 (im Rahmen des Programms „Öffentliche Vorschau“ verfügbar, unterstützt nur Text)

Beschränkungen

  • Maximale Anzahl der Eingabe- und Ausgabetokens:
    • Auslieferung: 1.000 (~4.000 Zeichen)
  • Größe des Validierungs-Datasets: 1.024 Beispiele
  • Dateigröße des Trainings-Datasets: bis zu 1 GB für JSONL
  • Länge des Trainingsbeispiels: 1.000 Tokens (ca. 4.000 Zeichen)
  • Adaptergröße:
    • Translation LLM V2: Es wird nur der Wert 4 unterstützt. Bei Verwendung anderer Werte (z.B. 1 oder 8), führt zu einem Fehler.

Anwendungsfälle für die Verwendung der überwachten Abstimmung

Das allgemeine vortrainierte Übersetzungsmodell funktioniert gut, wenn der zu übersetzende Text auf allgemeinen, alltäglichen Textstrukturen basiert, die das Modell gelernt hat. Wenn Sie möchten, dass ein Modell bestimmte Nischenthemen oder Besonderheiten lernt, die von den allgemeinen Übersetzungen abweichen, sollten Sie das Modell entsprechend abstimmen. Sie können das Modell zum Beispiel mithilfe der Modellabstimmung Folgendes antrainieren:

  • Spezifische Inhalte einer Branche mit Jargon oder Stil
  • Bestimmte Strukturen oder Formate zum Generieren einer Ausgabe.
  • Spezifisches Verhalten, z. B. wenn eine grobe oder ausführliche Ausgabe bereitgestellt werden soll.
  • Bestimmte benutzerdefinierte Ausgaben für bestimmte Eingabetypen angeben.

Region für Abstimmungsjob konfigurieren

Nutzerdaten wie das transformierte Dataset und das optimierte Modell werden in der Abstimmungsjobregion gespeichert. Die einzige unterstützte Region ist us-central1.

  • Wenn Sie das Vertex AI SDK verwenden, können Sie die Region bei der Initialisierung angeben. Beispiel:

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • Wenn Sie einen überwachten Job zur Feinabstimmung durch Senden einer POST-Anfrage mit der tuningJobs.create-Methode erstellen, verwenden Sie die URL, um die Region anzugeben, in der der Abstimmungsjob ausgeführt wird. In der folgenden URL geben Sie beispielsweise eine Region an, indem Sie beide Instanzen von TUNING_JOB_REGION durch die Region ersetzen, in der der Job ausgeführt wird.

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • Wenn Sie die Google Cloud -Konsole verwenden, können Sie den Namen der Region im Drop-down-Feld Region auf der Seite Modelldetails auswählen. Dies ist dieselbe Seite, auf der Sie das Basismodell und den Namen eines abgestimmten Modells auswählen.

Kontingent

Das Kontingent wird für die Anzahl der gleichzeitig ausgeführten Abstimmungsjobs erzwungen. Jedes Projekt kommt mit einem Standardkontingent zum Ausführen mindestens eines Abstimmungsjobs. Dies ist ein globales Kontingent, das für alle verfügbaren Regionen und unterstützten Modelle gilt. Wenn Sie weitere Jobs gleichzeitig ausführen möchten, müssen Sie für Global concurrent tuning jobs zusätzliche Kontingente anfordern.

Preise

Die überwachte Feinabstimmung für translation-llm-002 befindet sich in der Vorschau. Während der Vorschau fallen keine Kosten für das Optimieren eines Modells oder die Verwendung des Modells für die Inferenz an.

Die Anzahl der Trainingstokens wird berechnet, indem die Gesamtzahl der Tokens in Ihrem Trainings-Dataset mit der Anzahl der Epochen multipliziert wird.

Nächste Schritte